Šta je Googlebot?
Googlebot je webcrawler koji koristi Google. Google ga koristi da bi pronašao i preuzeo web stranice.
Informacije koje prikuplja Googlebot koriste se za ažuriranje Google indeksa. Googlebot posećuje milijarde veb stranica i stalno posećuje stranice širom Interneta.
Šta je webcrawler?
Veb pretraživači (takođe poznati kao roboti ili pauci) su vrsta softvera dizajniranog za praćenje veza, prikupljanje informacija i zatim slanje tih informacija negde.
Šta radi Googlebot?
Googlebot preuzima sadržaj veb stranica (reči, kod i resurse koji čine web stranicu). Ako sadržaj koji preuzima ima veze sa drugim stvarima, to on zapazi.
Zatim šalje informacije Google-u
Googlebot i vaša veb lokacija
Informacije koje Googlebot pošalje na Google računare ažurira Google indeks. Google indeks je mesto upoređivanja i rangiranja veb stranica. Da bi vaše veb stranice bile pronađene u Google-u, one moraju biti vidljivi Googlebot-u.
Da biste svoje web stranice optimalno rangirale, svi veb-sajtovi moraju biti dostupni Googlebotu.
Razlika između Googlebota i Google indeksa
Googlebot preuzima sadržaj sa Interneta. Googlebot ne procenjuje sadržaj u svakom slučaju, samo ga preuzima.
Jedino što se tiče Googlebota je „Mogu li pristupiti ovom sadržaju?“ i „Da li postoji neki drugi sadržaj na koji mogu pristupiti?“
Google indeks preuzima sadržaj koji prima od Googlebota i koristi je za rangiranje stranica. Prvi korak rangiranja od strane Googlea je da preuzme Googlebot.
Osigurajte da Googlebota može videti vaše stranice. Pošto je Googlebot način na koji Google ažurira svoj indeks, bitno je da Googlebot vidi vaše stranice.
Osnovna prva pitanja koja webmaster treba da zapita je …
- Može Googlebot „videti“ moje stranice?
- Može li Googlebot pristupiti sadržaju i linkovima u potpunosti?
- Da li Googlebot može pristupiti svim mojim izvorima stranice?
Da li Googlebot „vidi“ moje stranice?
Da biste dobili ideju o tome šta Google vidi na vašoj veb lokaciji uradi sledeće Google pretraživanje …
site:mojsajt.com
Postavljanjem „site:“ ispred imena vašeg domena, tražite od Google-a da popiše stranice koje je Google indeksirao za vašu veb lokaciju.
Savet: Uverite se da ne postoji razmak između „sajta:“ i imena vašeg domena kada to učinite. Evo primera koji koriste ovaj sajt …
sajt:mojsajt.com
Ako vidite manje od količine stranica koje biste očekivali, verovatno ćete morati osigurati da ne blokirate Googlebot sa vašom robots.txt datotekom (datoteka robots.txt će se detaljnije razmatrati na ovoj stranici).
Da li Googlebot može u potpunosti da pristupa svom sadržaju i linkovima?
Sledeći korak je da obezbedite da Google ispravno vidi vaš sadržaj i veze. Samo zato što Googlebot može videti vaše stranice ne znači da Google ima savršenu sliku o tome šta su te stranice.
Google bot ne vidi veb lokaciju na isti način kao i ljudi. Web stranica sa fotografijom na njoj. Ljudi mogu videti sliku, ali ono što Googlebot vidi je samo kod koji zove tu sliku.
Googlebot može biti u mogućnosti da pristupi ovoj veb stranici (html), ali ne može pristupiti slikama pronađenim na ovoj veb stranici iz različitih razloga.
U tom scenariju Google indeks neće uključivati tu sliku, što znači da Google ima nepotpuno razumevanje vaše veb stranice.
Kako Googlebot „vidi“ veb stranicu
Googlebot ne vidi kompletne veb stranice, već samo vidi pojedinačne komponente te stranice. Googlebot gleda na datoteke. Ako bilo koja od ovih komponenti nije dostupna Googlebot-u, neće ih poslati u Google indeks. Da bi Google mogao optimalno rangirati svoje veb stranice, Google-u je potrebna potpuna slika.
Postoji mnogo scenarija u kojima Googlebot možda neće moći pristupati veb sadržaju, evo nekoliko zajedničkih.
- Sadrzaj je blokiran robots.txt
- Linkovi stranica nisu čitljivi ili netačni
- Postoji Flash koji pretraživači ne vide
- Loš HTML ili greške u kodiranja
- Previše komplikovane dinamičke veze
Ako imate Google nalog koristite alatku „fetch and render“ na Google konzoli za pretragu . Ovaj alat će vam pružiti uživo primer tačno onoga što Google vidi za pojedinačnu stranicu.
Da li Googlebot može pristupiti svim mojim izvorima stranice?
Ako CSS i javascript datoteke su blokirane u robots.txt fajlu, onda to može prouzrokovati ozbiljne nesporazume o sadržaju vašeg veb-sajta (mnogo lošije nego samo nedostajuća slika). Tačno da se veb stranica može zapravo razlikovati ili imati drugačiji sadržaj ako se izvori stranice ne učitavaju.
Ako Googlebot ne može pristupiti CSS-u ili Javascript-u na nekoj stranici, možda neće shvatiti da je ta stranica prilagodjena mobilnim uredjajima.
Ovo se takođe može proveriti korišćenjem alata Google smernice .
Mogu li da kontrolišem Googlebot?
Da. Googlebot prati instrukcije koje prima preko standarda robots.txt i čak ima napredne načine za kontrolu koje su specifične za Google.
Neki načini na koje možete kontrolisati Googlebot su …
- Korišćenje datoteke robots.txt
- Uključujući instrukcije robota u metapodatke svojih veb stranica
- Uključujući instrukcije o robotima u svojim zaglavljima
- Koristeći mapu sajta
- Korišćenje Google pretraživačke konzole
Šta je datoteka robots.txt?
Datoteka robots.txt kontroliše kako pauci pretraživača kao što je Googlebot vide i komuniciraju sa vašim veb stranicama.
Ukratko, datoteka robots.txt govori Googlebotu šta da radi kada posećuje vaše stranice, listinge datoteka ili foldere kojima ne želite da Googlebot pristupi.
