Web Design | Seo

Fisierul robots.txt informeaza robotii motoarelor de cautare ce pot accesa si ce nu in cadrul unui website. Acest fisier trebuie incarcat in radacina website-ului. Este un fisier text, simplu  care foloseste doi parametrii principali:

• User-agent - parametru de selectie a robotilor
• Disallow – parametru de selectie a paginlor care sa fie scanate sau nu de catre robotii motoarelor de cautare

Exemple de comenzi pentru fisierle robots.txt

Pentru a permite tuturor robotilor acces complet utilizati:
User-agent: *
Disallow:

Este recomandat si indicativul de sitemap pentru a spune robotilor exact locatia acestuia:

Sitemap: http://www.siteulmeu.ro/sitemap.xml

Pentru a exclude toti robotii de pe tot website-ul dumneavoastra utilizati:
User-agent: *
Disallow: /
Pentru a exclude robotii doar din anumite directoare ale website-ului utilizati:
User-agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /private/

Pentru a exclude o singura pagina din website utilizati:
User-agent: *
Disallow: /directory/file.html
Pentru a exclude un singur robot utilizati:

User-agent: BaiduBot
Disallow: /

Pentru a permite unui singur robot accesul pe website utilizati:
User-agent: Yahoo
Disallow:

User-agent: *
Disallow: /
Pentru a exclude toate fisierle mai putin una utilizati:
User-agent: *
Disallow: /~joe/stuff/
Exemplu de utilizare a comentariilor in cadrul unui fisier robots.txt:

# Comentariile apar dupa semnul “#” simbol ce poate aparea la inceputul unei linii sau la sfarsitul unei comenzi

User-agent: * # directiva pentru toti robotii

Disallow: / # nu au ce cauta pe site-ul meu in nici un director

Robotii motoarelor de cautare importante accepta directive de accesare a website-ului
User-agent: *
Crawl-delay: 7 # Acesta este timpul de asteptare intre doua accesari succesive pe website-ul dumneavoastra (utilizat de regula pentru a nu supraincarca serverul)

O varianta extinsa a utilizarii fisierului robots.txt ar fi urmatoarea:
User-agent: *
Disallow:
Sitemap: http://www.siteulmeu.ro/sitemap.xml
Request-rate: 1/4 #numarul de accesari este de o pagina la 4 secunde
Visit-time: 0300-0630 #este acceptata scanarea website-ului doar intre orele 3.00 si 6.30 UTC (GMT)

Exemple cu robotii motoarelor de cautare cele mai populare:

Google – googlebot
Google Image – googlebot-image
Google Mobile – googlebot-mobile
MSN Search – msnbot
MSN PicSearch – psbot
Yahoo – yahoo-slurp
Yahoo MM – yahoo-mmcrawler
Yahoo Blogs – yahoo-blogs/v3.9
Ask/Teoma – teoma
Cuil – twiceler
GigaBlast – gigabot
Scrub The Web – scrubby
DMOZ Checker – robozilla
Nutch – nutch
Alexa/Wayback – ia_archiver
Baidu – baiduspider
Naver – naverbot, yeti
SingingFish – asterias
Inginerul Matt Cutts de la Google ne explica in filmuletul urmator cateva functionalitati ale robotului googlebot si anumite erori care pot aparea la indexarea paginilor.