robots.txt

Data publicarii: Februarie 2006

Tutoriale » Anexe » robots.txt

Anexe Feb 2006
Motoarele de cautare inspecteaza in radacina domeniului cautand fisierul robots.txt (http://www.domeniu.ro/robots.txt).

Continutul acestui fisier ofera urmatoarele informatii:
- care motoare de cautare sunt admise sau neadmise sa indexeze continutul site-ului
- care parte a continutului site-ului este permisa sau nepermisa sa fie indexata

Acest fisier are o sintaxa speciala continand inregistrari. Fiecare inregistrare are 2 campuri de forma: Field : value.
Prima linie mentioneaza User-agent iar alta linie sau mai multe Disallow.

Fisierul nu poate fi facut cu un simplu editor in mod text, ci cu unul care poate lucra in mod UNIX sau folosind clientul FTP pentru a face transformarea.

User-agent este numele robotului. De exemplu:

User-agent: googlebot

Pentru a specifica toti robotii se poate folosi caracterul *. De exemplu:

User-agent: *

Disallow exclude de la cautare fisiere sau directoare. De exemplu este exclus de la cautare fisierul proba.html:

Disallow: proba.html

Pot fi excluse de la cautare si directoare. De exemplu directorul test aflat in radacina domeniului:

Disallow: /test/

Daca Disallow nu are nici o metiune inseamna ca nu sunt fisiere sau directoare excluse de la cautare.
Fiecare User-agent are cel putin o linie Disallow.
Un fisier robots.txt gol este echivalent cu lipsa acestuia.

Exemplul 1: este permis accesul oricarui robot si nici-un fisier exclus de la cautare

User-agent: *
Disallow:

Exemplul 2: acces interzis robotilor (sunt excluse toate fisierele)

User-agent: *
Disallow: /

Exemplul 3: acces interzis unui anume robot

User-agent: googlebot
Disallow: /

Exemplul 4: pentru un anume robot este exclus de la cautare fisierul test.html

User-agent: googlebot
Disallow: test.html

Verificarea existentei si continutului fisierului robots.txt poate fi facuta online la adresa:
Robots.txt Checker

Sus

Tutoriale
28 Feb 2017  5:06 AM
Tutoriale

Copyright © 2005-2016 Termeni si conditii
Adauga comentariu
Nume:*
Email:*
Comentariu:*
 Poza 
Introduceti codul:*

Completarea campurilor marcate cu * este obligatorie.

Autorul isi rezerva dreptul de a nu posta comentariile care nu au legatura cu subiectul articolului.

 
Comentarii:
Bogdan
01-10-2013
Mersi, mult, mult de tot, chiar m-a ajutat acest tutorial :)

Sus