Robots.txt

Soubor robots.txt je soubor extra pro vyhledávací roboty, informuje je o tom, co smějí, nesmějí a které stránky jim jsou pro indexování zapovězeny.

Příkladem pro blokování stránek je:

User-agent: *
Disallow: /zakazane.html
Disallow: /chyba.html

V opačném případě, kdy chceme informovat okolí o stránkách na webu, použijeme soubor sitemap.txt.