Robots.txt

Soubor robots.txt je soubor extra pro vyhledávací roboty, informuje je co smějí a nesmějí.

Příkladem pro blokování stránek je:

User-agent: *
Disallow: /zakazane.html
Disallow: /chyba.html

V opačném případě, kdy chceme informovat okolí o stránkách na webu, použijeme soubor sitemap.txt.