Robots.txt
Datum: 3. 9. 2020
Kategorie: Web
Soubor robots.txt je soubor extra pro vyhledávací roboty, informuje je o tom, co smějí, nesmějí a které stránky jim jsou pro indexování zapovězeny.
Příkladem pro blokování stránek je:
User-agent: * Disallow: /zakazane.html Disallow: /chyba.html
V opačném případě, kdy chceme informovat okolí o stránkách na webu, použijeme soubor sitemap.txt.