Robots.txt

Categories: Web

Soubor robots.txt je soubor extra pro vyhledávací roboty, informuje je co smějí a nesmějí.

Příkladem pro blokování stránek je:

User-agent: *
Disallow: /zakazane.html
Disallow: /chyba.html

V opačném případě, kdy chceme informovat okolí o stránkách na webu, použijeme soubor sitemap.txt.


    Napsat komentář

    Vaše emailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *