Vytvořte si funkční soubor robots.txt během chvilky – přímo v prohlížeči, bez registrace. Nastavte pravidla pro crawlery, přidejte odkaz na sitemapu a v případě zájmu zablokujte i AI boty.
Robots.txt je jednoduchý textový soubor, který musí ležet přímo v kořenovém adresáři webu (např. https://vasedomena.cz/robots.txt). Vyhledávací roboti (Googlebot, Bingbot a další) si ho stahují jako první při návštěvě webu a řídí se instrukcemi, které obsahuje.
Soubor se skládá z bloků pravidel. Každý blok začíná řádkem User-agent, který určuje, pro kterého robota pravidla platí (hvězdička * znamená „pro všechny“). Následují řádky Allow nebo Disallow, které povolují nebo zakazují procházení konkrétních cest.
Správně nastavený robots.txt pomáhá:
Náš generátor vytvoří validní syntaxi automaticky – stačí vyplnit pravidla vlevo a soubor vpravo se okamžitě aktualizuje. Hotový robots.txt si zkopírujete nebo stáhnete a nahrajete do kořenového adresáře svého webu.
Robots.txt je textový soubor umístěný v kořenovém adresáři webu, který dává vyhledávacím robotům instrukce, které části webu smí nebo nesmí procházet. Pomáhá šetřit crawl budget, chránit citlivé sekce (administraci, filtry, košík) a nasměrovat roboty na sitemapu.
Soubor robots.txt musí být umístěn přímo v kořenovém adresáři domény, tedy na adrese https://vasedomena.cz/robots.txt. Pokud je soubor jinde (např. v podadresáři), vyhledávače ho nenajdou a budou procházet web bez jakéhokoli omezení.
Pravidla Disallow pro konkrétní AI crawlery (např. GPTBot, CCBot, ClaudeBot, Google-Extended, Bytespider) mohou zamezit slušně se chovajícím botům ve stahování obsahu pro trénink AI modelů. Jde ale o dobrovolné pravidlo – jeho dodržení závisí na poctivosti daného robota, nejde o technickou blokaci přístupu.
Ano. Po nahrání souboru na server doporučujeme zkontrolovat jeho platnost v Google Search Console (sekce nastavení crawlování), případně pomocí dalších online nástrojů pro test robots.txt. Ověříte tak, že syntaxe je správná a důležité stránky nejsou omylem zablokované.
Robots.txt je jen začátek. Prověříme rychlost, indexaci, strukturu i další technické faktory, které ovlivňují vaše umístění ve vyhledávání.
Chci bezplatný SEO audit