User-agentグループ
1つ以上のUser-agent行の後へAllow・Disallowを出力します。同じproduct tokenに一致する複数グループはRFC 9309上crawler側で結合されます。
ROBOTS.TXT GENERATOR
robots.txtジェネレーター
User-agent、Allow・Disallowルール、Sitemapを設定し、RFC 9309に沿った読みやすいrobots.txtを生成します。
入力・生成・ダウンロードはブラウザ内だけで行い、外部へ送信・保存しません。
重要：robots.txtはcrawlerへのクロール指示であり、アクセス制御ではありません。秘密のURLや機密情報の保護には使用しないでください。
プリセット
用途に近い構成を選び、必要に応じて編集してください。サイト構成によって適切な内容は異なります。
グループとルール
最大10グループ、各8 User-agent・30ルールまで追加できます。
Sitemap
全グループの後へ出力します。http:// または https:// の完全なURLを入力してください。
生成形式とルール
最長一致
上に書いたルールが必ず優先されるわけではありません。最もspecific、つまりoctet長が最長の一致を使用し、同等ならAllowが推奨されます。
ワイルドカード
*は0文字以上の任意文字列、末尾の$はパターン終端です。文字として照合する場合は%2A・%24を使用します。
Sitemap
Sitemap:はRFC 9309のcore ruleではなくother recordです。Googleは完全なURLをサポートし、このツールでは全グループの後へまとめます。
設置場所と注意点
生成したファイルは対象サービスのtop-level path、例えば https://example.com/robots.txt に置きます。/sub/robots.txtではサイト全体を制御できません。適用範囲はscheme・host・portごとに異なります。
robots.txtはUTF-8・text/plainで公開します。公開ファイルに書いたパスは第三者にも見えるため、認証が必要な管理画面や秘密URLを隠す目的では使用できません。
GoogleではDisallowされたURLが外部リンクなどから発見され、内容を取得せずURLだけ検索結果へ表示される可能性があります。またrobots.txt内のNoindex:はサポートされず、Crawl-delay:もGoogle crawlerでは処理されません。
一次資料：RFC 9309: Robots Exclusion Protocol、Googleのrobots.txt仕様、Google Search Central robots.txtガイド
よくある質問
robots.txtとは何ですか？
crawlerがサイト内のどのURLへアクセスできるかを伝えるRobots Exclusion Protocolの公開ファイルです。
robots.txtはどこに置きますか？
対象hostのルート /robots.txt に置きます。scheme・host・portごとに適用範囲が異なります。
User-agent: *とは何ですか？
特定product tokenに一致するグループがないcrawler向けのワイルドカードグループです。robots.txtを無視するcrawlerも存在し得ます。
AllowとDisallowのどちらが優先されますか？
単純な記述順ではなく、RFC 9309では最もspecificな最長octet matchを使います。同等ならAllowが推奨されます。
*と$は何ですか？
*は0文字以上の任意文字列、$はmatch pattern終端です。文字自体には%2A・%24を使用します。
Sitemapを書けますか？
書けます。Googleは完全なHTTP・HTTPS URLのSitemap:をサポートし、複数指定できます。
crawl-delayは設定できますか？
このツールでは生成しません。RFC 9309のcore ruleではなく、Google crawlerも非標準のcrawl-delayを処理しません。
robots.txtにnoindexを書けますか？
Googleではrobots.txtのNoindex directiveはサポートされません。noindexはcrawlerがページまたはレスポンスを取得できる状態でmetaタグやX-Robots-Tagとして設定します。
DisallowすればGoogle検索から消えますか？
保証されません。外部リンクなどからURLが発見されると、URLだけ検索結果へ表示される可能性があります。
robots.txtで秘密ページを保護できますか？
できません。robots.txtは公開ファイルでアクセス制御ではありません。認証などで保護してください。
日本語URLをルールに書けますか？
UTF-8のpath patternを入力できます。URI比較ではpercent encodingが関係しますが、このツールは入力したUnicodeを勝手に変換しません。
入力内容は外部へ送られますか？
送られません。生成・検証・ファイル作成はブラウザ内だけで行い、CookieやStorageにも保存しません。