SEO & CRAWL SETTINGS
SEO・クロール設定生成
HTML headのSEOメタタグ・OGPと、crawler向けrobots.txtを、役割を混同せず1ページで生成します。
入力・生成・コピー・ダウンロードはブラウザ内だけで行い、外部へ送信・保存しません。
作成する設定
メタタグ・OGPとrobots.txtは独立しており、自動連携しません。
SEOメタタグとは
title、meta description、canonical、meta robotsなど、ページ内容や検索エンジンへの指示をHTMLのhead内で示す要素です。文字数表示や入力チェックは確認用で、SEOスコアや検索順位を判定・保証するものではありません。
OGPとは
Open Graphは、SNS共有時のタイトル・説明・画像・URLなどを示すmetadataです。実際のカード表示や検索順位を保証するものではなく、このツールは外部画像を読み込みません。
robots.txtとは
crawlerがどのURLをクロールできるか伝える公開ファイルです。対象hostのルート、例えば https://example.com/robots.txt へUTF-8・text/plainで設置します。適用範囲はscheme・host・portごとに異なります。
meta robotsとrobots.txtの違い
<meta name="robots" content="noindex, follow">は、そのページのindex・followを指定します。一方、robots.txtのDisallow: /private/はcrawlerのクロールを制御します。意味と用途が異なるため、2つのモードは入力もResetも完全に独立し、noindexとDisallowを相互に自動追加しません。
Sitemapとrobots.txt
Sitemap:にはhttpまたはhttpsの完全URLを指定し、全User-agentグループの後へ出力します。複数のSitemapも追加できます。
RFC 9309とGoogleの仕様
Allow・Disallowでは最も長く一致するruleが使われ、同じ長さならAllowが優先されることが推奨されています。*は0文字以上、末尾の$はpatternの終端です。Googleではrobots.txt内のNoindex:はサポートされず、Crawl-delay:もGoogle crawlerでは処理されません。
一次資料：RFC 9309、Googleのrobots.txt仕様、Google Search Central robots.txtガイド
よくある間違い
- Disallow = noindexではありません。DisallowしたURLが外部リンクなどから発見され、検索結果へURLだけ表示される場合があります。
- robots.txt = securityではありません。公開ファイルなので、管理画面や機密情報は認証などで保護します。
- canonical = redirectではありません。代表URLを示すsignalで、転送処理ではありません。
- OGP = 検索順位保証ではありません。SNSカード用metadataであり、表示も各サービス側で変わります。
よくある質問
titleやdescriptionに固定の最適文字数はありますか？
Googleが定めた固定文字数上限はありません。端末幅や検索内容などで表示は変わるため、このツールの文字数は確認用です。
入力URLへアクセスしますか？
アクセスしません。canonical・OGP画像・SitemapのURLは、ブラウザ内で文字列として検証するだけです。