允許爬蟲的規則，究竟能證明什麼？
本次檢查 whoops.tw 準備部署的 robots.txt，觀察六個爬蟲 token 對核心 SEO 指南路徑的規則判定。資料來自本機網站檔案，不是正式站即時回應。
- 問題
- 本次 robots.txt 快照是否在規則層允許六個指定爬蟲抓取 /seo-complete-guide/？
- 方法
- 使用 Whoops 工具的 robots.txt 解析器，以指定 token 與同一路徑逐一比對。Googlebot、Bingbot 使用通用群組，其餘四個 token 使用專用群組。
- 結果
- 6 / 6 個 token 的規則判定為允許。這是規則解析結果，不是六次真實爬蟲造訪。
- 限制
- 未測試正式站 HTTP、CDN、WAF、JavaScript 渲染或 robots meta。沒有伺服器爬蟲紀錄、GSC 索引資料或 AI 引用樣本。
逐項判定
- Googlebot規則允許 · 通用群組
- Bingbot規則允許 · 通用群組
- OAI-SearchBot規則允許 · 專用群組
- GPTBot規則允許 · 專用群組
- PerplexityBot規則允許 · 專用群組
- ClaudeBot規則允許 · 專用群組
這份結果只能支持「檔案中的規則允許」。要回答是否真的能抓取，還需核對正式站回應；要回答是否被收錄或引用，則需要另外取得平台資料。
Google 的 robots.txt 說明也區分了檢索控制與索引。請勿將爬蟲允許率當成排名或 GEO 成效指標。
查看輸入檔案與重現方式
下載紀錄內含完整 robots.txt、目標路徑與逐項結果。可對照下方快照，或開啟本站 robots.txt 查看現在的規則；目前版本可能與本次紀錄不同。
規則：先匹配 token 群組；Googlebot 與 Bingbot 回退到 *，另外四個 token 均有專用群組。這六組都只有 Allow: /，因此本次路徑得到允許。
有本站原始碼的讀者可執行 node scripts/seo/snapshot-robots.mjs 重現。若檔案或解析器有變更，應另存新紀錄，不覆蓋這份快照。
輸入檔案 SHA-256：dc199d12fa53a90f2b0009d913990e83fd60df5562e77b6cee69a0ecc5806dd0
User-agent: *
Allow: /
# AI crawlers — allow (GEO/AEO goal: be cited)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Applebot-Extended
Allow: /
User-agent: Bytespider
Allow: /
Sitemap: https://whoops.tw/sitemap-index.xml
把下一個問題寫清楚
下列是尚未完成的研究問題，目前沒有成效結論。
規則允許後，實際抓取是否成功？
需要經驗證的爬蟲身分、請求日期、路徑、HTTP 狀態與 WAF 紀錄。先去除 IP 等識別資訊，再彙整失敗原因。
內容更新後，搜尋表現有沒有改變？
需要 GSC 相同地區、裝置與搜尋類型的前後期間資料，保留修改日期、比較頁面及其他同時發生的變動。
AI 是否引用了這篇內容？
需要固定問題樣本、平台、日期、引用網址與未引用結果；單次回答不能代表長期可見度，也不能由爬蟲次數推算。
引用時，請把條件一起帶走。
引用格式建議：Whoops，〈允許爬蟲的規則，究竟能證明什麼？〉，2026-09-08，本機 robots.txt 規則檢查。請連回本頁並註明沒有測量實際抓取、索引或 AI 引用。
每份後續紀錄都應交代問題、測試條件、原始資料、結果與限制。有需要修正的地方，可依編輯守則提出勘誤。
把驗證方法用到自己的 30 天計畫 →