資源 · 工具
AI 爬蟲存取檢查
輸入網址，看看你的 robots.txt 在規則層對各 AI 爬蟲是敞開還是關門：9 個 AI 爬蟲逐項判定，加上 Googlebot 與 Bingbot 對照、llms.txt 存在性，以及內容是否依賴 JS 渲染。
9 個 AI 爬蟲 · 2 個搜尋基準
規則檢查AI 爬蟲規則檢查
AI 爬蟲存取檢查結果
AI 爬蟲判定（robots.txt）
「無規則」表示沒有涵蓋此路徑的規則，依慣例視為允許；與明確寫 Allow 不同，平台政策仍可能調整。
先看規則，再看能否取得資料
判定看的是規則層；抓取失敗時會標示無法判定，避免把未知當成允許。
- 允許robots.txt 有明確 Allow，或最長的適用規則是 Allow
- 封鎖最長的適用規則是 Disallow，這個爬蟲不應抓取該路徑
- 無規則已取得的資料沒有涵蓋此路徑的規則，與明確寫 Allow 不同
- 無法判定robots.txt 連線失敗、伺服器錯誤或資料不完整，需要重試或人工確認
這個工具不能做什麼
把範圍說清楚，判定才有意義。
robots.txt 採 RFC 9309 的實用子集解析：支援萬用字元與結尾錨點，不處理 Crawl-delay 語意與路徑解碼正規化。判定的是規則層結果，不代表 AI 平台實際抓取或引用行為；WAF 與反爬蟲防護層不在這裡的視野內。「初始 HTML 內容」是啟發式判斷，SPA 網站可能被誤判。llms.txt 是否被任何平台讀取，由各平台自行決定，Google 已公開說明不需要它。
為什麼 GPTBot 和 OAI-SearchBot 要分開看？
它們是 OpenAI 的不同產品：GPTBot 抓內容做模型訓練，OAI-SearchBot 是 ChatGPT 搜尋的檢索器。robots.txt 對兩者是完全獨立的規則，一個允許不代表另一個也允許。
封鎖 Google-Extended 會影響 Google 搜尋排名嗎？
不會。Google-Extended 只控管 Gemini 的訓練資料取用，Google 搜尋收錄走的是 Googlebot。兩者分開檢查才不會誤判。
判定結果等於 AI 一定會（或不會）引用我的網站嗎？
不等於。這裡判斷的是 robots.txt 規則層的結果，也就是你有沒有在規則上把爬蟲擋住。平台實際要不要抓取、要不要引用，由各家模型與產品決定。
從一個問題開始
留下你的網站網址，讓我們幫你看問題在哪
描述你遇到的狀況，我們會以 Email 回覆具體建議與優先順序，不會推銷、不會有業務打擾。
以可驗證資料為依據
不承諾無法控制的排名或 AI 引用