Cloudflare AI 爬蟲預設封鎖：三分類與網站因應

2026 年 9 月 15 日，Cloudflare 把 AI 流量管理推進到預設設限的階段：7 月公告預告，新網域的 Training（模型訓練）與 Agent（代理存取）將在廣告頁受限，Search（搜尋索引）維持允許。9 月公告進一步提供兩組上站建議配置，廣告站建議 Training 設為 Disallow AI Training、Agent 設為廣告頁封鎖，實際值可在上站時調整。這套制度由兩波官方公告構成，2026 年 7 月 1 日的第一篇公告定下三分類架構與生效時程，9 月 15 日的第二篇公告補上 Disallow AI Training 設定與 Accountable 標章，並讓新預設正式上路。

對網站經營者最要緊的一條變化藏在混合用途爬蟲身上。Googlebot、Bingbot、Applebot 同時服務搜尋索引與 AI 訓練，在新制下只要選擇封鎖 Training，這些爬蟲會連搜尋一起被擋，社群論壇已經有網站回報因此被 Google 除名、Search Console 收到 403 錯誤。想要拒絕訓練又保住搜尋能見度，Cloudflare 提供的答案是 Disallow AI Training：它把拒絕訓練的偏好寫進 robots.txt，Apple、Google、Microsoft 都已遵守或承諾遵守這個設定，搜尋爬取不受影響。

接下來依序拆解：兩波公告的時間軸、三分類各自守住什麼、9 月 15 日的五項實際變更、Googlebot 為什麼會被連坐、Disallow AI Training 的完整語義、Accountable 標章的門檻，以及雲端之外的網站該怎麼辦。不管你的網站是否 hosted 在 Cloudflare，這套分類邏輯都值得看懂，因為它很可能成為整個網路處理 AI 流量的參考框架。

快速重點整理：Cloudflare 自 2026 年 9 月 15 日起對新網域導入預設設限，7 月公告預告 Training 與 Agent 在放廣告的頁面受限、Search 維持允許，9 月的上站建議配置進一步把放廣告網站的 Training 設為 Disallow AI Training，實際值可在上站時調整。Googlebot、Bingbot、Applebot 屬混合用途爬蟲，直接封鎖 Training 會連搜尋一起擋掉。想拒絕訓練又保搜尋，改用 Disallow AI Training。既有客戶的設定會自動遷移，舊版 Block AI Bots 與 Managed Robots.txt 同日走入淘汰。

時間軸：兩波公告把新制推上線

這套制度不是憑空出現。2025 年 7 月 1 日，Cloudflare 宣布首屆 Content Independence Day，給了網站經營者一鍵封鎖 AI 機器人的選項，同時推出 Pay-Per-Crawl 付費抓取市集。那時的邏輯是二選一的：要嘛放行、要嘛一鍵封鎖，中間沒有細緻的刻度，而且當時連混合用途爬蟲都擋不到。一年下來，Cloudflare 觀察到網站經營者要的不是全面開戰，而是把不同用途的自動流量分開對待的權利。

2026 年 7 月 1 日的第二屆 Content Independence Day 公告把方向定了下來。Cloudflare 不再糾結某個機器人算不算 AI，改問三個更實際的問題：它在你的網站上做什麼、它儲存了什麼、它會怎麼重新分享你的內容。對應這三問，AI 流量被拆成 Search、Agent、Training 三種可獨立管理的行為，所有方案的客戶（含免費版）當天就能在網域的安全性設定裡使用新的管理選項。

官方對一年來風向變化的自述值得細讀。去年七月的討論聚焦在未經補償的訓練該不該擋，那是內容被拿去訓練、價值卻沒有流回網站的輸贏結構。一年之後，更細緻的需求浮現了：內容擁有者仍然想保護內容，原創內容是他們努力創造、策劃與分享的成果，理應獲得補償，但把內容整個鎖死也不是一體適用的答案，網站經營者要的選項比每次都封鎖所有自動化流量多得多。三分類就是對這個需求的直接回應。

公告裡把小網站的處境講得最直白的一段是這樣的：如果你經營一個小網站，問題不只是有人可以拿你的內容訓練模型，而是一開始根本沒有人找得到你。於是你被迫做一樁浮士德式的交易，要嘛出現在搜尋結果裡並讓 AI 訓練你的內容，要嘛承擔失去能見度的風險。官方認為這個結構對把同一批爬蟲同時用於搜尋與訓練的既有業者構成不公平的優勢，也激勵新玩家在追趕差距時轉向閃避。新制的出發點就是把這樁交易拆開，讓站長可以只拒絕其中一端。

同一天的文章也預告了生效日：9 月 15 日 Cloudflare 會為三個分類設定新預設值，新加入的網域，Training 與 Agent 在放廣告的頁面預設封鎖，Search 維持允許。開發者文件的 changelog 同步公告了這個時程，並強調所有客戶都可以在 9 月 15 日之前退出新預設。

9 月 15 日當天，第二篇官方公告上線，帶來兩個關鍵補件：Disallow AI Training 設定，讓網站可以留在搜尋索引裡同時拒絕訓練，以及 Accountable 標章，標記那些願意讓網站不必二選一的爬蟲營運商。同日，舊版的 Block AI Bots 選項與 Managed Robots.txt 功能正式標記淘汰，既有客戶的偏好自動遷移到新控制項。TechCrunch 在 7 月的報導曾引述 Cloudflare 描述較廣的適用範圍，提及新客戶、既有客戶的新網站與既有免費方案客戶。9 月官方公告則明列既有網域依原有設定自動遷移，實際值須按後述遷移表確認。

三分類在分什麼：Search、Agent、Training

三個分類的官方定義值得逐字看過一遍，因為後面所有設定與爭議都建立在這組定義上。

Search 的定義是：任何收集或索引你的內容、以便之後回答相關問題的行為。重點在於 Search 是主動為你的網站建立資料庫，未來用它回應查詢，網站經營者應該期待獲得推薦流量或其他合理補償。這個定義刻意涵蓋傳統搜尋引擎與 AI 搜尋：開發文件明白寫著，2026 年 7 月 1 日的新分類法之下，AI Search 與傳統搜尋不再有實質區別，兩者都被視為 Search 行為，舊的 AI Search 標籤只是為了既有規則的相容性而保留，新的搜尋爬蟲一律歸入 Search。文件列的例子包括 Googlebot、Bingbot、Yandexbot、Baidubot，AI 搜尋的例子是 OAI-SearchBot。

Agent 的定義是：即時代表人類執行任務的自動行為，目的是當下把事情做完。官方給的例子有聊天機器人的抓取器（例如 ChatGPT-User）與瀏覽器代理（例如 Gemini 或 Claude 驅動瀏覽器）。關鍵特徵是它造訪你的網頁是為了完成某個工作，而且另一端通常有一個真人正在等結果。開發文件的使用者驅動分類裡，Perplexity-User 與 DuckAssistBot 也屬於這一掛。

Training 的定義是：把你的內容拿去訓練或微調模型的爬蟲。關鍵在於你的資料被永久吸收進模型的底層架構，用來增強它的能力。文件上的訓練型爬蟲例子包括 Google Bard 與 ChatGPT 的訓練爬蟲。對比 Search 的定義還期待推薦流量或合理補償，Training 的定義裡沒有這種回流安排，內容被拿走之後就成為模型能力的一部分。

同一個機器人可以同時具備多種行為，這是新分類法的重要設計。Cloudflare 認為機器人營運商應該把不同用途的自動化拆成不同的爬蟲，讓網站經營者看得出每個爬蟲為什麼來訪，也才能分別授權。一家公司如果同時做搜尋索引、代理服務與模型訓練，官方強烈建議它拆成三個獨立的爬蟲。拆分爬蟲能讓用途更透明。未拆分時，網站仍可選 Disallow AI Training，讓 Accountable 混合用途爬蟲保留搜尋爬取。訓練偏好如何生效，須按各營運商現行支援判斷。

分類的哲學從名稱轉向行為，還有一個現實理由：AI 的邊界每天都在移動。官方的說法是，去辯論什麼才算 AI，今天得到的答案明天就會失效，與其追著名詞跑，不如追蹤機器人在你網站上的實際行為。行為是可觀察、可分類、可設定規則的，名稱不是。這也是為什麼整個新制的設定面板上，你看到的不是 AI 機器人清單，而是三個行為分類。分類底下每個爬蟲歸屬哪些行為，由 Cloudflare 持續認定，對應的營運商自助管理工具正在建置中。

三分類之外，Cloudflare 的行為目錄還涵蓋廣告驗證、feed 抓取、代理交易、資料收集、安全測試、SEO 檢測、連結預覽、監控運維等項目，企業版客戶可以在 BotBase 資料庫裡查到全部清單。但開放給所有方案直接控制的，就是 Search、Agent、Training 這三個 AI 相關使用情境。

9 月 15 日改了什麼：五項實際變更

9 月 15 日的公告列了五項變更，每一項都值得放大看。

第一項是封鎖語義的擴大。Block 與 Block on pages with ads 這兩個選項過去不適用於混合用途爬蟲，因為封鎖它們可能連帶影響搜尋能見度。現在有了 Disallow AI Training 之後，Block 與廣告頁封鎖正式適用於所有訓練爬蟲，包括混合用途的 Applebot、Bingbot、Googlebot。換句話說，這兩個選項從此會影響搜尋，要停訓練又保搜尋，官方指定的路徑是 Disallow AI Training。

第二項是舊功能的淘汰。Block AI Bots 走入歷史，由更細的 Search、Training、Agent 控制項取代。舊選項的設計本身就說明了時代的局限：它封鎖以訓練為目的的已驗證爬蟲與一批行為相似的未驗證爬蟲，但明確排除同時用於訓練與搜尋的混合用途機器人。也就是說，舊版只能擋單一用途的訓練爬蟲，對混合用途大廠完全沒輒。

第三項是 Managed Robots.txt 淘汰，由 Bot Preference Sync 接棒。曾啟用託管 robots.txt 的客戶會遷移到新系統，機器人偏好同步會把你的爬取偏好發布到標準 robots.txt 檔案裡，讓 Cloudflare 網路之外、遵守規則的爬蟲也能讀到同樣的指示。

第四項是 Disallow AI Training 成為特定新網域的建議配置一部分。新網域在上站流程中會依據是否靠廣告變現，拿到兩組不同的建議預設：不放廣告的網站三類全允許且偏好同步開啟，放廣告的網站 Search 允許、Training 設為 Disallow AI Training、Agent 在廣告頁封鎖。上站時或上站後隨時可以改。

第五項是既有客戶的自動遷移。從未用過三分類控制的網域，按舊 Block AI 設定對應：沒開過的就三類全允許，開過封鎖或廣告頁封鎖的，Search 允許、Training 遷移為 Disallow AI Training、Agent 廣告頁封鎖。曾經手動設定過三分類的網域，則保留實際效果：Training 的封鎖與廣告頁封鎖都遷移為 Disallow AI Training，Search 與 Agent 的選擇照舊。官方的說法是幾乎所有情況下你什麼都不用做，現有設定會自己帶過去。

把遷移的默認邏輯讀懂，就能看出政策的重心。官方對既有客戶的行動指引只有兩句話：第一句是幾乎每種情況下都不用做任何事，你現在的設定會自己延續。第二句是，如果你想讓混合用途爬蟲徹底消失，現在必須明確說出來，去選 Block。換句話說，沉默網站的去向取決於既有設定：曾開啟舊 Block AI 的站會被帶往擋訓練保搜尋的位置，從未設定過的站則維持三類全允許，想更激進或更開放的站長，都得自己動手表態。預設值是一種立場，這組立場站在內容擁有者這邊。

把兩組遷移表攤開對照，可以看出 Cloudflare 的政策立場：拒絕訓練是預設該有的姿態，但搜尋能見度是被保護的資產。廣告頁的分界則把變現邏輯寫進了預設值。

廣告頁面為什麼成為分界線

新預設最引人注意的設計，是拿有沒有放廣告當封鎖的分界。官方的推理是這樣的：廣告是一個訊號，代表網站經營者期待有人類訪客落地看到那個頁面，那是支撐事業的變現資產。在這些頁面上，人類注意力就是終點，所以要把可能取代這份注意力的機器人擋在外面。Search 之所以被留下，是因為它最能自然地把訪客帶回網站，符合多數站長的利益。

這個分界有數據支撐。Cloudflare 的統計顯示，幾乎所有站長都認為 Search 有益：選擇封鎖 Search 爬蟲的 Cloudflare 網站不到 1%。Training 則完全是另一回事，17% 的網站啟用了某種封鎖訓練的機制。把最受歡迎的行為留在允許側、把最有疑慮的行為放進預設封鎖側，這組預設值與大多數站長已經做出的選擇方向一致。

廣告分界背後還有一層對開放網路資金結構的判斷。官方的觀察是，開放網路有相當大的一部分靠廣告、訂閱或與訪客的直接關係支撐，而這些模式只有在某人真正抵達頁面時才會付錢。訓練把那次造訪換成一條不需要你的回答，代理抓取則是把頁面讀走但沒有人看到廣告。兩者都在抽走支撐內容生產的那一次抵達，搜尋則會製造新的抵達。預設值沿著這條經濟邏輯畫線，懂了這層，你就知道什麼時候該偏離預設。

廣告偵測由 Cloudflare 自動進行，網站不需要自己標記哪些頁面有廣告。Search 與 Agent 可選允許、廣告頁封鎖或全站封鎖。Training 另有 Disallow AI Training，共四個設定選項。要注意廣告頁封鎖的判斷權在 Cloudflare 的偵測，而不是站長的宣告，這點在排解流量異常時值得放在心上。

最大地雷：封鎖 Training 為什麼連 Googlebot 一起封

整個新制裡代價最高的誤區之一，就是以為封鎖 Training 只會影響 AI 公司的訓練爬蟲。實際狀況是：Googlebot、Applebot、Bingbot 都是混合用途爬蟲，一隻爬蟲同時服務搜尋與訓練。新制的規則是混合用途爬蟲依其全部行為論處，預設以最嚴格的適用規則執行，所以選擇封鎖 Training 的網站，等於把這三家入口的搜尋爬蟲也擋在門外。

官方對混合用途爬蟲的定義一句話可以記住：單一爬蟲同時做搜尋與訓練兩件事。在沒有細緻控制項的年代，這個組合直接造成站長的兩難，你無法拒絕其中一種用途而不拒絕另一種。這也是為什麼 Cloudflare 呼籲營運商把爬蟲拆開，把選擇權還給網站。9 月的公告把這個兩難的解法正式產品化，代價是 Block 這個選項的語義變得比字面更重，遷移期的設定檢查因此不可省。

這不是理論風險。2026 年 8 月 6 日的社群討論串裡，有站長回報在新政策頁把 Training 設成全站封鎖後，網站被 Google 除名，Search Console 爬不到首頁、收到 403 錯誤，把設定改回只在放廣告的頁面封鎖之後問題才解決。這位站長管理大量網域，最後不得不寫程式批次修正設定。同一時期論壇上還有標題直接點名封鎖訓練同時擋掉 BingBot 與 GoogleBot 的討論串。

舊版 Block AI Bots 時代，同樣的設定不會出這種事，原因在前面的淘汰說明裡講過了：舊選項明確排除混合用途爬蟲。新制把 Block 的語義擴大到混合用途之後，同一個操作字的含義變了，這是遷移期最容易踩坑的地方。社群討論串也記錄了過渡期的介面痕跡：舊設定頁曾提供混合用途爬蟲去留的選擇，預設值寫的是 9 月 15 日起封鎖，另一個選項是繼續允許。

一個關鍵背景是，Cloudflare 已拿到三大搜尋入口的遵守或承諾。官方公告點名：想要混合爬蟲徹底消失，現在要明確說出來，選 Block，它會連搜尋一起擋掉 Applebot、Bingbot、Googlebot。反過來說，在 Disallow AI Training 之下這三家可以繼續為搜尋爬你的網站。這個設計把「拒絕訓練」與「保留搜尋」從互斥變成可並存，條件是你要選對設定。

背景脈絡讓這個設計更有意思。Cloudflare 在 7 月的公告與媒體報導中直指全球最大搜尋引擎靠混合爬蟲取得約兩倍於其他 AI 公司的資訊量，因為站長很難在保持可被搜尋的同時拒絕被用於 AI。Google 一方提供的解法是 Google-Extended：在 robots.txt 對這個 user agent 表達拒絕訓練，且不影響 Google 搜尋收錄。生成式搜尋結果的排除，則是站長入口裡的另一個開關。兩套機制解的是同一個問題，差別在 Cloudflare 把它做成網路層的預設，Google 把它留給站長手動宣告。想深入 Googlebot 的身分驗證與 IP 檢查方法，站內Googlebot 專文有完整說明。

Disallow AI Training：擋訓練不擋搜尋的第四個選項

新制下的設定階梯從三個選項變成四個，多出來的正是關鍵。以 Training 這個分類來說，由寬到嚴是四段。允許，全部爬蟲放行，除非被其他設定或 WAF 規則擋掉。Disallow AI Training，機器人偏好同步把拒絕訓練的偏好發布到 robots.txt，Accountable 的混合用途爬蟲保留下來繼續搜尋，其餘訓練爬蟲全部封鎖，包括 Amazon、Anthropic、Meta、OpenAI 的專用訓練爬蟲，封鎖它們不影響搜尋。只在放廣告的頁面封鎖，此選項如今也涵蓋混合用途爬蟲。全站封鎖，所有該類爬蟲連同混合用途一起出局。

Disallow AI Training 這個名字來自它發布的 robots.txt 指令。它只存在於 Training 分類，Search 與 Agent 沒有這個選項。為什麼沒有只在廣告頁拒絕訓練的版本，官方給的理由很技術：robots.txt 表達不了「只在某些頁面拒絕」這種偏好，Cloudflare 能偵測哪些頁面放廣告，但那份清單太大又變動太快，不可能逐一列進 robots.txt。

Agent 為什麼也沒有 Disallow 選項，理由不同。代理流量不像混合爬蟲那樣製造搜尋能見度的兩難，而且網路世界還沒有一個表達代理拒絕偏好的成熟標準，等 IETF 的 ai-prefs 這類標準成熟後 Cloudflare 會重新考慮。在這之前，Agent 只有允許、廣告頁封鎖、全站封鎖三種。

設定的位置在 Cloudflare 控制台每個網域的安全性設定頁，名稱是 Configure AI bot policies。開發文件的封鎖 AI 機器人頁面提醒了一個容易忽略的細節：每個封鎖選項擋下的是該行為的已驗證爬蟲，加上同分類的未驗證爬蟲。所以設定生效的範圍比你想像的廣，排查時不能只盯著知名機器人的名字。

Accountable 標章：不逼站長二選一的爬蟲才有門票

Disallow AI Training 能不能兌現，取決於爬蟲營運商守不守規矩，所以 Cloudflare 同步定義了 Accountable 標章。取得資格要滿足或承諾滿足四個條件。一是提供讓站長退出 AI 訓練的機制，透過 robots.txt 或同等標準。二是提供可直接向營運商設定的 AI 摘要退出機制。Cloudflare 的目標是明年初提供統一設定。三是提供 URL 層級的訓練頁面可見性，附上內容在搜尋中出現方式的指標。四是保證退出訓練不影響傳統搜尋結果。

Apple、Google、Microsoft 三家都符合資格，各自以現有能力加上有時限的承諾取得標章。它們的混合爬蟲在 Disallow AI Training 之下可以繼續搜尋爬取。Amazon、Anthropic、Meta、OpenAI 的相關爬蟲也被歸為 Accountable，這四家走的是另一條路：把搜尋與訓練爬蟲分流，所以 Cloudflare 封鎖訓練爬蟲時根本不會碰到搜尋。

標章不是憑空頒發的。Cloudflare 從 7 月起與爬蟲營運商直接對話，得到的回應讓官方感到振奮：幾乎所有業者都同意網站經營者應該對內容的使用方式擁有控制權與透明度，也同意他們的選擇應該被尊重。官方同時講了一句務實的話：封鎖只是移除一個爬蟲，並不會改變爬蟲的行為，更好的結局是營運商根本不逼站長二選一。Accountable 標章就是把這個更好結局具體化，讓守規矩的業者拿到一個可以被識別的身分。

落到個別機器人，各有各的現行機制。Googlebot 路線是在 robots.txt 封 Google-Extended 退出訓練，站長入口裡還有把網站排除於生成式搜尋結果的開關，並提供搜尋與 AI 摘要的指標報表，URL 層級的透明工具預期數週內推出。Apple 路線是 robots.txt 封 Applebot-Extended，頁面 HTML 的 nosnippet 指令可以表達 AI 摘要偏好，URL 層級檢查工具的解決方案建置中、排定明年。Bing 的進度最落後：目前的訓練偏好靠 Bing 站長工具與 NOARCHIVE meta tag 表達，robots.txt 的網域層級拒絕訓練機制目標 2027 年初上線，在那之前選了 Disallow AI Training 也不會自動把拒絕訓練的訊息傳達給 Bing，這點官方文件明文提醒。

三家都保證退出訓練不影響傳統搜尋結果，這句保證正是整個制度的地基。Cloudflare 也把帳攤在陽光下：Radar 公開追蹤 Accountable 營運商實際提供的控制、透明度與報告。下一戰場官方也預告了：混合爬蟲是訓練問題的難關，AI 摘要是下一個，目標明年初讓站長在 Cloudflare 單點設定內容被摘要的比例，不用再逐家談。

對 AI 搜尋能見度的影響：GEO 角度的判讀

對經營 AI 搜尋能見度的人來說，這套新制給了一個更清楚的決策架構。Search 分類涵蓋所有為了回答問題而建立索引的行為，AI 搜尋與傳統搜尋一視同仁，OAI-SearchBot 這類爬蟲在新分類下就是 Search。也就是說，新預設把搜尋放行的同時，也把 AI 搜尋引擎的收錄通路放行了。Cloudflare 的數據佐證這個預設符合直覺：不到 1% 的網站選擇封鎖 Search。

會走到按行為分類這一步，搜尋本身的質變是背景。官方在 7 月的公告裡直言，今天的 AI 可以存在於任何東西裡，Google 搜尋已經從被 AI 排序，變成直接在結果頁回答問題的完整回答引擎，而且 Google 並不孤單，這是搜尋整體移動的方向。當搜尋與 AI 的界線模糊，用是不是 AI 來決定封鎖就失去意義，剩下的判準只有行為與回饋。對網站的含義很直接：未來衡量搜尋流量的方式，要連 AI 搜尋帶來的引用與曝光一起算，Google 的AI Mode 與生成式結果都在這條線上。

值得多想一層的是 Agent。ChatGPT-User 這類聊天抓取器與 Gemini、Claude 驅動瀏覽器的代理，已經在當場讀頁面，而不是只靠預建索引。這類流量在新制下屬於 Agent 分類，放廣告的頁面預設封鎖。對靠廣告吃飯的網站，這個預設保護了廣告曝光的商業模式，對以品牌能見度為先的網站，被擋的代理抓取等於失去一次被 AI 助理引用的機會。兩種目標的網站該選不同設定，這正是三分類存在的意義。代理瀏覽對行銷的完整含義，站內GEO 與代理瀏覽專文有深入拆解。

流量的量體也改變了賽局。Cloudflare 執行長 Matthew Prince 在公告中說，網路上多數流量已非人類，機器人流量首度超越人類，這個里程碑原本預期次年才會發生。Cloudflare 的資料還顯示，AI 爬蟲的抓取流量有超過一半花在重新抓取內容沒變的頁面。這項整體資料顯示 AI 爬蟲有大量重複抓取。個別網站能否藉設定減少這類請求，仍須按爬蟲分類、頁面範圍與伺服器日誌驗證。爬取量與檢索預算的關係，是技術 SEO 一直要盯的變數。

商業側的配套也在成型。Pay-Per-Crawl 市集推出一年後，Cloudflare 把模型往 Pay Per Use 推進：內容被拿去用、創造價值時收費，而不是只在被抓取時收費，初期合作對象是 Ceramic.ai 與 You.com，出版者加入後，內容出現在 Ceramic 的 AI 搜尋結果、或 You.com 存取付費內容時可以獲得報酬。封鎖與收費變成可調的光譜，站長可以在中間選位置。GEO 的整體策略框架，站內GEO 完整指南從搜尋引擎演進講起。

六種網站形態怎麼選設定

官方的兩組建議預設只區分放不放廣告，實務上的決策比這細。以下按六種常見形態給判斷框架，依據都是前面凍結過的官方規則，套用前先確認自己的變現結構。

靠廣告變現的內容站與媒體。這是新預設的主要保護對象，建議直接沿用：Search 允許、Training 設 Disallow AI Training、Agent 廣告頁封鎖。訓練拿走內容不帶來訪客，代理抓取會跳過廣告展示，兩者都侵蝕廣告模式。若站內有特別重要的即時區塊，可以對 Agent 再單獨放寬測試。

訂閱制與會員制媒體。付費牆內容的風險結構跟廣告站不同：要保護的是付費會員的專屬價值，而不是頁面上的曝光。這類網站通常已有付費牆與登入牆擋在內容前面，機器人政策的重點是確認訓練爬蟲進不來付費區，同時把索引、摘錄與連回網站的使用維持在 reference 等級。摘要與重現則屬 full，應另行決定是否允許。蘋果支援以標記付費內容的方式排除生成式輸出，這條路對訂閱媒體比全面封鎖更有利。

不放廣告的內容站與部落格。官方建議三類全允許。官方沒有量化訓練傷害與能見度機會成本的比較，是否允許訓練，仍應依內容授權與商業目標判斷。若仍想表態拒絕訓練，Disallow AI Training 是唯一不傷搜尋的選項，這也是它存在的目的。

電商網站。若商品頁有投放廣告，就會落入廣告頁偵測的範圍，預設值因此偏嚴。電商要特別注意 Agent 的取捨：購物代理與比價代理讀不到商品頁，等於放棄 AI 推薦的進貨口，但放行又可能養大爬蟲成本。可以從廣告頁封鎖起跑，觀察 AI 流量的實際分佈再調整。電商在 AI 搜尋的完整佈局，站內電商 SEO 指南另有一節展開。

品牌官網與服務頁。這類網站靠搜尋與 AI 引用帶詢問，通常不放廣告，三類允許是合理起點。品牌要的不是擋流量，是被正確引用。真正的重點工作不在封鎖設定，而在確認 Disallow AI Training 沒被誤設成 Block，因為官網的搜尋排名就是它的命脈。

技術文件與工具型網站。文件站天然希望被 AI 助理讀到，讓開發者問 AI 就能查到答案，Agent 封鎖會直接砍掉這條使用路徑，建議 Agent 保持允許或至少縮小封鎖範圍。訓練分類對文件站的利弊取決於商業模式，開源生態通常樂於被訓練，商業閉源文件則另當別論。

因應清單：現在該做的六個檢查

第一個動作，登入 Cloudflare 控制台，到安全性設定裡的 Configure AI bot policies 頁，確認三個分類目前的值。9 月 15 日之後新建立的網域拿到的是新預設，既有網域則按前述遷移表換算，實際值以控制台顯示為準。

第二個動作，專門檢查 Training 這一格的設定。Disallow AI Training 是保搜尋的拒絕訓練選項，Block 與廣告頁封鎖如今都會波及 Googlebot、Bingbot、Applebot 的搜尋爬取。搜尋流量對網站重要的，這一格只該出現允許或 Disallow AI Training 兩種值。

第三個動作，到 Google Search Console 看檢索統計與錯誤。社群實證裡的 403 就是這樣被發現的：檢索被擋、索引消失，時間點對得上設定變更就要立刻回控制台比對。修復的順序是先改設定，再觀察檢索恢復，索引回來需要時間，不要在中間反覆切換設定。

檢查時把三個訊號放在一起看：檢索統計裡 Googlebot 的請求數與回應碼分佈、索引覆蓋報告裡消失的頁面、以及檢索錯誤的時間軸。錯誤集中在廣告頁，優先懷疑廣告頁封鎖的偵測範圍。錯誤全面出現，優先檢查 Training 是不是被設成了 Block。錯誤只影響特定路徑，回頭看 WAF 與其他規則有沒有疊加。設定、觀察、等待，三步之間留出足夠間隔，資料才讀得懂。

第四個動作，不在 Cloudflare 上的網站也有事要做。robots.txt 是宣示而不是強制，它無法識別誰在爬、判斷為何爬、阻止無視規則的爬蟲，這是 Cloudflare 把執行下沉到網路層的理由。你能做的是把宣示寫齊：robots.txt 封 Google-Extended 與 Applebot-Extended 表達拒絕訓練，Bing 用 NOARCHIVE meta tag，並持續用AI 爬蟲日誌分析的方法盯住伺服器日誌，看宣示有沒有被遵守。

第五個動作，認識內容使用訊號。Cloudflare 正在測試 robots.txt 裡的 use 訊號，延伸自 Content Signals 規範，三個等級：immediate 是互動但不儲存不重用，reference 是索引、摘錄並連回（預設值），full 是摘要與重現。7 月公告指出，當時已啟用 Managed Robots.txt 的客戶，其 robots.txt 會新增 use=reference 偏好。9 月這項舊功能則遷移至 Bot Preference Sync。濫用訊號的機器人會失去 Verified 身分，全文重現型的機器人在新制下拿不到 Verified。

第六個動作，把監測交給工具而不是記憶。AI Crawl Control 前身是 AI Audit，所有方案可用，能看哪些 AI 服務在存取內容、按個別爬蟲設允許或封鎖規則、追蹤 robots.txt 遵循狀況、並探索按次付費的變現選項。企業版的 BotBase 資料庫則把所有已知機器人與其行為分類攤開供查詢與篩選。搭配站內AI 流量監測指南的量測方法，設定改動前後才有對照基準。

robots.txt 的分工：宣示歸宣示，強制歸強制

這波變革對 robots.txt 的定位講得最清楚的一句話，出自 9 月的官方公告：robots.txt 指令本身解決不了這個問題，任何人都能發布一份，但它無法識別誰在爬、判斷為何爬、也阻止不了無視它的爬蟲。網路可以解決，流程是把偏好發布出去、識別誰在爬、分類為何而爬、封鎖無視規則的，再於 Radar 回報每個營運商實際做了什麼。

所以新制不是取代 robots.txt，而是把它放回正確的位置：表達偏好的標準格式，配上網路層的執行力。Bot Preference Sync 會把適用的拒絕訓練偏好發布到 robots.txt。Cloudflare 另以網路層識別與執行封鎖，Agent 目前沒有對應的 Disallow 指令。對站長來說，理解這個分工能避免兩種錯誤：以為改了 robots.txt 就等於被封鎖，或以為控制台的設定不影響站外的爬蟲看到什麼。robots.txt 的完整語法與常見錯誤，站內robots.txt 專文有系統性的整理。

還有一個容易被忽略的細節：7 月公告示範站長在 robots.txt 表達內容使用偏好，並提議由營運商透過 HTTP Forwarded 標頭聲明抓取用途。Content-Signal 那一行是站長的宣示，宣告搜尋可以、訓練不行、內容使用上限到 reference 為止。Forwarded 標頭裡的 use 參數是 Cloudflare 在公告中提出的做法，讓營運商聲明這次抓取的內容用途，這項機制目前仍以提案形式描述。官方表示，若發現機器人濫用內容使用訊號，會撤銷其 Verified 身分。公告提出在站長偏好之外加入營運商用途聲明的方向，尚未說明雙方必須採用的規則或雙向驗證流程。

Verified 標章的語義也跟著調整了。過去所有 Verified 機器人預設允許，新制之下未驗證機器人仍然預設封鎖，但 Verified 不再等於預設允許，而是允許與其相關類別掛勾：你允許哪個類別，那個類別裡的 Verified 機器人才進得來。成為 Verified 的門檻也公開了：誠實表明身分，並且不濫用這份誠實換來的存取權。Cloudflare 正在為爬蟲營運商建置自助管理工具，讓分類更透明。

制度含義：從一律放行到預設設限

拉遠看，9 月 15 日改變的不只是幾個下拉選單。三十年來爬蟲與網站的默契是換取推薦流量，生成式 AI 打破了這個交換，機器人拿走內容、給不回訪客。超過 20% 的網域位於 Cloudflare 網路後方，一家邊緣網路公司把預設值從放行改成有條件封鎖，等於替一大塊網路重建了談判起點：想要內容，先講清楚用途，不接受站長二選一的，連門都進不來。

對個別網站，行動其實很單純。在 Cloudflare 上的，花幾分鐘檢查三個分類的設定值，確認 Training 用的是保搜尋的選項，再定期看 Search Console 的檢索健康。不在 Cloudflare 上的，把 robots.txt 的宣示補齊，用日誌驗證遵循狀況。政策會繼續演進，AI 摘要的控制目標明年初上路，各家營運商的承諾陸續兌現或跳票，看懂這套分類邏輯的網站，之後每次預設值再變動時，都知道該檢查哪一格。