Whoops

想像一下這個畫面:你接手一個經營了五年的網站,上萬個頁面散落在幾十個目錄裡,客戶問你「我們網站到底健不健康?」,你打開 Google Search Console,看到一堆斷連、一堆收錄異常,卻沒辦法在三分鐘內說出「問題出在哪一頁」。這時候你需要的是一把能把整個網站翻過來的放大鏡。

這把放大鏡,就是 Screaming Frog SEO Spider。它是一套裝在你電腦上的桌面爬蟲軟體,會模仿 Googlebot 的行為,把你的網站從首頁開始一頁一頁抓下來,再吐出一份像全身健檢報告的資料:哪一頁標題重複、哪一頁連結壞掉、哪一頁 canonical 指到不該指的地方、哪一頁載入慢到 Googlebot 不想理它。換句話說,它的目的只有一個:讓你用工程師的眼光,把一個你看不見全貌的網站,變成一張攤開來的明細表。

本篇精華:Screaming Frog 是英國同名公司開發的 SEO 爬蟲工具,俗稱「尖叫青蛙」。免費版可爬 500 個 URL,付費版沒有數量限制(年約授權,實際價格請見官方 Pricing 頁)。它最核心的價值不是「抓資料」,而是把抓下來的資料翻譯成「你下一步該修哪一頁」。如果你今年只打算認真學一套技術 SEO 工具,多數第一線的從業人員會推薦你先裝它(參考 官方的 SEO Spider 產品頁,2026 年)。

Screaming Frog 到底是什麼?一句話講清楚

用最白話的方式講:Screaming Frog SEO Spider 是一個「裝在你電腦裡的小型 Googlebot」。你輸入一個網址,它就從那個網址出發,順著頁面上的每一個連結,把整個網站能到的頁面全部抓一遍,邊抓邊記錄每一頁的 HTTP 狀態碼、標題、描述、H1、圖片、連結、重新導向、結構化資料、回應時間等等。爬完之後,你會得到一張像 Excel 的試算表,每一列是一個網址,每一欄是一個 SEO 欄位。

換個比喻:如果你的網站是一棟大樓,Screaming Frog 就是那個提著手電筒、挨家挨戶敲門的巡邏員。它會回來告訴你「三樓那戶沒人應門(404)」「五樓貼了兩塊一模一樣的門牌(標題重複)」「地下室的門把大家導到錯的樓層(重新導向鏈)」。你不必再靠人工一頁一頁點開來看。

也要誠實說一下它做不到的事,免得你期待錯方向。Screaming Frog 不會告訴你某個關鍵字每個月有多少搜尋量、不會幫你查對手的反向連結、也不會把排名走勢畫成漂亮的圖表。它是一面把網站現況照得一清二楚的鏡子,至於「該往哪個方向努力」「對手在玩什麼招」這類戰略問題,要交給關鍵字工具與競品分析工具(完整清單可參考站上整理的SEO 工具完整評比)去回答。把它定位成「技術體質的聽診器」,你會用得最順,也不會拿螺絲起子去敲釘子。

它跟 一般 SEO 軟體最大的差別在於「資料來源」。Ahrefs、SEMrush 這類雲端工具給你的是「它們自己資料庫裡記錄的你」;Screaming Frog 給你的是「此時此刻、從你伺服器實際抓到的你」。前者適合看外部競爭與反向連結,後者適合看自己網站的技術體質。實務上的習慣是兩邊一起用,各補對方的盲區。

為什麼每個做 SEO 的人都該裝一套

每接一個新專案,第一件事永遠是先跑一次完整爬蟲。關鍵字、排名那些都是後面的事。原因很實際:在一個你連「有幾頁、哪些頁壞掉」都還搞不清楚的網站上做內容優化,就像在還沒打地基的空地上蓋磁磚,再漂亮也會塌。

Screaming Frog 能幫你回答那些光靠 Google Search Console 回答不完整的問題。GSC 告訴你「這個網址有收錄問題」,但常常講不出「為什麼」;Screaming Frog 直接把那一頁的 HTTP 回應、noindex 標籤、canonical 指向、robots 規則、連入連結一次攤開在你眼前。你是在看證據,不是在看結論。

幾個常見場景對照如下,你會更清楚它到底能幫你做什麼:

你想回答的問題 Screaming Frog 怎麼幫你
網站到底有多少頁、結構長怎樣 Crawl 完直接看 Internal 標籤頁的 URL 列表與目錄層級分佈
哪些頁面標題或描述重複、空白、過長 切到 Page Titles / Meta Description 面板,紅黃綠直接標出
站內有多少斷連、被連到 404 看 Response Codes 面板篩 4xx,連「是哪一頁連過去的」都告訴你
canonical、hreflang 有沒有設錯 Directives 面板一次列出全站的 canonical 與 hreflang 指向
圖片有沒有 alt、體積多大 Images 面板列出每一張圖的 alt、尺寸、KB 數

你看得出來,這些事情你當然可以一篇一篇打開瀏覽器、按 F12 自己看,但一個上千頁的網站這樣做下來,你會做到天荒地老。因此常說:F12 開發者工具是查「單頁」用的,學會看原始碼是基本功;而 Screaming Frog 是查「全站」用的,是放大鏡。它不會取代你懂技術這件事,反而會把你已經懂的技術放大一千倍。

把 SF、GSC、Ahrefs 擺在一起看:誰補誰的盲區

很多人會問:既然 Google Search Console 免費,Ahrefs也能分析關鍵字與連結,為什麼還要學 Screaming Frog?三套工具處理的資料來源與用途不同,應依工作需求搭配,而不是互相取代。

用一張表把三者的定位分清楚:

維度 Screaming Frog Google Search Console Ahrefs / SEMrush
資料來源 你自己伺服器的即時回應 Google 眼中的你 第三方資料庫的快照
更新頻率 你按下爬蟲的那一刻 Google 累積的天資料 它自己的爬蟲週期
最擅長 全站技術體質盤點 收錄、索引、檢索異常 反向連結、關鍵字、競品
免費限額 500 個 URL 完全免費 有限額度的免費查詢
看內部連結結構 最細最全 部分 部分

這張表要傳達的意思是:當你聽到「我的網站有問題」這句話,第一個動作是開 Screaming Frog 看「此刻實際發生什麼」,再用 GSC 對照「Google 怎麼解讀這件事」,用 Ahrefs 確認「這件事對外部排名與連結有沒有連動」。三套各佔一個位置,少一塊就會出現盲區。

免費版 vs 付費版:那道 500 個 URL 的牆在哪

這大概是新手最關心的問題。Screaming Frog 免費版(SEO Spider Lite)跟付費版的核心差異,不是功能介面,而是爬蟲數量上限。免費版一次最多爬 500 個 URL,超過就停;付費版沒有這個限制,而且解鎖了幾個實務上常用、一旦上手就很難回去的進階功能。

實際的方案與費用以官方 Pricing 頁為準,這裡不背一個可能過時的數字給你。重點是理解「你到底需不需要付費」這件事的判斷邏輯。

面向 免費版(Lite) 付費版(All-in)
爬蟲 URL 數量 最多 500 個 無限制
購買形式 完全免費下載 年約授權,單機啟用
重新導向與斷鏈分析
Custom Extraction(自訂抓取) 有限 完整
Google Analytics / Search Console / PageSpeed 串接 部分限制 完整串接
Compare Crawls(比對兩次爬蟲)
排程自動爬蟲

誠實的建議是這樣:如果你的網站在 500 頁以內(多數部落格、形象官網、小型電商都是),免費版完全夠你用上一整年,不要因為焦慮就衝動買單。但只要你做的是中大型網站、電商、媒體站,或是你接的專案需要定期追蹤「上個月修的斷連這個月有沒有再出現」,付費版的 Compare Crawls 與排程功能會把你從重複手工勞動裡解放出來,那筆授權費很快就回本。

從下載到跑完第一次爬蟲:六步流程

網路上很多教學會把這段寫成幾十頁,這裡把它壓成你今晚就能照著做的六個步驟。重點不是按鈕在哪,而是每一步你「為什麼要按」。

  1. 下載安裝:到官網 Download 頁抓對應作業系統的版本,它是桌面軟體,Windows、macOS、Linux(Ubuntu/Debian)都有。裝完第一次打開會問你要不要輸入授權碼,沒有就選 Lite 免費版繼續。
  2. 輸入網址:在最上方的網址列貼上你的首頁網址(記得加 https://),按 Start。預設情況下,它會從這一頁開始順著連結往外爬。
  3. 觀察右側即時面板:爬蟲跑的時候,右邊會即時累加 Internal、External、Response Codes 等數字。不用盯著看,讓它跑完。
  4. 切到 Internal 標籤頁看全站清單:爬完之後,Internal 頁會列出所有被抓到的內部網址,每一列的 Address、Status Code、Title、Meta Description 都攤開給你。
  5. 點上方的 Issues / Errors / Warnings 總覽:這可說是全軟體最值錢的一塊,它把全站問題依嚴重程度分層,你不用自己判讀試算表,它直接告訴你「有幾個錯、幾個警告」。
  6. 匯出成 CSV 或 Excel:挑你要修的欄位匯出,丟給工程師或放進你的工作表。這就是你要交付的那份「健檢報告」。

這六步跑通之後,你已經打敗八成只會看排名、不會看網站體質的同行了。剩下的,是學會怎麼判讀那份報告。

看懂 Issues 面板:把紅黃綠翻譯成「下一步該做什麼」

很多人下載完 Screaming Frog,跑完一次爬蟲,看到滿滿的紅字就慌了。建議是:不要被數字嚇到,要先學會「分級」。軟體官方把偵測到的問題分成 Errors、Warnings、Notices 三層,這套分類本身就是一個現成的優先順序框架,你照著走就好(見 官方 User Guide 的 Issues 說明)。

實務上的判讀習慣,是把這三層再對應到「SEO 影響程度」,整理成一張工作表。這是在顧問工作中反覆使用、真正用來排優先順序的版本:

分級 典型問題 SEO 影響 處理優先順序
Error(紅) 4xx 斷連、5xx 伺服器錯誤、noindex 到重要頁、canonical 到失效頁 直接吃掉收錄與流量 當週內修完
Warning(黃) 標題重複、描述缺失、H1 多個或缺、圖片無 alt、重新導向鏈 侵蝕排名與點閱率 排進當月優化清單
Notice(灰) URL 過長、參數過多、外部連結數量、字數偏少 長期品質訊號 列入觀察,配合內容計畫處理

這裡特別想點出一個很容易被漏掉的細節:HTTP 狀態碼不是「有回應就沒事」。一個 301 永久重新導向如果串了四五層才到終點,Googlebot 的爬取預算會在每一跳被吃掉一點,頁面權重也會在每一跳稀釋一點;一個 302 暫時導向如果其實是永久性的,Google 不見得會把權重完全轉移過去。Screaming Frog 把這些重新導向鏈一條一條畫出來,這是你光看 GSC 看不到的。完整的狀態碼判讀邏輯,官方文件的詳細對照表值得 bookmark。

再給你一個反直覺的觀察。Ahrefs 曾經做過一個標題研究,發現搜尋結果前幾名的頁面裡,約有 7.4% 其實沒有標題標記(2021 年 10 月)。這個數字常被誤讀成「標題不重要」,實務上的解讀剛好相反:正因為有那麼多人連標題都沒寫對,你只要把 Screaming Frog 跑出來的 Title 缺失、重複、過長修好,就已經在這一批對手前面了。SEO 的領先優勢,常常就是別人懶得做的那些基本功。如果你想知道標題到底該怎麼寫,站上另有Title Tag 完整教學一篇可以接著看。

再補一個加快判讀速度的小習慣。SF 每一個面板上方都有一個 Filter(篩選)列,把這個列用熟,你就能把幾千列的清單在一秒內縮到只剩你要看的那幾十列。舉幾個實務上最常用的篩選條件:在 Response Codes 面板篩出 4xx,全站所有斷連立刻現形;在 Page Titles 面板篩「over 65 characters」,挑出會在搜尋結果被截斷的過長標題;在 Directives 面板只看 canonical 指向站外的頁面,這往往是最容易被忽略、卻最致命的設定錯誤。把這些常用條件整理成一份小抄,團隊裡任何人接手都能用同一套視角讀同一份報告,溝通成本會降一大截。說到底,健檢報告的價值,取決於你能不能把雜訊濾掉,只留下真正的訊號。

HTTP 狀態碼對照表:看到數字就知道下一步

狀態碼是 Screaming Frog 報告裡你會盯著看最久的欄位。這裡把它整理成一張爬完就能直接對照的工作表,看到哪個碼,就曉得下一步該做什麼。不用背,這張表存在的目的就是讓你不必背。

狀態碼 白話意義 對 SEO 的影響 你該做的事
200 正常回應 沒問題,可被收錄 檢查標題與內容即可
301 永久重新導向 權重多數會轉移,但每多一跳就稀釋一點 把它拍平成一次到底,避免連鎖
302 暫時重新導向 長期使用 Google 可能不轉移權重 確認是否真的暫時,不然改回 301
404 找不到頁面 浪費爬取、斷掉內部連結權重 修來源連結,或導向到對的頁
410 永久刪除 明確告訴 Google 這頁真的沒了 確實刪除的內容才用
500 / 503 伺服器錯誤 / 暫時無法處理 嚴重,Google 可能降低爬取頻率 立刻找後端工程師查伺服器 log

這張表裡最需要提醒你的是 503。很多人看到 5xx 就歸類成「伺服器怪怪的」,過兩天再看。但 503 對 Google 的訊號是「這個網站現在不可用」,一旦持續出現,Googlebot 會自動降低未來拜訪這個站的頻率,等於你自己把爬取預算的大門關上。看到 503,請把它當成當天的火警來處理。

破解免費版 500 URL 限制:子目錄分批爬蟲法

這是最值得留給你的一個實戰技巧。很多人裝了免費版,爬到第 500 個 URL 被擋下,就放棄了,以為「免費版不能用在大網站」。其實不是,你只是沒有對症下藥。

訣竅在於:不要一次爬整個網站,改成依子目錄分批爬。你的部落格在 /blog、商品頁在 /products、分類頁在 /category,那就分三次爬,每次只爬一個子樹。Screaming Frog 有一個「List Mode」(清單模式),讓你直接餵給它一組網址清單,它只爬這些、不往外擴散。你也可以在 Configuration 裡用 Include / Exclude 正則去框住要爬的範圍。

這個做法附帶一個好處:它逼你先把網站架構想清楚。當你發現「咦,我光 /blog 就超過 500 頁」,你會開始問自己一個更重要的問題:這五百多篇是不是都需要被收錄?這就把話題帶到爬取預算了。一個網站如果讓 Googlebot 把有限的爬取預算花在大量低價值的篩選頁、分頁、參數頁上,真正重要的內容頁反而會排隊排不到。想知道怎麼評估與優化這件事,可以參考爬取預算完整指南,搭配這裡的分批爬蟲法一起用,效果最好。

老實說,這個分批法不是什麼官方認證的「正統」玩法,它是預算有限的人自己磨出來的工作流程。但它背後的思路很重要:工具是死的,你對自己網站結構的理解才是活的。當你清楚知道每個子目錄在做什麼,你才爬得動也爬得對。於是可以說,網站架構是技術 SEO 的根,架構亂了,再貴的工具也救不回來。

每個人都該學會的七個進階設定

把基本爬蟲跑順之後,有七個設定是「學會了,你就不只是會用、還會用對」的關鍵。它們都在上方選單的 Configuration 裡,不用背,用過幾次就會記住。

  • Robots.txt 規則:預設 Screaming Frog 會遵守你網站的 robots.txt。但你在健檢時往往會想「故意不遵守」,看看 Googlebot 在不被封鎖的情況下能看到什麼,這時候要手動關掉這個選項。這跟你搞懂 robots.txt 跟 noindex 的差別是同一件事。
  • JavaScript 渲染:現代網站大量用 JS 產生內容(React、Vue、SPA)。如果你不開渲染,Screaming Frog 抓到的可能是空白殼,跟你以為的頁面內容差很多。要不要開、開了會多花多少時間,這牽涉到 JavaScript SEO 的基本觀念,建議先弄懂再決定。
  • 排除參數與追蹤碼:?utm_source、?fbclid 這類網址參數會把同一頁算成好幾個 URL,汙染你的報告。在 Configuration 把常見追蹤參數排除掉,報告會乾淨很多,也順便呼應重複內容的處理。
  • 自訂擷取(Custom Extraction):你可以用 XPath 或 CSS 選擇器,叫它順便抓某個特定欄位(例如價格、評論數、結構化資料的某個欄位)。這個功能在電商與內容站超好用,等於把 SEO 爬蟲升級成輕量級的資料擷取工具。
  • List Mode:上一節提過,用它來分批爬、或直接餵一份 Google 已收錄的網址清單給它,只檢查這些頁面,效率最高。
  • Compare Crawls:付費版功能,把你上個月跟這個月的爬蟲結果比對,直接告訴你「哪些網址新增、哪些消失、哪些標題被改」。改版前後、大規模內容更新後必用,這在網站搬家這種一個不小心流量會暴跌的高風險工程裡,是保命符。
  • 串接 GA、GSC、PageSpeed Insights:把流量、收錄、Core Web Vitals 欄位直接黏到每一列網址旁邊,你就能在一張表裡同時看到「技術體質」跟「實際成效」。這跟搞懂 Core Web Vitals 是互補的。

大型網站的爬蟲禮儀:別把客戶網站爬掛

這一段是大部分教學不會講、但實務上一定會遇到的現實。當你爬的是一個流量很大的電商或媒體站,Screaming Frog 本身就變成一個會把伺服器壓力推高的流量來源。實務上常見的狀況是:有人開著預設速度去爬一個正在促銷的購物網站,結果爬蟲跟真實使用者的訂單系統搶資源,網站變慢,客戶的客服電話響不停。這種事情發生一次,你的專業信用就掉一截。

所以在爬任何中大型的網站之前,建議先做這幾件事:

  • 調降速度:在 Configuration 裡把最大並連數與每秒 URI 數往下壓。寧可爬二十分鐘,也不要為了搶時間把對方伺服器推到滿載。
  • 挑離峰時段:把爬蟲排在凌晨或對方業務的離峰時段,避開下單尖峰。付費版的排程功能在這裡特別有用。
  • 設 User-Agent 並先告知:用自己的識別字串,必要時先跟對方的工程團隊打聲招呼,讓他們在 log 裡認得出這是你造成的流量。
  • 邊爬邊看回應時間:SF 會記錄每一頁的回應時間。如果回應時間在爬蟲開始後明顯拉長,立刻暫停,那是伺服器在喘的訊號。

這些動作看起來很基本,卻是判斷一個 SEO 從業人員「到底有沒有上過手」的分水嶺。技術能力很強卻不體貼伺服器的人,跟會把客戶網站搞掛的人,往往只差一次促銷檔期的距離。

Custom Extraction:把 SF 變成輕量級資料擷取工具

Screaming Frog 有一個被嚴重低估的功能叫 Custom Extraction(自訂擷取)。它讓你用 XPath 或 CSS 選擇器,在爬蟲的同時順手把頁面上某個特定欄位抓下來。這個功能一用,SF 就從「SEO 健檢工具」升級成「全站資料蒐集器」,能做的事多出一整個維度。

實務上它常被拿來做幾件事,每一件都省下大量人工:

  • 電商全站價格盤點:把每一個商品頁的價格欄位抓下來,匯出後一眼看出哪些頁面價格漏填、哪些價格是 0 或預設值。
  • 結構化資料欄位抽查:直接抓 Schema 裡的某個屬性(例如評論數、庫存狀態),確認全站是不是一致地填了這個欄位。這跟 結構化資料的品質檢查是同一件事。
  • 文章發佈日期清查:抓出每一篇文章的發佈時間欄位,找出那些日期格式混亂、或根本沒寫日期的舊文,這對安排 內容年度更新的優先順序很有幫助。

要提醒你一個前提:Custom Extraction 抓的是頁面上「渲染之後」看得到的內容。如果你的目標欄位是 JavaScript 動態產生的,還是得先開渲染,否則會抓到一堆空白。這跟前文提到的 JS 渲染設定是同一個道理,千萬別分成兩件事來想。

用 List Mode 做 Google 收錄對帳,揪出孤兒頁

這是在大型網站最實用、也最常挖出驚喜的一招。所謂的「孤兒頁」,就是那些真實存在、Google 也收錄了、卻沒有任何內部連結指過去的頁面。它們像是被遺忘在倉庫深處的商品,明明有上架,卻沒有任何走道通到那裡,顧客跟 Googlebot 都摸不到。

找出它們的方法,是做一場三方對帳:

  1. 從 GSC 匯出已收錄網址:把 Google 認得、已收錄的頁面清單匯出成一份 CSV。
  2. 用 SF 的 List Mode 餵這份清單:只爬這些網址,確認它們現在的狀態(是否還是 200、有沒有被 noindex、canonical 指到哪)。
  3. 跟一次全站 Crawl 比對:在全站爬蟲的 Internal 清單裡,找出「出現在 GSC、卻不在 Internal 連結網絡裡」的網址。這些就是孤兒頁。

孤兒頁之所以重要,是因為它們暴露了網站架構的斷層。一個頁面被收錄卻沒有內部連結,等於你把排名資產放在一個沒有路的地方,它無法把權重傳給其他頁,也拿不到站內的支撐。把這些頁面重新接回 內部連結網絡,常常是花最少力氣、卻得到最大排名回報的動作之一。想確認一個網頁到底有沒有被收錄,也可以搭配 Google 收錄查詢的幾種方法交叉驗證。

Screaming Frog 跟其他工具怎麼搭配

工具從來不是單打獨鬥。Screaming Frog 看的是「自己網站的內部體質」,幾個關鍵搭檔各自補上它看不到的那一塊。

Google Search Console 搭配:GSC 告訴你 Google 眼中的你(收錄、曝光、點擊、檢索異常),Screaming Frog 告訴你你伺服器實際回應的你。兩邊對不起來的那一刻,往往就是問題的藏身處,例如 GSC 說有收錄但 SF 顯示該頁被 noindex,那就是地雷。

Ahrefs 搭配:Ahrefs 看外部(反向連結、競品關鍵字、排名變化),Screaming Frog 看內部。一個顧外、一個顧內。如果你還想看競品流量與對手的自然搜尋表現,也可以再搭一個 Similarweb 做競品分析。

站內 SEO 的工作流程搭配:SF 跑出來的標題、描述、H1、圖片 alt 問題,就是你站內優化的工作清單。修完一輪,下一個月再跑一次 Compare Crawls 驗收,形成一個閉環。

跟重複內容與標準網址的搭配:SF 會把全站的 canonical、重複標題、重複內容一次列清楚,這是處理 重複內容問題時最快的盤點方式。多語系網站則可以靠它的 hreflang 面板檢查標記是否成對、有沒有漏掉,這在 hreflang 設定出錯時特別好用。

跟圖片與結構化資料的搭配:圖片體積過大、缺 alt 是常見的隱形成本,SF 的 Images 面板是 圖片 SEO 盤點的起點;結構化資料的格式錯誤或漏欄位,則可以串到 結構化資料標記的細節去修。

跟反向連結的關係比較間接,但要點出來。SF 本身不查 backlink,但它能幫你檢查站內連出去的 external link 有沒有問題:死掉的外連、連到已經不存在的網域,這些都會被它標出來。當你在做 反向連結的整體健檢時,順手把 SF 的 External 面板掃一遍,能補上外部連結這個面向的一塊小盲區。

新手最容易踩的四個坑

教學文章常只講「怎麼用」,很少講「怎麼用錯」。以下把實務上看過最多次的四個錯誤整理出來,你踩過一個就會刻骨銘心。

第一個坑:忘了開 JavaScript 渲染,就以為網站沒問題。很多現代網站的標題、內文、連結都是 JS 動態產生的。你用預設值爬完,看報告一片綠燈,以為天下太平,其實是因為 SF 根本沒抓到那些動態內容,自然也測不出它們的問題。判斷方式很簡單:如果你爬完發現「明明網站有兩百頁,報告卻只剩三十頁」,十之八九是渲染沒開。

第二個坑:4xx 跟 5xx 分不清楚,處理方式用錯。404 是「這一頁不存在」,多數時候你要嘛補回頁面、要嘛做 301 到對的頁;500 是「伺服器出錯」,這不是 SEO 一個人能修的,要找後端工程師查 log。把這兩者混為一談、或一律用「補一個 301」交差,常常是把小問題搞成大災難的開端。

第三個坑:被 robots.txt 封鎖了還不自知。你以為爬到了全站,結果 SF 體貼地遵守了你的 robots.txt,把被封鎖的目錄整個跳過。健檢時建議刻意關掉「遵守 robots」這個選項,看看那些平常被擋住的頁面到底長怎樣,因為那常常是被遺忘、卻又可能被 Google 用其他方式發現的角落。搞懂 robots.txt 跟 noindex 的本質差異,你才會知道什麼時候該關、什麼時候不該關。

第四個坑:以為跑完一次就一勞永逸。網站是活的,每次發新文、改分類、上架新商品,技術體質都會跟著變動。只跑一次爬蟲,就像只量一次血壓,看不出長期趨勢。把 SF 排進每個月的例行公事,或在每次大改版、大規模發文前後各跑一次,你才抓得住網站體質的變化曲線。SEO 本質上是一段持續量測、修復、再量測的循環,一次性的大掃除做不來這件事。

一張速查表:不同類型的網站,SF 要先看哪裡

把前面講的觀念全部串起來,這裡給你一張依照網站類型決定「先看哪個面板」的速查表。不同類型的網站,最容易出血的點不一樣,健檢的起手式也就跟著不同。這張表是實務上累積下來的優先順序,你直接拿去用,能省下第一次碰陌生網站時的摸索時間。

網站類型 最常見的致命問題 SF 裡先看哪個面板
內容部落格 標題重複、分頁與分類頁造成的重複內容、舊文不小心被 noindex Page Titles、Directives、Response Codes
電商(WooCommerce 等) 篩選頁與參數頁吃掉爬取預算、商品頁斷連、圖片缺 alt Response Codes、Images、URI
媒體 / 新聞站 大量分頁、作者頁、標籤頁互相稀釋權重 Internal、Directives(canonical、noindex)
SaaS / 企業形象站 頁面少但 JS 渲染不全、結構化資料缺漏、重新導向鏈 Redirects、Structured Data、JS rendering 比對
多語系網站 hreflang 標記漏掉或不成對、各語系 canonical 互指 Directives(hreflang、canonical)

這張表的用意,是讓你先把最可能致命的那一面翻開來看,修掉,再往下一層鑽。做 WooCommerce 的朋友,商品頁就是命脈,把 SF 跑出來的商品頁問題對應到更細的優化動作時,可以回頭參考這篇 商品頁 SEO 優化手冊,會更知道怎麼把發現翻譯成實際的修正。

從 SF 報告到工程師工單:讓修復真的發生

很多人做完健檢、匯出一份漂亮的 CSV,就覺得工作結束了。沒有。一份沒有人去執行的報告,價值是零。而執行失敗最常見的原因,是工程師看不懂你給的東西,或覺得沒有優先順序,最後就堆在待辦清單裡發霉。

「把報告變成工單」的格式可歸納成四個原則:

  • 一個問題一個檔:不要把所有問題塞進一個超大試算表。斷連一個檔、標題重複一個檔、重新導向鏈一個檔,讓接手的人能夠分工。
  • 附上來源與目的地:每一列都要寫清楚「哪一頁」「連到哪」「回應是什麼」。工程師不必再自己推理,直接照著修。
  • 標上優先順序:用前文那張 SEO 影響分級表,標明哪些是當週要修、哪些可以排月。沒有優先順序的清單,等於沒有清單。
  • 給一個驗收方式:告訴工程師「修完之後,可用 Compare Crawls 再跑一次,比對這幾個網址是否消失」。這讓雙方都有一個共同的完成標準。

這套格式看起來繁瑣,卻是決定你的 SEO 建議到底會不會落地的那一哩路。實務上常見的虧是:交一份兩千列的試算表給工程團隊,對方禮貌性地收下,然後就再也沒有下文。與其如此,寧可給三份小而精準、附了優先順序與驗收方式的工單,也不要丟一份完美的全站報告過去。前者會被修完,後者只會被存檔。

工具會更新,判讀能力才是你真正的資產

Screaming Frog 不是那種裝一次就定格的工具,它幾乎每年都在推陳出新,加入新的檢查項目、新的整合、新的報告維度(可對照 官方的版本更新紀錄)。這正好印證一件事:工具的具體功能會變,但「用爬蟲資料去排優先順序」這個核心能力不會變。哪天它被別的產品取代,你會帶走的是那套判讀邏輯,而不是對某個按鈕的記憶。

這也是這份指南想傳達的態度。SEO 不是花錢買一套最貴的軟體就會變強,它是用一套系統、反覆地把你對網站的理解變厚。Screaming Frog 給你的是原料,把它變成判斷與行動,那是你的工作,也是你不可被取代的地方。學一套工具的節奏,建議你給自己三個月:第一個月只學基本爬蟲與 Issues 判讀,第二個月開始碰 Configuration 與 List Mode,第三個月再進入 Custom Extraction 與 Compare Crawls。一次塞一層,比一次想吞下全部,學得紮實太多。

如果你剛開始學 SEO,覺得這套工具資訊量太大,可以先回到 SEO 基礎觀念把底子打好,再回來碰工具會順很多;如果你正在評估要不要花預算買工具,中文 SEO 工具推薦那篇有更全面的比較視野。

今晚就能動手的三步行動清單

  1. 下載免費版,挑你自己或客戶的網站,跑一次完整爬蟲。不要挑那種只有十頁的測試站,挑一個你真的在乎、真的有流量的站。跑完之後,先看右上角那個 Issues 總數,心裡有個底。
  2. 只挑「Error」那一層,本週內修完。不要妄想一次修完全站。先把會直接吃掉收錄與流量的紅字處理掉,這個動作的性價比最高。
  3. 把修完的結果,下個月用同一份設定再爬一次。有付費版就用 Compare Crawls 驗收;免費版就把兩次的匯出 CSV 放在一起比對。SEO 的進步發生在「量了、修了、再量」的循環裡,不在一次性的大掃除。

把這三步走完,你就已經把 Screaming Frog 從「聽過名字」變成「會拿來做事」了。剩下的深度,會隨著你爬過的網站越來越多,自己長出來。

工具是別人做的,經驗是你自己的。開始爬你的第一次吧。

常見問題

Screaming Frog 免費版可以爬幾個網址?
免費版硬上限是 500 個網址,超過即停止。對個人部落格、小型官網、練習站綽綽有餘;電商、新聞、大型內容站通常一爬就超過。
Screaming Frog 第一次使用要先看哪個報表?怎麼找 404?
先看 Response Codes 分頁,弄懂 200、301、302、404、500 各代表什麼;要看 404 就在同一個分頁篩出來,再切到 Inlinks 確認是哪個頁面連過去,才知道要修入口頁的連結,別只盯著壞掉的網址本身。
Screaming Frog 跟 Google Search Console 差在哪?
Screaming Frog 是你主動派出的爬蟲,看的是你設定下的爬取結果,不等於 Google 實際索引狀態;Google Search Console 是 Google 回報的搜尋與索引資料,兩者用途不同最好搭配使用。
Screaming Frog 爬不到網站、出現 403 或 429 怎麼辦?
403 多為伺服器安全設定拒絕爬蟲,可調整 user-agent 或請站方把 IP 與 user-agent 加白名單;429 代表短時間請求太多,降低 crawl speed 通常就能解決。
用 Screaming Frog 爬網站,會不會把對方主機拖垮?
有可能,影響取決於主機資源、網站架構與爬取速度。爬取不屬於自己的網站前應先取得授權;執行時可在 Configuration 調低最大並行連線數與每秒 URI 數、選擇離峰時段並設定可辨識的 User-Agent。若回應時間、錯誤率或主機負載明顯上升,應立即暫停。

操作步驟

  1. 下載安裝到 Screaming Frog 官網下載對應作業系統(Windows、macOS、Linux)的版本,安裝完打開後上方會有網址輸入欄。
  2. 輸入網址按 Start輸入要檢查的網站首頁(例如 https://example.com/),按下 Start 開始爬取;新手第一次先用自己網站或小型練習站,不要直接爬大站。
  3. 先看 Response Codes爬完後第一個看 Response Codes 分頁,記住 200(正常)、301(永久轉址)、302(暫時轉址)、404(找不到頁面)、500(伺服器錯誤)各代表什麼;看到大量 404 要切到 Inlinks 找出是哪個入口頁連到壞網址。
  4. 再看內容欄位接著看 Page Titles、Meta Description、H1 三個分頁,快速找出標題重複、描述缺失、H1 不完整的頁面。
  5. 最後看 IssuesIssues 分頁會把工具判斷出的問題、警告、優化機會整理出來;但 Issues 不是命令清單,要自己評估影響頁面、出現頻率、修正成本,再決定優先級。

主題聚落|SEO 工具與數據分析(GSC/GA4) 看「SEO 搜尋引擎優化」中樞 →

相關文章

褚崇名(Sliven) 創辦人・巫普斯科技有限公司

長期投入技術 SEO、GEO/AEO 與 AI 搜尋實務。本站文章以可驗證資料、公開來源與實作觀察整理而成。

完整作者介紹LinkedInGitHubX

想把這篇的方法用在自己的站上?

SEO 健檢、GEO/AEO 引用優化、網頁設計諮詢——把文章裡的方法落地到你的網站。