Cofacts AI 爬蟲開放成效
Cofacts devops · 成效追蹤

開放 AI 搜尋爬蟲兩週後：Claude 爬完全站，導流還沒出現

9/20 調整 Cloudflare WAF，放行經驗證的 AI Search 與 AI Assistant 爬蟲、繼續封鎖訓練爬蟲。這份報告整理 9/4–10/5 的 Cloudflare 流量與 GCP 帳單，看誰來爬、花了多少錢、Cofacts 在 AI 搜尋裡有沒有變得更容易被看見。

2026-10-05 zone：cofacts.tw 前情：cofacts/devops#21、cofacts/devops#12

重點

18.4 萬
Claude-SearchBot 成功抓取
9/20 晚上到 9/26 集中爬完一輪，9/27 起歸零。變更前是 0。
≈ $1.5
多出的 GCE 網路費
Claude-SearchBot 用了 15.4 GiB 傳輸量；GCE 送往 Cloudflare 的流量比前期 +10%。
0
來自 claude.ai 的導流
變更後兩週沒有任何 claude.ai referer 或 utm。Claude-User 即時讀取約變兩倍，但每天只有十幾次。

誰來爬

Claude-SearchBot 在變更前一次都進不來，變更後馬上以每天三到四萬次的速度爬完全站，之後沒有再回來。作為對照，OAI-SearchBot 本來就放行，9 月中有一波高峰，之後回到每天五千到一萬四。

每日成功請求數：Claude-SearchBot 與 OAI-SearchBot
Claude-SearchBotOAI-SearchBot（對照）
資料：AI Crawl Control「Requests」，只計放行的請求。虛線為 9/20 規則變更。

其他 AI bot 的狀況（9/20 之後）

Bot用途狀態觀察
Amzn-SearchBot搜尋放行9/14 起每天穩定約 8,600 次，是目前最穩定的 AI 搜尋爬蟲。AI Crawl Control 的圖表沒有列出它。
OAI-SearchBot搜尋放行每天 5 千到 1.4 萬，變更前就放行。
Applebot、DuckAssistBot、ExaBot、ShapBot搜尋放行正常。ExaBot 在 9/26–9/29 爬了一波。
ChatGPT-User使用者觸發放行每天 200–800。從 9/10 起由約 1,500 下滑，早於變更，原因不在我們。
ClaudeBot訓練封鎖9/22–9/26 和 SearchBot 同期爆量，單日最多 7.9 萬次，全部被擋。
meta-externalagent訓練封鎖・加速中10/1 起 5.5 千 → 1 萬 → 3.7 萬 → 9.6 萬（10/4）。擋在 edge，不會打到 origin。
GPTBot、PerplexityBot、Reflectionbot訓練／未驗證封鎖維持原狀。
冒名的 Claude-SearchBot漏洞掃描封鎖9/27 後仍用這個 UA 的請求都沒通過驗證，抓的是 /.env、/.aws/config 等路徑。

claude.ai 有開始讀 Cofacts 嗎

Claude-User 是 claude.ai 使用者對話時即時讀取網頁的 bot，最能直接反映「Claude 回答時用到 Cofacts」。變更前每天約 6 次，變更後平均約 13 次，10/2 最高 43 次。方向是對的，但量還很小。

每日 Claude-User 成功請求數
資料：AI Crawl Control「Requests」。不含 Claude Code 的 WebFetch（從使用者自己的網路送出，無法驗證，仍會被擋）。

花了多少錢

爬蟲抓 cofacts.tw 文章頁時，網站 SSR 會呼叫 GCE 上的 API，這段流量經 Cloudflare Tunnel 送出，在帳單上記為「Carrier Peering」。比較變更前後各 14 天的 crawler 傳輸量，Claude-SearchBot 多了 15.4 GiB，OAI-SearchBot 少了 10.6 GiB，所有 crawler 合計 +17 GiB。

各 crawler 傳輸量變化（9/21–10/4 對比 9/6–9/19，GiB）
資料：AI Crawl Control「Data transfer」。這是 Cloudflare edge 送出的量，含快取命中，不完全等於 origin 流量。合計：164.2 → 181.4 GiB。

GCP 帳單（9/20–10/5，和前一個等長期間比較）

SKU用量費用vs. 前期
GCE Network Data Transfer Out via Carrier Peering（APAC）188.4 GiB$16.01+10%
Cloud Run Network Data Transfer Out via Carrier Peering（APAC）76.1 GiB$3.19+23%
GCE Internet Data Transfer Out Taiwan → APAC6.3 GiB$0.75+9%
網路費合計差額≈ +$2.1

網路費不是預算壓力的來源。這 15 天帳單共 $135.64，換算一個月約 $270，會超過 $250 的預算。主要花費是 GCE 的 RAM 與 Core（約 $41）、Gemini（約 $20）、Cloud Run CPU（約 $18）。

AI 能見度有沒有提升

用 referer 與 utm_source 計算從 AI 產品點進 cofacts.tw 的真人流量。到目前為止，Claude 的導流是零，其他 AI 產品沒有明顯變化。

來源9/6–9/19 每日平均9/21–10/4 每日平均說明
claude.ai0.10整段期間只有 9/7 一次。Claude 的引用連結可能不帶 referer，Cloudflare 看不到。
ChatGPT（utm_source=chatgpt.com）5369+30%，但 OpenAI 的 bot 變更前就能進來，和這次調整無關。
chatgpt.com（referer）8.14.4AI Crawl Control 的 Referrals 只算這一種。
gemini.google.com2.10.610/5 單日 10 次。
copilot.microsoft.com0.50.9
perplexity.ai00PerplexityBot 未通過驗證，仍被擋。
www.google.com（參考）4,7959,1119/26 起大幅上升，原因不明，和 AI 爬蟲沒有直接關係。

下一步

  1. 10 月中再看一次。確認 Claude-SearchBot 會不會定期回來重爬，以及 Referrals 裡有沒有出現 claude.ai。
  2. 直接問 Claude。在 claude.ai 問幾個 Cofacts 查過的謠言，看它會不會引用 cofacts.tw。這比流量數字更快、更直接。
  3. 留意 meta-externalagent。目前全擋在 edge、不花 origin 流量；如果持續加速，再討論要不要另外處理。
  4. 看 AI 爬蟲全貌時不要只看 AI Crawl Control。它的圖表只算放行的請求，也沒有 Amzn-SearchBot；完整情況要查 GraphQL Analytics。
資料來源與方法