tags: cofacts —

20260522 會議記錄

:::info

假帳號

https://cofacts.tw/reply/NIA0TZ4BYvv2RuZL20pp

上週待辦

GCE Migration

rumors-api tickets

cofacts.ai

https://github.com/orgs/cofacts/projects/12

Releases

2026/05/15

2026/05/20

2026/05/21

開發進度

nonumpa 目標:做新的 url-resolver

Hybrid retrieval

https://github.com/cofacts/rumors-api/pull/388 https://github.com/cofacts/rumors-db/pull/78

已提供 production backup access to Yutin

MCP server

Usage review

使用量

日期 Sessions 備註
05/15 35 —
05/16 22 —
05/17 40 全週最高
05/18 0 無活動
05/19 19 —
05/20 1 —
05/21 4 —
合計 121 sessions,69 traces —

使用者 Feedback(Scores)

本週共收到 14 筆 feedback,分佈如下:

日期 評分 留言
05/15 03:06 👍 +1 ☑ 出處精準 ☑ 語氣適合 ☑ 篇幅適中
05/15 03:23 👎 -1 ☑ 出處摘要錯誤 — AI 引用 heho.com.tw 這篇但那篇沒有龍葵鹼中毒症狀
05/15 03:58 👎 -1 Verifier 呼叫沒有附 URL
05/15 04:27 👍 +1 (無留言)
05/15 11:59 👎 -1 假裝有做事
05/15 📝 Correction Annotation 標記(人工編輯)
05/16 10:46 👍 +1 (無留言)
05/17 18:59 👎 -1 「詳細查核報告與回應草稿已提交給 Cofacts 系統,您可以點擊原連結查看最新進度」是錯的,東西停留在本頁,沒有送到 cofacts.tw
05/19 02:05 👎 -1 ☑ 回應文字與出處不符
05/19 02:22 👎 -1 verifier 壞掉?沒回應
05/19 02:26 👎 -1 「可以直接前往 Cofacts 後台進行最終確認」是錯的,應該是點開 card
05/19 01:56 👍 +1 ☑ 篇幅適中 ☑ 出處精準
05/19 02:26 👎 -1 「可以直接前往 Cofacts 後台進行最終確認」是錯的
05/20 09:04 👎 -1 和誠品無關(AI 出錯引用不相干來源)

整體比例: 👍 4 / 👎 9 / 📝 1 = 31% 正面,69% 負面

Feedback 主題分類:

  1. 出處問題(5 筆):出處摘要錯誤、引用來源與主張不符、未附 URL 給 verifier、引用不相干來源
  2. AI 謊稱完成(3 筆):AI 說「已提交給 Cofacts 系統」或「可前往後台確認」,但這些都是錯的,draft 只在 chat 頁面
  3. 無實質輸出(1 筆):「假裝有做事」

Prompt 迭代記錄

第一波(05/15):強制 Verifier 流程

觸發原因: 05/15 早上兩筆 👎:出處摘要錯誤 + Verifier 呼叫沒有附 URL。Writer agent 在研究後會直接 compose reply,沒有先讓 verifier 確認出處是否真的支持該主張。

改動:


第二波(05/16):移除有缺陷的 URL Stripping 邏輯

改動:


第三波(05/21):AI 謊稱 Draft 已送出到後台(三次迭代修)

觸發原因: 05/17 的 👎 — AI 在呼叫完 draft_factcheck_response 後,自己在 chat 裡說「已提交給 Cofacts 系統」,但實際上 draft 只存在頁面內。05/19 又出現同類 feedback。

改動(三次迭代才收斂):


第四波(05/22):加入 Draft + Proofreader Review Loop

動機: 在三波 fix 之後,重新設計 proofreader 的介入時機與流程。

本週問題彙整

問題 首次出現 解決狀況
Verifier 沒被強制呼叫 / 呼叫時未附 URL 05/15 ✅ 已強制為 Step 5,附格式指引
出處摘要與原文不符(investigator 概括有誤) 05/15 ✅ 強制 verifier 讀原文
AI 謊稱 draft 已 sync 到 Cofacts 後台 05/17 ✅ 三次迭代後收斂(05/21)
AI 告知「可前往 Cofacts 後台」錯誤操作說明 05/19 ✅ 同上
引用不相干來源(和誠品無關) 05/20 ⚠️ 需繼續觀察
Proofreader review 時機不對 — ✅ 改為 Draft 後 call tool 前

資料截至 2026/05/22。

nDX metrics review

g0v summit

60cmx180cm 長桌(同 sitcon)、兩張椅子、一組排插

(那個藍色的牌子會一直掉,可能還是要用個無痕膠帶)

SITCON 擺攤檢討 https://g0v.hackmd.io/@cofacts/meetings/%2FAvpmwuvvSGaWgHLf3sITdg#SITCON-%E5%AD%B8%E7%94%9F%E8%A8%88%E7%AE%97%E6%A9%9F%E5%B9%B4%E6%9C%83%E6%93%BA%E6%94%A4%E6%AA%A2%E8%A8%8E


主機維運

小聚籌備

問題:要介紹 cofacts.ai 給參與者用嗎?

MozFest 2026

https://docs.google.com/document/d/1MxHJmTdissEr0qpKMbjOvRxfybpi5fBuxguzoMwV3mo/edit?tab=t.0#heading=h.ybycwycldt2r (cofacts only)

下次開會

Kaggle

說到 Kaggle,我在想我們 Opendata 要不要也放一份在 Kaggle。畢竟 Kaggle 是我 10 幾年前學生時期就存在的平台(我有一個 10 幾年的帳號,但是是空的 XD),Gemini 也說 huggingface 偏 LLM 研究者,但 Kaggle 有更多一般的 data scientist 與學生在找資料。

如果覺得 OK 的話,我可以先手動上傳一份在我個人的帳號,同時申請 Kaggle organization 通過之後再轉移 kaggle dataset 過去 organization

下週再說

上週狀況

圖片逐字稿功能異常

mrorz@g0v-tw: “圖片的逐字稿最近好像壞了”

問題

5/5 啟用 Cloudflare Super Bot Fight Mode (SBFM) 後,圖片逐字稿功能停止運作。

根本原因

LINE bot 收到圖片後,會呼叫 Google Vision API 做 OCR。Vision API 需要用 HTTP 方式抓取圖片,URL 是 https://line-bot.cofacts.tw/getcontent?token=…。SBFM 把 Google Vision API 的自動化請求識別為 bot,直接擋掉,導致 Vision API 回傳 “The URL does not appear to be accessible by us.”

影片逐字稿(用 Gemini)不受影響,因為那條路徑直接用 GCS URI,不走 HTTP。

修法

影響範圍

5/5 至 5/16 透過 LINE bot 送入的圖片都沒有逐字稿,影響以圖片搜尋相似文章的準確度。修復後新送入的圖片會正常產生逐字稿。

處理

數發部網路爬蟲治理利害關係人政策溝通交流會議

TBA

Github Activities

Production status(2026-05-15 至 2026-05-22)

GCE 主機指標(cofacts-prod)

日期 CPU (min | avg | p95 | max) Mem (min | avg | p95 | max) Swap (min | avg | p95 | max)
2026-05-15 17.31% | 24.59% | 30.28% | 48.70% 50.87% | 56.05% | 62.16% | 66.34% 20.22% | 82.43% | 99.82% | 100.00%
2026-05-16 12.73% | 22.12% | 26.97% | 43.64% 50.50% | 54.00% | 56.14% | 57.22% 98.68% | 99.50% | 99.99% | 100.00%
2026-05-17 12.52% | 21.43% | 26.81% | 43.25% 50.49% | 54.00% | 55.88% | 61.46% 98.00% | 99.12% | 99.95% | 100.00%
2026-05-18 16.08% | 22.42% | 27.07% | 45.03% 51.22% | 54.20% | 55.96% | 57.54% 97.95% | 98.85% | 99.95% | 100.00%
2026-05-19 14.00% | 24.23% | 29.27% | 43.97% 51.43% | 53.98% | 56.05% | 57.37% 99.64% | 99.87% | 99.99% | 100.00%
2026-05-20 15.04% | 24.26% | 31.06% | 45.59% 50.82% | 54.40% | 56.12% | 58.07% 99.02% | 99.86% | 100.00% | 100.00%
2026-05-21 10.49% | 20.25% | 26.56% | 41.65% 50.95% | 54.04% | 56.36% | 57.79% 99.77% | 99.96% | 100.00% | 100.00%
2026-05-22 19.46% | 26.31% | 35.06% | 35.06% 52.96% | 55.38% | 57.58% | 57.58% 99.97% | 99.99% | 100.00% | 100.00%

當前即時狀態(截至報告時間):


GCE 行程資源摘要

行程 記憶體正常範圍(日均 MB) 穩定度(Stddev) 備註
Elasticsearch ~15,300–15,500 MB 低(77–130) 主要記憶體消耗者;5/15 峰值達 18,532 MB(重啟後上升)
node server.js(API) ~380–430 MB 中(119–140) 正常波動,peak max 1,146 MB
node build/index.js(前端渲染) ~149–191 MB 低(4–15) 穩定
node build/adm/index.js(管理後台) ~199–200 MB 極低(0–1) 穩定
Puppeteer Chrome renderer 150–190 MB / 實例 低(瞬間任務) 短暫存活,每次任務約使用 200–333 MB

Cloud Run 服務 CPU 摘要(vCPU,p50/p95/p99)

服務 正常用量(p50) 高峰穩定度(p95/p99) 觀察
site-tw 0.08–0.13 vCPU p95: 0.87–0.90 / p99: 0.95–1.01 p99 幾乎達 1 vCPU 上限,高流量時接近節流
cofacts-ai ~0.016 vCPU p95: 0.15–0.31 / p99: 0.28–0.42 5/21 剛部署新版本,表現正常
site-staging-tw 0.006–0.020 vCPU p95: 0.04–0.17 / p99: 0.11–0.40 偶爾有高峰(0.40),屬測試流量
line-bot-en ~0.005–0.007 vCPU p95: 0.05–0.32 / p99: 0.06–0.32 本週 p99 明顯下降(0.32 → 0.06),流量趨緩
line-bot-ja ~0.005 vCPU p95: 0.08–0.14 / p99: 0.09–0.16 低負載,僅部分天有流量

Cloud Run 服務記憶體摘要(GB,p50/p95/p99)

服務 正常用量(p50) 高峰穩定度(p95/p99) 觀察
site-tw ~0.76–0.81 GB p95: 0.98 / p99: 1.01 GB 記憶體 p99 超過 1 GB,接近容器上限
site-staging-tw 0.76–0.89 GB p95: 0.95–1.01 / p99: 0.98–1.01 GB 與 site-tw 相近,記憶體壓力高
site-staging-en 0.70–0.89 GB p95: 0.75–0.98 / p99: 0.75–1.01 GB 漸升趨勢,需關注
site-staging-ja 0.76–0.91 GB p95: 0.95–1.01 / p99: 1.01 GB 記憶體高,與其他 staging 相近
line-bot-en ~0.39–0.41 GB p95: ~0.43 / p99: ~0.44 GB 穩定,無壓力
cofacts-ai ~0.055 GB(55 MB) p95: ~0.06–0.08 / p99: ~0.08 GB 記憶體極低,非常健康

重點摘要與建議

注意事項:

  1. Swap 長期全滿(99–100%) — 5/15 之後 Swap 持續滿載,表示 Elasticsearch 記憶體需求超出可用 RAM。雖然系統目前仍正常運行(RAM 可用約 12 GB),但一旦 Swap 滿且 RAM 不足時,可能造成 OOM(記憶體溢出)。5/15 的低 Swap 時段(min 20%)疑似為重啟後短暫釋放。

  2. site-tw CPU p99 接近 1 vCPU — 高流量時期(p99)CPU 使用率幾乎達到 Cloud Run 容器上限,有請求被節流的風險。可考慮調高 CPU 配置或確認是否有可最佳化的查詢。

  3. 所有 site-* 服務記憶體 p99 接近 1 GB — site-tw、staging-tw/ja/en 的記憶體 p99 均在 1.01 GB 上下,須留意容器的記憶體上限設定。

  4. cofacts-ai 5/21 剛部署新版 — 指標正常,無異常。

正常運作: