20260811 會議記錄
:::info
-
所有會議記錄 編輯當週文件 準備 總結 - NPO Hub 出席：bil, mrorz, nonumpa
- 線上出席：ggm
- https://meet.google.com/mrz-dgrd-pri :::
上週待辦
url-resolver
承上週，目前方向是原有架構提供 html source 給 cofacts.ai
- 現在 summary 都很大 [name=nonumpa]
- summary 感覺比較好？ [name=mrorz]
- 要精簡到什麼程度？[name=nonumpa]
- 標題、內文、100% 全文，全文滿重要 [name=mrorz]
- 去掉雜訊：menu, footer, etc
- metadata 時就會被 crop 掉 [name=nonumpa]
- crop 掉比較像是技術上的妥協 [name=mrorz]
- url-resovler <> cofacts.ai: https://github.com/cofacts/ai/pull/118
- url-resolver 是 url_context tool 的 replacement
- 需要 LLM summary 嗎 [name=nonumpa]
- 不用，因為沒有 context 不知道要怎麼 summarize [name=mrorz]
- 會用一些規則處理特殊網址，慢慢補
- url_context 其實爬得到 dcard，看來有允許
開給 AI 爬蟲？
https://docs.google.com/presentation/d/1mfEZTcyd5f6gVCYNGQs198Kj6sdamXdHu1U00vKbedo/edit?slide=id.g3f68a98deaf_0_38#slide=id.g3f68a98deaf_0_38
- 擋訓練用爬蟲，允許 user query 的爬蟲
- llms.txt 都是 user 自己餵給 coding agent 的，harness 不知道要去讀這個
- site markdown 對 cofacts 不適用，因為有變動的資料
- claude 的 UI 分 user / website / 訓練用
[!Note] 紀錄這個到 devops repo issue 要開票開給 user 爬蟲 （也參考上週 robots.txt ＆ user agent 細節）
Cofacts 的 UA?
- fetch 的那種再用 user-agent 聲明
- cloudflare managed challenge 的偵測很謎
COSCUP
- 完成 presentation：https://docs.google.com/presentation/d/1mfEZTcyd5f6gVCYNGQs198Kj6sdamXdHu1U00vKbedo/edit
AI 修正
- 追蹤並修正影音訊息處理時，模型產生幻覺（腦補）或
0:00:00時間戳的問題 - 為 AI writer prompt 新增長度與精簡準則
- 驗證 AI pipeline 有時會聲稱有呼叫 proofreader 但沒呼叫的問題
cofacts.ai
- markdown 回應：研究 strip markdown 或在 API 層 format（GHF markdown 存、輸出時選 text / markdown）（ai#121）
- 出處幻覺：評估補上「出處一致性」LLM-as-judge score，量化發生率（見 20260609 提議）
- GGM 在做
小聚（08/16）
- 食物：沒有
- 場地：spshfu 603（30 人教室）
- 研究場地的延長線與插座
- 投放目標：北北桃（推播日: 8/5）
- KKTIX: https://cofacts.kktix.cc/events/cofactseditor54
- 記得帶：貼紙、不太環保杯 (bil)
- VOOM 發文
- FB 發文
[!Caution]
- 要提供 A4 宣傳（Canva?） [name=bil]
- 其實就是指路的標誌而已
General
AI
cofacts-ai-eval (private repo)
做法分三段
- 從 langfuse fetch
- LLM as judge (codex or claude CLI)
- 產生 dashboard
部署方式
- 先用大量靜態網頁上 git
- 上 cloudflare，還沒有碰到檔案上限
- langfuse 做 backend?
- LLM as judge –> 可以打回 langfuse
- dashboard 可以考慮直接讀 langfuse API
- 或者是考慮讓 Langfuse trace input/output 好讀，這樣就能直接在 langfuse 上讀
session detail
- summary
- 對話重播
- LLM judge
Judge:
- groundedness
- source soundness
- false success
驗證的驗證：
- LLM judge 也無法 100% 信任
- 不要太萬能比較好
- GPT 5.5 感覺目前還沒做很好
Judge 怎麼做
- coding harness –> 可以看網頁
- 出處要從
draft_factcheck_response看 - 可以抓捏造網址 [name=ggm]
- 這是 key metrics
- 出處要從
draft_factcheck_response是最重要的（結果是否好）- 從 live session 來的評斷標準
- 有的似乎沒有回傳 [name=ggm]
- 看 context，如果 AI 是想問使用者 –> 合理
- 如果他沒啥要問 user 的但又停下來 –> 不合理
- 評估過程時，可能需要建立一組 dataset
- Tool input / output 是否合理
- Given 一個 history，測試 tool input 是否合理
- 建立 dataset 時可以從過往 session 找靈感
[!Note] 需要研究 agents-cli 的測試，用來評估 codebase 現況 or 預估一個 PR 是否「有改進」 agents-cli eval agetns-cli run https://www.youtube.com/watch?v=20W-tHXcsb4
Cofacts.ai
GitHub 活動
cofacts/ai
- feat(deploy): run url-resolver as a Cloud Run sidecar（opened 2026-08-04）
cofacts/cofacts-ai-eval
- Document eval pipeline in README; scope to cofacts.ai（merged 2026-08-04）
cofacts/devops
- fix(analytics): correct GraphQL cursor pagination guidance（merged 2026-08-09）
- feat(compensation): add fact-checker compensation calculator（opened 2026-08-09）
cofacts/kb
- doc: 可疑訊息回報：cofacts.ai 作為回報入口（opened 2026-08-09）
Discord 重點討論
collab
E：試用 Cofacts Ai 回報：Ai 會一路從草稿跑到最終版本（中途自行改版兩次），完全沒有讓使用者介入或詢問意見的機會；產出佐證資料五篇中兩篇引用中時、一篇 NOWnews、一篇 ETtoday、一篇自由時報，要求改用中央社/公視/報導者等來源後，Ai 仍自行改了兩版但沒有真正改用指定來源，詢問是否為 bug @mrorz：目前設計是讓 Ai 一路做到完，方便使用者理解「哪部分不夠好」；中途覺得歪掉可按停止鈕直接介入，未來考慮實作類似 claude code / codex 的 steering 機制（下一次 tool call 前帶入）。但要求改用來源後仍不聽話不符合預期，想確認回報時是否有直接附上來源網址（懷疑是 Ai 沒找到指定來源） @mrorz：歡迎分享覺得怪怪的 chat session URL（網址最後一段是 session ID），方便直接查看完整對話紀錄debug
想像中順暢的用法： [name=mrorz]
- user 直接發動多篇 conversation
- user 會在多篇 converstaion 之間跳來跳去，給意見
- –> 會希望 agent 一路做到底，使用者直接針對 final response 做 judgement
Spam
- 傳 article –> reply
- aticle 目前還不會下架
- 看 IP
- Approve 完可以直接 merge
信件
- AI 使用：回說有 human in the loop 就好，還是要細看細節？（給建議之類）
- 建議掃一下有 reason 的 downvote feedback
- youtube 可以用 gemini (最便宜的 model) + url_context tool 抓，會比用 yt-dlp 簡單
- 等級 = 0, 檢查一下 why https://cofacts.tw/user?id=-C5xiJ8BEY7yIwhpjOag
- community builder 裡面有的看不到紀錄
- 大概是一開始寫錯 (?)
[!Note]
- MrOrz 回信和他聊技術 –> Done
- MrOrz 看一下等級問題 –> https://github.com/cofacts/rumors-api/pull/396
小聚 rundown
- 8/16 (日) 板橋中心
- 週六早上
- KKTIX 行前通知：提醒時間、使用電腦而非手機
Hello 你好，
本週日就是 8 月 16 日查核志工培訓囉！
志工培訓需要大量查詢資料，請自備筆電 💻 與充電器 🔌 並帶著愉快的心情來參加。帶順手的平板也可以的！Cofacts 資料庫也有很多影音謠言，請自備耳機唷 🎧！
🕒 時間：08/16（日）14:00 - 17:00 📍 地點：新北市板橋區文化路二段 242 號 6 樓 603 室
費用全免，會很準時開始。若不克前往，記得取消報名 :)
Cofacts 真的假的 查核協作 VIP 臉書社團在這裡 👉 https://www.facebook.com/groups/cofacts Cofacts 真的假的 查核協作 Discord 在這裡 👉 https://cofacts.tw/discord 說你會來查核小聚優先加入 ＝Ｄ
感謝你的閱讀。
那麼明天見囉😊
比鄰敬上
- 開場使用材料更新：https://docs.google.com/presentation/d/1N9DxoN1NuxdtQILkcV67y_q8EM8CJF5GhoYLcCKFpAc/edit [name=mrorz]
- 增加 cofacts.ai 介紹:
- 期待的用法
- 點開 tool call 看細節
- 複製 fact check response 或者繼續 tune
- 查出處是否存在
- 遇到錯誤記得 :-1:
- 準備 Slido
#cofacts
- KKTIX 行前通知：提醒時間、使用電腦而非手機
- 當日準備 / 攜帶
- 樓下用的標語 - bil
- 拍照用大布條 - bil
- 貼紙 - orz, bil
- 黏土 - orz
- 手板 - bil
- 講義 - bil
- 一次性杯子 - bil
- 延長線 - bil
- 6 個插座
- 現場有兩條延長線
- bil 再帶 5 條
- Wifi 機 - mrorz
- rt-ax57 go
- 電源線
- 多帶一條 type-c 公公線 for dongle 的電
- 備用 wifi 機 [name=nonumpa]
- 13:00 - 場佈
- browser tabs
- Google Chrome tab: KKTIX
- Google Chrome tab: Slido admin
- Google Chrome tab: Slido
- Google Chrome tab: 開場影片
- BGM
- Analytics
- 14:00 - 14:20 開場
- 放長影片 8min
- 場地、Slido、Cofacts 機器人系統簡介
- 14:20 - 14:40：引導 註冊網站、介紹評價現有回應
- 14:40 - 14:50：實作評價
- 讓大家從網站找訊息按讚
- 14:50 - 15:10 介紹補充資訊
- 15:10 - 15:40 實作補充資訊、自我介紹、休息
- 閒聊「看到覺得最好的回應、覺得哪裡好」
- 15:40 - 16:10：介紹撰寫新回應
- 16:10 - 16:40：實作撰寫新回應
- 大家從網站挑選「一篇」覺得最有興趣的回
- 16:40 - 17:00 介紹 RSS、社群、合照
Cofacts 正式環境狀態報告(2026-08-04 ~ 2026-08-11)
1. GCE 主機 (cofacts-prod) 每日資源使用率
格式：min | avg | p95 | max
| 日期 | CPU | Mem | Swap |
|---|---|---|---|
| 08-04 | 7.85% | 13.62% | 19.51% | 26.10% | 62.66% | 65.37% | 67.49% | 68.18% | 41.25% | 42.45% | 44.80% | 45.78% |
| 08-05 | 8.13% | 14.69% | 20.30% | 39.24% | 63.34% | 65.72% | 68.19% | 78.05% | 41.18% | 41.84% | 43.32% | 44.67% |
| 08-06 | 8.08% | 15.96% | 23.23% | 26.19% | 63.75% | 65.79% | 67.59% | 68.72% | 40.21% | 42.29% | 45.48% | 48.57% |
| 08-07 | 8.38% | 15.11% | 21.22% | 27.54% | 61.99% | 65.74% | 68.50% | 77.76% | 39.88% | 41.72% | 44.90% | 47.19% |
| 08-08 | 6.69% | 13.90% | 19.43% | 23.31% | 63.34% | 65.66% | 68.49% | 75.32% | 38.53% | 39.77% | 41.86% | 44.36% |
| 08-09 | 7.36% | 14.10% | 19.34% | 23.09% | 62.90% | 65.92% | 68.02% | 69.50% | 38.03% | 39.93% | 41.45% | 42.32% |
| 08-10 | 7.98% | 14.53% | 20.48% | 24.49% | 63.39% | 66.00% | 67.99% | 76.32% | 39.68% | 41.03% | 43.49% | 44.66% |
| 08-11* | 11.12% | 13.67% | 19.67% | 19.67% | 63.92% | 65.01% | 67.23% | 67.23% | 40.84% | 41.82% | 43.95% | 43.95% |
*08-11 資料僅至查詢當下（半天）。
即時狀態快照：Uptime 96 天；Load average 0.94 / 0.81 / 0.71；Mem 21Gi/31Gi 使用中（68%）；Swap 1.7Gi/4Gi（42.5%）；Disk / 55G/67G（82%，需留意）。
CPU/Mem/Swap 一週內數值平穩、無異常波動，與過去趨勢一致。
2. Cloud Run 服務清單與部署狀態
11 個服務全數運作中，最近一次部署為 cofacts-ai（2026-08-04），其餘服務部署時間介於 2025-05 ~ 2026-05 之間，屬穩定未變更狀態。
3. Cloud Run 資源使用率（一週平均）
| 服務 | CPU p50(正常) | CPU p95 | CPU p99 | Mem p50(正常) | Mem p95 | Mem p99 | 穩定性觀察 |
|---|---|---|---|---|---|---|---|
| site-tw | 5.3% | 71.6% | 86.6% | 77.0% | 98.1% | 101.2% | ⚠️ 記憶體長期逼近/觸頂上限，與前一週(07-28~08-04)相同模式，屬既有狀態非新增異常 |
| site-staging-tw | 0.7% | 10.8% | 25.9% | 78.4% | 88.3% | 89.7% | 記憶體 p99 較前週(96.5%)下降 |
| site-staging-ja | 0.9% | 8.3% | 18.9% | 82.5% | 96.1% | 99.0% | 記憶體偏高但與前週持平 |
| site-staging-en | 0.6% | 12.0% | 25.7% | 77.2% | 90.8% | 91.3% | 穩定 |
| cofacts-ai | 1.6% | 15.7% | 31.0% | 5.7% | 7.3% | 7.3% | 資源餘裕充足 |
| line-bot-ja | 0.6% | 11.5% | 16.4% | 40.3% | 42.3% | 43.7% | 穩定 |
| line-bot-en | 0.6% | 11.8% | 15.5% | 40.1% | 41.9% | 42.2% | 穩定 |
Cloud Run Network Output 查詢在本次執行時逾時（503），本週無法取得該項數據。
觀察重點：site-tw（正式流量）記憶體使用率長期在 p95/p99 貼近或超過 100% 配置上限，這是持續數週的既有模式（非本週新增），代表正式站台記憶體配置可能吃緊，建議評估是否提高記憶體配額或排查記憶體洩漏，但目前尚未觀察到因此造成服務中斷。
4. GCE Process 級別指標 — Top 資源消耗者(RSS 記憶體，一週平均)
| Process | Avg (MB) | Max (MB) | Std (穩定度) | 觀察 |
|---|---|---|---|---|
| Elasticsearch (java) | ~19,200 | 19,574 | ~89-144 | 極穩定，機器上最大常駐記憶體使用者（占機器 RAM ~62%），與過去週趨勢一致 |
| node /srv/www/server.js | ~280-300 | 845 | ~110-136 | 波動較大（bursty），較前週峰值(1,419MB)已下降 |
| node /srv/www/build/index.js | ~145 | 644 | ~4-6 | 穩定 |
| node index.js | ~105-112 | 529（08-08 尖峰） | ~7-13 | 大致穩定，08-08 出現單日尖峰 |
| Chromium (puppeteer, 截圖/PDF用途) | 各 ~300 以下 | 328-377 | 短暫出現、單次執行 | 每日零星啟動，非持續性負載 |
CPU process 排名前列同樣是 Elasticsearch、server.js、build/index.js，波動趨勢與 RSS 一致，未見異常尖峰。
5. 總結建議
| 項目 | 狀態 | 建議 |
|---|---|---|
| GCE 主機 CPU/Mem/Swap | 正常，一週內平穩 | 無需處理 |
| GCE 磁碟使用率 | 82%（55G/67G） | 建議近期關注磁碟成長速度，評估是否需清理或擴容 |
| Cloud Run 服務可用性 | 全數正常 | 無需處理 |
site-tw 記憶體使用率 |
長期貼近上限（p99 ~101%） | 建議評估提高記憶體配額或排查是否有記憶體洩漏，屬既有狀態、非本週新發生 |
| Elasticsearch 記憶體用量 | 穩定但占機器 RAM 大宗(~62%) | 目前無異常，僅供資源規劃參考 |
| Cloud Run Network Output | 本週查詢逾時，無數據 | 下次檢查時可重試或縮短時間區間 |