tags: cofacts, meeting note GA: UA-98468513-3 —

20211117 會議記錄

:::info

小聚 rundown


LINE 主頁有 9000 次瀏覽

API slow response 問題

似乎只在 11/15 下午出現。 API 會回很慢,導致網站、LINE bot 都出現問題。

影響時間

LINE bot errors:14:00 ~ 18:00 UTC+8 Peak: 17:00~18:00 UTC+8, 243 error/hour

(圖片時間為日本時間 UTC+9) (中略)

Server 狀況

API server

Log 並沒有異狀,僅有零星的 scrap error,無重啟或 memory error 等。

11/15 16:09 截圖

11/17 13:15 截圖

:::info 看起來 API 沒特別忙。 :::

Server load

11/15 16:48 截圖 (past 12 hours longview)

11/17 13:30 截圖

:::info 整台伺服器的 CPU, RAM 與 Load 看起來並無顯著差異 :::

DB

Log 除了偶爾的 GC message 之外沒有其他東西。

結論

🤷‍♀️

Category review mechanism

:::info

【AI category classifier 訓練資料生成討論】cc/ @ggm @darkbtf @Chen-Hung, Pai 隨著公投接近,我想要宣傳讓大家用「主題」+ RSS 訂閱追蹤特定主題。但在這之前,我想要先把之前沒有建立的、使用者對 category 的 feedback 更新 AI model 這件事情做好。 過去 2 週開會時與 @ggm 討論過後,我想要 propose 下面這個機制,用來 review 餵給 rumors-ai-bert 的 ground truth: https://g0v.hackmd.io/EcrdwfZrQOSTGX7yK6nn4w?view 整個機制流程是:

  1. 執行 Script 1,給定一個時間點,把該時間點之後符合規則的 article category 產出 xlsx 讓我們手動上傳到 google sheet 進行人工 review(例檔)
  2. 人工 review:在 sheet 上決定是否要 adopt 該 article category
  3. 執行 Script 2,給定此 google sheet,產出要餵給 AI 的 JSON 檔案(格式見 design doc) 想請大家看看這個流程有沒有漏掉什麼~

需要 review 的有幾點:

  1. Ground truth 的基準 = 該 article-category 連結的評價,正面大於負面
  2. 我們進行的人工 Review 與網友在 cofacts 網站上面對 article-category 的評價權重相同(都是 +1 或 -1)
  3. 對 AI 標記與人工標記的差別待遇(AI 標記要先有網友給予正評,才會被 Script 1 納入 review;人工標記會直接納入 review)
  4. 在很少人評價 article-category 的情形,只要有一個人對過去 adopt 的 article-category 給負評,就不會進入 review 機制;即使硬把它加入 review,也會因為 review 最多只會 +1 補回分數(讓 article-category 在系統中生效)但不會被納入 ground truth(分數 0 非正數)
  5. 如果有人對某個舊的 article cateory 給評價,這個 article category 會在我們沒有 review 的狀況下進入 ground truth 或移除 ground truth
    • 如果 script 1 在撈的時候不只考量到 article category 的 created at,還考量到該 article category 最晚被「其他人」feedback 的時間,那就有機會 review 到這個新被評價的 article category
    • script 1 自動 adopt 過去此 script 有標過 positive feedback

:::success TODO

  1. Implement script 1 & script 2 [name=mrorz]
    • startFrom timestamp 須考慮個別 article category「最晚被他人評價」的時間
  2. 產生 spreadsheet [name=mrorz]
  3. 給 mrorz 目前 rumors-ai 使用的 appId / userId [name=ggm]
  4. 若水 ground truth [name=ggm]
    • article category with special appId & userId / 不會有 aiModel
    • 自動加入 positive article category feedback with special appId & userId :::

若水已標記的資料