tags: cofacts, meeting note GA: UA-98468513-3 —
20211117 會議記錄
:::info
- 所有會議記錄
- Workis 出席:bil, mrorz
- 線上出席:ggm
- https://gather.town/app/z3x18KQFgZCX8MeZ/cofacts :::
小聚 rundown
- 週三會議
- 週四 8 pm schedule
感謝大家使用真的假的,參與謠言的回報與給予評價。 在感恩節前夕,想要邀請大家一起聚一聚!
(PC) 2021年 11 月 21 日(日)下午 2 點到 4 點,我們想邀請從來沒有參加過查核志工活動的你,來到台北捷運行天宮站,成為鍵盤志工,幫助其他遇到假訊息的朋友與家人。 🔰 這是免費的實體志工聚會,超級歡迎沒有參加過的新手,會在活動中提供查核技巧教學。
座位有限,請記得報名 👇 https://cofacts.kktix.cc/events/cofacteditor27
📍 地點:民生東路二段90巷4號1樓 小樹屋101房 🚇 最近的捷運站:行天宮站 1 號出口
- 圖:https://drive.google.com/drive/folders/1UX-PMORNL6uQrH_lOYD9rhiyF1pZYuor?usp=sharing Lucien++
- 目標:北北基桃
- 換 rich menu
- 週四 8 pm schedule
- 週六早上
- KKTIX 行前通知:jitsi 網址、提醒時間、使用電腦而非手機
Hello 你好,
明天就是 11 月 21 日的編輯小聚囉! 編輯小聚需要大量查詢資料,請自備筆電 💻 與充電器 🔌 並帶著愉快的心情來參加。帶順手的平板也可以的!
時間:11/21(日)14:00 地點:台北市民生東路二段90巷4號1樓(行天宮站 1 號出口)
費用全免,會很準時開始。
Cofacts 真的假的 查核協作 VIP 臉書社團在這裡 👉 https://www.facebook.com/groups/cofacts 請先加入吧=D說你會來編輯小聚優先加入(真的)
感謝你的閱讀。
那麼明天見囉😊
比鄰敬上
- 開場使用材料更新:https://docs.google.com/presentation/d/1N9DxoN1NuxdtQILkcV67y_q8EM8CJF5GhoYLcCKFpAc/edit [name=mrorz]
- 準備空 Spreadsheet + 上 bit.ly 短網址 - [x] https://bit.ly/cofacts27-1 (樣板檔) - [x] https://bit.ly/cofacts27-2 (樣板檔)
- 準備 Slido
#cofacts27- 放投影片網址 + spreadsheet 1
- KKTIX 行前通知:jitsi 網址、提醒時間、使用電腦而非手機
- 攜帶
- 貼紙 - bil
- 食物 - 提醒 ggm 來叫 ubereats
- 簽到單 - orz - [ ] pen
- 黏土 - orz
- 編輯小聚的牌子 - orz
- Wifi 機 - mrorz
- Netgear 本體
- usb type-c 充電線與插座
- 電池
- 4G 天線
- Asus RT-N12
- 電源線
- 5dBi 天線
- RJ45 線
- Netgear 本體
- 13:00 - 場佈 https://thehapp.com/space/267
- 簽到、實聯制、噴酒精、量體溫
- 排桌子椅子
麥克風禁止使用- 門口黏引導牌
- Slido - 白紙寫 slido room number
#cofacts27 - WIFI
- 佈機x2
- 連結 netgear 與 asus WAN port
- 白紙寫 SSID Cofacts meetup(_5G) + wifi password 貼牆上
- 192.168.2.1 進入 netgear admin 看 asus 的 IP
- 開好兩台 router admin 監測連網狀態
- (optional) netgear 換成 5GHz only?
- 產生「有回過、沒 feedback」 spreadsheet [name=nonumpa]
- 每人 20 篇
- 25 人
- 只產出
repliedButNotEnoughFeedback的網址 - 匯入進 https://bit.ly/cofacts27-1
- 產生「沒回過」spreadsheet
- 每人 5 篇
- 25 人
- 只產出
newest, mostAsked的網址 - 匯入進 https://bit.ly/cofacts27-2
- 投影的電腦用 google chrome 開好
- 14:00 - 14:20 開場
- 放影片 8min
- 場地、Slido、Cofacts 機器人系統簡介
- GGM 統計仙草,買買:https://www.ubereats.com/tw/store/%E5%85%AB%E6%99%82%E7%A5%9E%E4%BB%99%E8%8D%89-%E4%B8%AD%E5%B1%B1%E5%BA%97/2DqZm69iRA-_IRfwQ3AfRw
- 14:20 - 14:40:介紹 mission 1 - 按讚
- 介紹「幫回應按讚」的用途,以及怎麼做;什麼樣的回應可以按「有用」、哪些可以跳過、哪些真的母湯要按「沒用」,如何就事論事的給 feedback
- 14:40 - 15:00:按讚時間
- 讓大家從 Slido 打開 spreadsheet 1,直接點進自己名字的那個 sheet
- 然後幫每一篇按有用或沒用
- 提醒 15:00 結束時會問大家有沒有想要分享的心得
- 15:00 - 15:30 休息、自我介紹、交流
- 閒聊「看到覺得最好的回應、覺得哪裡好」
- 15:30 - 15:50:介紹 mission 2 - 寫新回應
- 如何找全文、拆解回應、附出處
- 15:50 - 16:30:挑回應來回
- 大家從 Slido 打開 spreadsheet 2,直接點進自己名字的那個 sheet
- 先挑選「一篇」覺得最有興趣的回
- 回完之後如果行有餘力,再挑一篇
- 如果都覺得不想回,去「等你來答」挑,不要硬回 XDDD
- 16:30 - 17:00
- 讓大家講感想
- 介紹 RSS、文章列表、filter 功能、合照
LINE 主頁有 9000 次瀏覽

API slow response 問題
似乎只在 11/15 下午出現。 API 會回很慢,導致網站、LINE bot 都出現問題。
影響時間
LINE bot errors:14:00 ~ 18:00 UTC+8
Peak: 17:00~18:00 UTC+8, 243 error/hour

(圖片時間為日本時間 UTC+9)
(中略)

Server 狀況
API server
Log 並沒有異狀,僅有零星的 scrap error,無重啟或 memory error 等。
11/15 16:09 截圖

11/17 13:15 截圖

:::info 看起來 API 沒特別忙。 :::
Server load
11/15 16:48 截圖 (past 12 hours longview)

11/17 13:30 截圖

:::info 整台伺服器的 CPU, RAM 與 Load 看起來並無顯著差異 :::
DB
Log 除了偶爾的 GC message 之外沒有其他東西。
結論
🤷♀️
Category review mechanism
:::info
- Design doc: https://g0v.hackmd.io/EcrdwfZrQOSTGX7yK6nn4w
- Discussion: https://g0v-slack-archive.g0v.ronny.tw/index/channel/C2PPMRQGP/2021-11#ts-1637039047.0803
- PR: https://github.com/cofacts/rumors-api/pull/265/files :::
【AI category classifier 訓練資料生成討論】cc/ @ggm @darkbtf @Chen-Hung, Pai 隨著公投接近,我想要宣傳讓大家用「主題」+ RSS 訂閱追蹤特定主題。但在這之前,我想要先把之前沒有建立的、使用者對 category 的 feedback 更新 AI model 這件事情做好。 過去 2 週開會時與 @ggm 討論過後,我想要 propose 下面這個機制,用來 review 餵給 rumors-ai-bert 的 ground truth: https://g0v.hackmd.io/EcrdwfZrQOSTGX7yK6nn4w?view 整個機制流程是:
- 執行 Script 1,給定一個時間點,把該時間點之後符合規則的 article category 產出 xlsx 讓我們手動上傳到 google sheet 進行人工 review(例檔)
- 人工 review:在 sheet 上決定是否要 adopt 該 article category
- 執行 Script 2,給定此 google sheet,產出要餵給 AI 的 JSON 檔案(格式見 design doc) 想請大家看看這個流程有沒有漏掉什麼~
需要 review 的有幾點:
- Ground truth 的基準 = 該 article-category 連結的評價,正面大於負面
- 我們進行的人工 Review 與網友在 cofacts 網站上面對 article-category 的評價權重相同(都是 +1 或 -1)
- 對 AI 標記與人工標記的差別待遇(AI 標記要先有網友給予正評,才會被 Script 1 納入 review;人工標記會直接納入 review)
- 在很少人評價 article-category 的情形,只要有一個人對過去 adopt 的 article-category 給負評,就不會進入 review 機制;即使硬把它加入 review,也會因為 review 最多只會 +1 補回分數(讓 article-category 在系統中生效)但不會被納入 ground truth(分數 0 非正數)
- 如果有人對某個舊的 article cateory 給評價,這個 article category 會在我們沒有 review 的狀況下進入 ground truth 或移除 ground truth
- 如果 script 1 在撈的時候不只考量到 article category 的 created at,還考量到該 article category 最晚被「其他人」feedback 的時間,那就有機會 review 到這個新被評價的 article category
- script 1 自動 adopt 過去此 script 有標過 positive feedback
:::success TODO
- Implement script 1 & script 2 [name=mrorz]
startFromtimestamp 須考慮個別 article category「最晚被他人評價」的時間
- 產生 spreadsheet [name=mrorz]
- 給 mrorz 目前 rumors-ai 使用的 appId / userId [name=ggm]
- 若水 ground truth [name=ggm]
- article category with special appId & userId / 不會有
aiModel - 自動加入 positive article category feedback with special appId & userId :::
- article category with special appId & userId / 不會有