【真的假的】「可信度星等」提案

[12:09 AM]
ooookai 提個 Reply 方案 ~ 採用星等評價而非強迫用標籤分類，也許可減輕專業編輯的負擔，並讓更多非專業人士，但有正常判斷力的大眾參與編輯。規則上設定各星等的條件，高低星等須提供來源，提高專業度，中間星等則可接受常識判斷，最後再透過加權運算應可提出一個公平的參考星等。而若不受限於一定需要來源的標籤，也可以讓大眾透過與 bot 的簡易對話來用中間星等評價謠言訊息，讓大家可隨時參與編輯，加速闢謠。

:star: 可信度星等 舉例： 1 星等（證實為假）[須提供來源]：「各位不要再買殘留農藥的韓國海苔了！」 2 星等（常識上為假）：「海苔吃太多，大便會變成黑色的」 3 星等（非真非假，不易考證的訊息）：「今天ＯＯ海苔特賣，限時下殺 11 折」 4 星等（有來源）[可Google到來源]：「現代人容易缺乏鈣與碘等礦物質可以從海苔大量補充，特別適合兒童與孕婦食用。」 5 星等（證實為真）[須提供可信來源]：「海苔是一種由藻類製成的食品」

可信來源如：Wiki, 政府, 企業, 財團法人, 基金會, 研究期刊 各星等的定義只是個概念，待討論 (edited)

[12:39 AM]
mrorz 請問 @ooookai 的意思是，

chatbot 裡面可能會有人回「這不符合常識吧，應該是 XXXX」但沒有貼消息來源 —> 系統會把對話納入 reply，增加 reply 數，但可性度星等是中間的不真不假
小編寫完之後又有貼消息來源 —> 系統會把此 reply 標成更具有鑑別度的星等

[12:39 AM]
這樣嗎？

[12:53 AM]
ooookai 我的想法是～編輯時可以直接只給星等，然後在給特定星等的時候，必須附上來源佐證。使用者在 chatbot 做查證時，bot 給出的回應也只是可信度星等，若有來源則附上。 (edited)

[3:00 AM]
ggm 嗯嗯這種分類方式是我們之前沒有討論過的，不過我覺得 Likert scale 比較適合在一個維度且連續的表現上，譬如說疼痛上面，我 5 分痛，或者是 1 分痛，或者是遊戲好不好玩、餐點貴不貴。

而我們會處理一些文章會有些是沒有客觀事實的，譬如說：服貿對台灣是好還是壞、世界上到底有沒有神，這些可能就沒有辦法落在某個星等上面。這樣可能就會變成有兩種類型，一種是無法判別的，一種是有真偽等級的。

[3:13 AM]
ggm 我想了一下，可能還有另個狀況是，一般來說 Likert scale 是可以被算的，就像是你說的算出一個加權數值，譬如某個遊戲 8 個人給 5 顆星，2 個人給 3 顆星，就可以算 4.6 顆星。那如果 8 個人給 [證實為假]，2 個人給 [證實為真]，就會變成 [常識上為假]，但實際上可能是個有爭議的文章，或是文章部分真的部分假的，這時候分數的作用可能就不大了。

[3:20 AM]
ggm 換個角度說好了，就是

5 個人給 [證實為假]，5 個人給 [證實為真] 和 10 個人給 [非真非假，不易考證的訊息]

其實意義上是不同的，如果量化成分數的話就會遺失一些訊息，不然就是不量化成分數，完整呈現之類的（但那好像就失去了使用分數的好處）

[9:57 AM]
mrorz 我沒有想過說 scale 可以加權這件事 XD 之前只覺得這個 scale 只是在現在的「含有不實訊息」與「含有真實訊息」中間再加上兩個軟性的、不用付出處的回應

[9:58 AM]
如果還沒有人先正式用有附上出處的回應回過，可以先吐出沒出處的那種

[9:58 AM]
雖然我也在想，沒有出處的那種回應的預期效果會是什麼

[10:03 AM]
ooookai 維度上我覺得是呈現 可信度 ，而隱含的原則會是「不可輕信、無罪推定、公平評價」，因此我有一些假設概念： a. 上面寫的加權運算指的是如，1個 5星等，跟 10 個 3星等，計算出來應該還是 5星等，是假設因為 5星等有得證，所以應該價值最高，而 1星和 5星都有的，就是回歸到 3星了。 b. 是想直接用星等去模糊標籤的定義，統一成可信度，是假設查證的使用者更需要簡單的答案，且有爭議時，量化的星等可能會是一個比多元標籤更能客觀呈現的方式。 c. 我認為 3星等會是一個公平的平均值，呈現 不易判別 ，加權上也要讓遇到爭議時，都回歸到 3星等，假設的是只要出現 真偽等級 的爭議，公平的評價應會等同於 無法判別 。 (edited)

[10:06 AM]
mrorz 針對 1 星與 5 星，我覺得這兩者如果標記成「證實為真」還是「證實為假」的話，依然是一個二分法耶

遇到 https://www.facebook.com/groups/1847232902175197/permalink/1926790640886089/ 的話，如果手邊有資料，應該標成幾星等的呢？

[10:09 AM]
順道一提現在的處理方式是

可以發一篇「含有真實資訊」的 reply，針對

學時間就有人發送免費試吃的糖果還是零食\n但那不是真的行銷試吃活動\n而是毒品零食\n\n大家提醒提醒孩子\n別因無知走上不歸路

的部分，附上警局以及檢察署的發言人回應的新聞證實說現在政府確實有查獲到這樣的事情在做宣導，

然後發一篇「含有錯誤資訊」的 reply，針對

漸漸的\n這位乖兒子生活提不起勁、成績也一落千丈\n媽媽覺得有問題帶去找醫生\n這一看才發現兒子染上了毒癮

的部分，附上對中毒敘述的質疑（如 https://www.facebook.com/groups/1847232902175197/permalink/1926790640886089/?comment_id=1926800267551793&comment_tracking=%7B%22tn%22%3A%22R0%22%7D ）

最後，在 LINE bot 裡面會兩者都呈現（ 有 1 人認為含有真實資訊，也有 1 人認為含有不實資訊 ），不講這則是「已證為真」還是「已證為假」；畢竟他可能是 mixed。 (edited)

[10:12 AM]
我不認為這種同時被標成「含有真實資訊」又標成「含有錯誤資訊」訊息，跟沒人回過的都應該被標成「無法判別」；他是個揉合出來的故事，來傳達一個消息，而這個消息剛好是政府目前正想推廣著的。

[10:18 AM]
mrorz 不過我在想如果之後實作 segment 的話（請見 https://hackmd.io/s/rJQaJ9wwl#future-work-segments ）針對個別 segment 就不會用「含有⋯⋯」這樣的分類方式了如果針對同一個 segment 也有正反兩個意見，那這個 segmetn 就真的「真假難辨」了 HackMD 【真的假的】2017/1/26 新年前 Meeting Note - HackMD 【真的假的】2017/1/26 新年前 Meeting Note ==== Participants — GGM, Lucien, Johnson, Billion 討論哪些是 MVP、哪些不

[10:20 AM]
ooookai 那我覺得以上面這則毒品來說，如果 1星 vs 5星的話，可能算出來就可以寫是 4星了，比 3星好一點 :joy: ，或著還是補充原始數據。

[11:13 AM]
ooookai 想確認一下目前的給編輯的態度，是鼓勵重複回應還是有人回覆就好，預期每個訊息的回覆量大概有多少啊(?)，我覺得這可能會是一個呈現方式的討論基礎～我覺得呈現原始評價數據是有價值，但是如果是鼓勵重複回應，那當回應數量大到一個程度後，就可能會變成一面倒，或是讓使用者困惑，最後可能還會面臨到需要另外給評論做價值評價的問題（哪一則評論值得作為來源）。

例如呈現「 有 1 人認為含有真實資訊，也有 1 人認為含有不實資訊 」這可能沒有問題，使用者的判斷負擔不大，但如果是「 有 20 人認為含有真實資訊，也有 1 人認為含有不實資訊 」，如果我是想查證的使用者，那該選擇相信還是不相信呢？有可能這篇文章只是正確的部分比較容易證實，也有可能那 1則不實的證明才是最重要的。

如果回應量大的話，採用星等 level 可以解決的是透過運算去平衡可信度的評價（也可以加進其他參數），也讓結果簡易呈現。（不知道有沒有討論過） (edited)

[11:19 AM]
mrorz 預期的回覆量應該是 1~2 篇唷，除非是特別有爭議的 article、導致編輯戰出現

[11:19 AM]
如果 20人認為含有真實資訊、20 人認為含有不實資訊，而且有 40 篇佐證資料，那我覺得也是挺酷的 XD (edited)

[11:19 AM]
但確實還沒討論到說如果真的有編輯戰出現的時候要怎麼辦

[11:20 AM]
或許要看看編輯戰在這個平台上其實會長得什麼樣子，再來決定下一步呢

[12:26 PM]
ooookai 覺得是要考慮編輯戰的狀況，還有其衍生的回覆數量，才會知道下一步。因為以上討論的癥結點例子，好像都是在關於爭議 article 的應對上。 :panda_face: 而如果正反 1:1 的 mixed 沒有一個可定案的終結機制（如判定為 mixed ），那應該有機會持續轉變成編輯戰吧。星等的好處是可以直接算成隱含 mixed 的 3 star ，在回覆量不論多寡上都能呈現客觀比對的結果。但如果預期的常態回覆量是 1-2 篇且無爭議的話，覺得採用星等的意義就不大了～ (edited)