今天微軟宣布多項工具和數(shù)據(jù)集開源 ，這些工具旨在審計 AI 驅(qū)動的內(nèi)容審核系統(tǒng)，以及自動編寫突出顯示 AI 模型中潛在錯誤的測試。微軟表示 AdaTest 和(De)ToxiGen 項目可以產(chǎn)生更可靠的大型語言模型 (LLMs)，或者類似于 OpenAI 的 GPT-3的模型，用于分析和生成具有人類水平復(fù)雜性的文本。

目前 LLMs 存在諸多風(fēng)險。因為這些模型經(jīng)過了大量來自于互聯(lián)網(wǎng)(包括社交媒體)的數(shù)據(jù)培訓(xùn)，因此它們在訓(xùn)練過程中可能會遇到有毒文本(toxic text)。由于重新訓(xùn)練模型的成本以及存在的大量錯誤，發(fā)現(xiàn)和修復(fù)這些模型中的缺陷仍然是一個挑戰(zhàn)。

為了解決毒性問題，Microsoft Research 團隊開發(fā)了 ToxiGen，這是一個用于訓(xùn)練可用于標記有害語言的內(nèi)容審核工具的數(shù)據(jù)集。據(jù)微軟稱，ToxiGen 包含 274,000 個“中性”(neutral)和“有毒”(toxic)陳述的示例，使其成為最大的公開仇恨言論數(shù)據(jù)集之一。

為了生成樣本，Microsoft Research 團隊提供了一個針對 13 個少數(shù)群體的“中性”陳述和仇恨言論的 LLM 示例，這些群體包括黑人、身體和認知障礙者、穆斯林、亞洲人、拉丁裔、LGBTQ+ 和美洲原住民。這些陳述來自現(xiàn)有的數(shù)據(jù)集以及新聞文章、觀點文章、播客記錄和其他類似的公共文本來源。

微軟團隊解釋說，用于創(chuàng)建 ToxiGen 語句的過程被稱為 (De)ToxiGen，旨在通過指導(dǎo) LLM 生成工具可能錯誤識別的語句來揭示特定審核工具的弱點。通過對三個人工編寫的毒性數(shù)據(jù)集的研究，該團隊發(fā)現(xiàn)從一個工具開始并使用 ToxiGen 對其進行微調(diào)可以“顯著”提高該工具的性能。

關(guān)鍵詞： 數(shù)據(jù)集開源 內(nèi)容審核系統(tǒng) 大型語言模型 公共文本來源