揭秘OpenAI“紅隊”：專注于阻止GPT-4“作惡”

2023-04-16 15:03:07 編輯：費麗雁來源：

導讀 ChatGPT的開發公司 Open AI邀請了50名專家和學者組建了紅隊，對公司所研制的大型語言模型GPT-4進行對抗性和定性方面的測試，其目的就是幫...

ChatGPT的開發公司 Open AI邀請了50名專家和學者組建了紅隊，對公司所研制的大型語言模型GPT-4進行對抗性和定性方面的測試，其目的就是幫助人們解決對于強大的人工智能系統有可能會帶來危險的方面的困擾。

羅切斯特大學化學工程方面的教授安德魯懷特在 GPT-4被批準使用之后，就在實驗中利用這個模型，發現了一種新的神經毒劑。懷特教授表示可以這種模型可以使用插件來獲得新的信息來源，比如比如化學品制造商的目錄，或科學論文等。懷特教授提出了一種新的化合物可以作為化學武器，使用智能聊天機器人，還能夠將制造這種化合物的地方找到。

懷特教授表示智能聊天機器人將成為每一個人都會配備的新的工具，使用這種工具可以幫助我們更準確更快的進行化學研究。但是這種化學反應，仍然存在著危險性。

Open AI公司創建紅隊的目的就是為了幫助人們將在社會上使用強大的人工智能系統，有可能會帶來危險的，這些擔憂解決掉。這一團隊的主要工作就是提出危險性和探索性方面所能產生出來的問題，用來測試智能機器人所給出的反應。Open AI希望能夠在模型中找到那些有害的內容，或者是語言方面的偏差，偏見等方面的問題。紅隊也因此對于語言操控，危險的科學常識以及謊言進行了測試。針對GPT-4紅隊還研究了在教唆和協助剽竊，網絡攻擊以及金融犯罪等非法活動是否存在著潛力，甚至還測試了GPT-4在戰場通信以及國家安全方面如何產生危害。

Open AI此次所組建的紅隊有十幾名成員，他們所從事的工作分別是學者，律師，教師，安全研究員，以及風險分析師等，工作的主要地點是歐洲和美國。通過測試這一些紅隊成員將反饋提交給open AI。Open AI會根據反饋，在GPT-4廣泛推廣之前，對其進行再培訓和改進。