評估GPT模型的可信度:《DecodingTrust》研究揭示潛在風險

伊利諾伊大學香檳分校聯合多所高校和研究機構發布了一個針對大型語言模型(LLMs)的綜合可信度評估平台。研究團隊在論文《DecodingTrust:全面評估GPT模型的可信度》中介紹了這一平台。

研究發現了一些與GPT模型可信度相關的潛在問題。比如,GPT模型容易被誤導產生有害和有偏見的輸出,還可能泄露訓練數據和對話歷史中的隱私信息。有趣的是,雖然GPT-4在標準測試中通常比GPT-3.5更可靠,但在面對惡意設計的提示時,GPT-4反而更容易受到攻擊。這可能是因爲GPT-4更精確地遵循了誤導性的指令。

該研究從8個維度對GPT模型進行了全面評估,包括模型在不同情景和對抗環境下的表現。例如,研究團隊設計了三種場景來評估GPT-3.5和GPT-4對文本對抗攻擊的魯棒性。

研究還發現了一些有趣的現象。比如,GPT模型不會被演示中添加的反事實示例誤導,但會被反欺詐演示誤導。在有毒性和偏見方面,GPT模型在一般情況下對大多數刻板印象主題的偏差不大,但在誤導性提示下會產生有偏見的內容。模型偏見還與提到的人羣和主題有關。

在隱私方面,GPT模型可能會泄露訓練數據中的敏感信息,特別是在特定提示下。GPT-4在保護個人信息方面比GPT-3.5更穩健,但在某些情況下反而更容易泄露隱私。

研究團隊希望這項工作能促進學界進一步研究,並幫助防範潛在風險。他們強調,這只是一個起點,還需要更多努力來創造更可靠的模型。爲促進合作,研究團隊公開了評估基準代碼,方便其他研究人員使用。