全面评估GPT模型的可信度

近期，一个由伊利诺伊大学香槟分校、斯坦福大学、加州大学伯克利分校、人工智能安全中心和微软研究院共同组成的研究团队发布了一个针对大型语言模型(LLMs)的综合可信度评估平台。该研究成果已在最新论文《DecodingTrust：全面评估GPT模型的可信度》中进行了详细介绍。

研究团队发现了一些之前未曾披露的与可信度相关的漏洞。例如，GPT模型容易被误导而产生有毒和有偏见的输出，并可能泄露训练数据和对话历史中的隐私信息。值得注意的是，尽管在标准基准测试中GPT-4通常比GPT-3.5更值得信赖，但在面对恶意设计的系统或用户提示时，GPT-4反而更容易受到攻击。这可能是因为GPT-4更精确地遵循了具有误导性的指令。

为了全面评估GPT模型的可信度，研究团队从八个不同角度进行了分析，包括对抗性鲁棒性、有毒性和偏见、隐私泄露等方面。评估过程涵盖了多种构建场景、任务、指标和数据集。

在对抗性鲁棒性方面，研究人员设计了三种评估场景：标准基准AdvGLUE测试、带有不同指导性任务说明的AdvGLUE测试，以及更具挑战性的AdvGLUE++测试。这些测试旨在评估GPT模型对现有文本对抗攻击的脆弱性，并与其他先进模型进行比较。

研究结果显示，GPT模型在对抗性演示方面表现出一些有趣的特性。GPT-3.5和GPT-4不会被演示中添加的反事实示例误导，甚至可能从中受益。然而，当提供反欺诈演示时，两个模型都可能对反事实输入做出错误预测，尤其是当反事实演示靠近用户输入时。在这方面，GPT-4似乎比GPT-3.5更容易受到影响。

在有毒性和偏见方面，研究发现GPT-3.5和GPT-4在良性和无目标系统提示下对大多数刻板印象主题的偏差并不显著。然而，在面对误导性的系统提示时，两种模型都可能被"诱骗"同意有偏见的内容。值得注意的是，GPT-4比GPT-3.5更容易受到有针对性的误导性系统提示的影响。

关于隐私泄露问题，研究表明GPT模型可能会泄露训练数据中的敏感信息，如电子邮件地址。在某些情况下，利用补充知识可以显著提高信息提取的准确率。此外，GPT模型还可能泄露对话历史中注入的私人信息。总体而言，GPT-4在保护个人身份信息(PII)方面比GPT-3.5表现更好，但两种模型在面对隐私泄露演示时都可能出现问题。

研究团队希望通过公开这些发现，鼓励更多研究人员参与到这项工作中来，共同努力创造更强大、更可信的模型。为了促进合作，他们提供了易于使用和可扩展的基准代码，使得在新模型上运行完整评估变得简单高效。

这项研究不仅揭示了当前GPT模型在可信度方面的优势和潜在威胁，也为未来的人工智能安全研究提供了重要的参考和方向。随着大型语言模型在各领域的广泛应用，确保其可信度和安全性将变得越来越重要。