OpenAI报告揭示的网络影响操作

关键要点

• OpenAI发布的报告指出，利用其ChatGPT和DALL-E模型的五个网络影响操作活动缺乏复杂性，公共影响力有限。
• 报告中提到的威胁行为者主要来自俄罗斯、中国、伊朗和以色列。
• OpenAI通过停止恶意账号、分享威胁情报和改进安全系统来应对信息虚假活动。

OpenAI在最近发布的报告中揭露了五个利用其模型进行的网络影响操作（IO）活动。这些活动虽然使用了生成性人工智能，但整体上缺乏复杂性，对公众舆论的影响也微乎其微。OpenAI通过对这些恶意账户的调查，分享威胁情报并完善自身的安全系统，以抵御网络威胁者的策略。此外，OpenAI已经停止了与这些恶意活动相关的账户。

GenAI在社交媒体上的应用

在被发现的活动中，ChatGPT这一大型语言模型主要用于内容生成、伪造社交媒体互动以及提高生产力的任务，例如翻译、脚本调试和社交媒体分析。

报告指出，没有任何威胁行为者完全依赖于人工智能来推动他们的运营，而是将AI生成的内容与人类撰写的内容或网络上复制的内容相结合。

下表总结了报告中涉及的威胁行为者及其活动：

例如，“BadGrammar”这一俄罗斯活动通过在Telegram上发布评论，试图在公众之间影响对俄乌战争的看法。该活动使用了ChatGPT生成的内容，还对用于自动发布评论的代码进行了调试。

与此同时，“Spamouflage”作为一个来自中国的威胁行为者，在多个社交媒体上发布了AI生成的亲中政府评论。该威胁者利用ChatGPT进行代码调试、社交媒体分析和时事研究等任务。

OpenAI加强防御以防止AI生成的虚假信息

报告描述了OpenAI为应对如上述案例中的隐蔽影响操作所采取的多种方法。OpenAI利用其自有的AI模型提高对潜在对抗性使用的检测能力，以便更好地调查有害活动并终止恶意账户。报告强调，OpenAI的模型在面对威胁行为者的请求时，拒绝执行某些任务。

OpenAI的调查也建立在其他公司和研究者分享的信息之上，这些信息包括Meta、微软和Disinfolab对“Doppelganger”威胁行为者的了解，以及Mandiant和路透社关于伊朗影响操作的文章。

最后，OpenAI强调“分享”从实际错误使用中学到的经验很重要。他们表示：“整体来看，这些趋势揭示了一个不断演变的威胁格局，威胁行为者正在利用我们的平台来改善他们的内容与工作效率。然而，到目前为止，他们仍在努力接触和吸引真实的受众。”