《对抗"幻觉 "和“捏造”！OpenAI启用新方法训练AI模型   之一》

— CnBays.cn湾区中国 | 【睿问财讯-国际】

导读：

• OpenAI周三宣布开始用一种更新的方法来训练人工智能模型，以对抗人工智能 "幻觉 "或“错误”。

• 当OpenAI的ChatGPT或谷歌的Bard巴德等模型完全生成信息时，就会出现人工智能的“幻觉”现象。

• 类似巴德(Bard)等模型完全可以捏造信息，表现得好像它们在吐露事实一样。

• OpenAI的研究人员指出，在需要多步骤推理的领域，这些幻觉尤其成问题，一个逻辑错误就足以让一个更大的解决方案脱轨。

• OpenAI对抗捏造的潜在新策略是："过程监督"，而不是 "结果监督"，并可能导致更好的可解释人工智能。

OpenAI周三宣布，该公司正在承担其对抗人工智能 "幻觉 "或“错误”的重任，用一种更新的方法来训练人工智能模型。

这项研究是在自我生成式人工智能热潮掀起，以及2024年美国总统大选前，人工智能系统所产生的错误信息比以往任何时候都更加突出的情况下进行的。

OpenAI去年发布了由GPT-3和GPT-4驱动的聊天机器人ChatGPT，并在两个月内突破了1亿月度用户，创造了增长最快的应用记录，从而加速了生成性人工智能的热潮。

到目前为止，微软已经向OpenAI投资了130多亿美元，这家初创公司的价值已经达到大约290亿美元。

当OpenAI的ChatGPT或谷歌的Bard巴德等模型完全编造信息时，就会出现人工智能的“幻觉”现象。

类似巴德(Bard)等模型完全可以捏造信息，表现得好像它们在吐露事实一样。例如：

在谷歌2月份为Bard制作的宣传视频中，该聊天机器人对詹姆斯-韦伯太空望远镜提出了不真实的说法。最近，ChatGPT在纽约联邦法院的一份文件中引用了 "捏造的"案例，涉及的纽约律师可能面临制裁。

OpenAI的研究人员在报告中写道，即使是最先进的模型也容易产生假象，它们在不确定的时刻表现出发明“事实”的倾向，在需要多步骤推理的领域，这些幻觉尤其成问题，因为一个逻辑错误就足以让一个更大的解决方案脱轨。

OpenAI对抗捏造的潜在新策略是： 训练人工智能模型，使其在得出答案时对每个单独的、正确的推理步骤进行奖励，而不是仅仅奖励一个正确的最终结论。研究人员表示，这种方法被称为 "过程监督"，而不是 "结果监督"，并可能导致更好的可解释人工智能，因为该策略鼓励模型遵循更多类似人类 "思维 "链的方法。

OpenAI的数学根研究员Karl Cobbe卡尔-科贝告诉媒体，检测和减轻模型的逻辑错误，或幻觉，是建立对齐的AGI[或人工通用智能]的关键一步。虽然OpenAI没有发明过程监督方法，但该公司正在帮助推动它前进。这项研究背后的动机是解决人工智能“幻觉”或错误，以使模型更有能力解决挑战性的推理问题。

CnBays.cn湾区中国|【睿问财讯—国际】综合国内外权威财经资讯，部分国际内容由浦诺英英文精英翻译供稿，睿问财讯编辑整理。来源：网络；图源：网络

【声明】：Cnbays湾区中国 | 【睿问财讯】立足湾区，面向世界，关注产业，助力企业。本网站中英文及图片内容版权属原作者所有，本文转载、摘编、引用、翻译、编辑整理等均出于传播财经等信息之目的和需要，CnBays.cn湾区中国 | 【睿问财讯】刊发所有内容不代表本网任何观点，也不构成任何投资建议。有来源标注错误或文章侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢

联系：ReveMgt_Express@163.com