《担忧难以缓解？OpenAI启用新方法训练AI模型   之二》

— CnBays.cn湾区中国 | 【睿问财讯-国际】

导读：

• OpenAI周三宣布开始用一种更新的方法来训练人工智能模型，以对抗人工智能 "幻觉 "或“错误”，潜在新策略是："过程监督"，而不是 "结果监督"。

• OpenAI的专家说，OpenAI已经发布了一个附带的数据集，其中有80万个人类标签，它用来训练AI模型。

• 布朗大学专家认为这项研究报告更像是初步观察，在一个环境、模型和背景下可能有效的东西在另一个环境、模型和背景下可能无效。

• OpenAI的数学根研究员说，该公司可能会将报告提交给未来的会议进行同行评审。

• 另有专家指出：OpenAI仍然有巨大的不透明性，对人工智能领域的问责努力构成挑战，即使这些系统已经直接影响到人们。

OpenAI周三宣布，该公司正在承担其对抗人工智能 "幻觉 "或“错误”的重任，用一种更新的方法来训练人工智能模型。OpenAI的研究人员指出，在需要多步骤推理的领域，这些幻觉尤其成问题，一个逻辑错误就足以让一个更大的解决方案脱轨。OpenAI对抗捏造的潜在新策略是："过程监督"，而不是 "结果监督"，并可能导致更好的可解释人工智能。

OpenAI的数学根研究员Karl Cobbe卡尔-科贝说，OpenAI已经发布了一个附带的数据集，其中有80万个人类标签，它用来训练报告中提到的AI模型。

电子隐私信息中心(Electronic Privacy Information Center)的高级顾问、人工智能和人权项目的负责人本-温特斯(Ben Winters)表示怀疑，他告诉媒体，他想检查完整的数据集和附带的例子。

温特斯说：我不认为仅凭这一点就能大大缓解对错误信息和不正确结果的担忧......当它真正被用于随意公开使用时。他们是否计划将他们在这里的研究发现的东西[应用到他们的产品中]，这绝对是很重要的，如果他们不这样做，这确实带来了一些关于他们愿意向公众发布的东西引起的相当严重的问题。

由于不清楚OpenAI的研究报告是否经过同行评议或其他形式的审查，布朗大学技术责任中心主任Suresh Venkatasubramanian文卡塔苏巴拉马尼安告诉媒体，他认为这项研究更像是初步观察，而不是其他。

文卡塔苏巴拉马尼安说：这需要在研究界引起关注，然后我们才能对此说些什么。在这个世界上，有很多结果是非常有规律的，而且由于大型语言模型工作方式的整体不稳定性，在一个环境、模型和背景下可能有效的东西在另一个环境、模型和背景下可能无效。

他说：人们一直关注的一些幻觉性的东西是[模型]编造引文和参考文献。这篇研究报告中没有证据表明这将在这方面发挥作用。......不是说我说它不会起作用；我是说这篇论文没有提供这种证据。

OpenAI的数学根研究员Karl Cobbe卡尔-科贝说，该公司 "可能会将报告提交给未来的会议进行同行评审。" OpenAI没有回应关于何时何时提交该公司计划在ChatGPT及其他产品中实施新策略的评论请求。

另一AI研究机构的专家说，看到OpenAI试图修补他们的系统开发，试图减少这些类型的错误，这当然是值得欢迎的--我认为关键是要把这解释为企业研究，因为在更深形式的问责制方面存在许多障碍。

韦斯特补充说：OpenAI在这篇研究报告中发布了一个人类层面反馈的小数据集，但它还没有提供用于训练和测试GPT-4的数据的基本细节。因此，仍然有巨大的不透明性，对人工智能领域任何有意义的问责努力构成挑战，即使这些系统已经直接影响到人们。

CnBays.cn湾区中国|【睿问财讯—国际】综合国内外权威财经资讯，部分国际内容由浦诺英英文精英翻译供稿，睿问财讯编辑整理。来源：网络；图源：网络

【声明】：Cnbays湾区中国 | 【睿问财讯】立足湾区，面向世界，关注产业，助力企业。本网站中英文及图片内容版权属原作者所有，本文转载、摘编、引用、翻译、编辑整理等均出于传播财经等信息之目的和需要，CnBays.cn湾区中国 | 【睿问财讯】刊发所有内容不代表本网任何观点，也不构成任何投资建议。有来源标注错误或文章侵犯了您的合法权益，请作者持权属证明与本网联系，我们将及时更正、删除，谢谢

联系：ReveMgt_Express@163.com