你能看得出人工智能在瞎编乱造吗？《天然》6月19日颁发的一项研究报导了一种能检测年夜说话模子（LLM）幻觉（hallucination）的方式，该方式可以或许丈量生成回覆的寄义的不肯定性，或用在晋升LLM输出的靠得住性。

像ChatGPT和Gemini如许的LLM是可以或许浏览和生成天然人类说话的人工智能系统。不外，这类系统很轻易发生幻觉，生成禁绝确或没成心义的内容。但是检测LLM呈现幻觉的水平很坚苦，由于这些回覆的显现体例可能让它们看起来很可托。

在这项研究中，英国牛津年夜学的Sebastian Farquhar和同事测验考试了量化一个LLM发生幻觉的水平，从而判定kaiyun�ٷ�app生成的内容有几多是忠在供给的源内容的。

研究人员的方式能检测出LLM的“编造”（confabulation）——这是“幻觉”的一个子种别，指禁绝确和随便的内容，常呈现在LLM缺少某类常识的环境下。

这类方式斟酌了说话的奥妙不同，和回覆若何能以分歧的体例表达，从而具有分歧的寄义。他们的研究注解，该方式能在LLM生成的小我简介，和关在杂事、常识和生命科学这类话题的回覆中辨认出“编造”。

但是Australia皇家墨尔本理工年夜学的Karin Verspoor在一篇同时颁发的“旧事与不雅点”文章中指出，该使命由一个LLM完成，并经由过程第三个LLM进行评价，等在在“以毒攻毒”。Verspoor还写道，“用一个LLM评估一种基在LLM的方式仿佛是在轮回论证，并且可能有误差。”

不外，Verspoor指出，他们的方式无望帮忙用户理解在哪些环境下利用LLM的回覆时需要多加谨慎，也意味着能够提高LLM在更多利用场景中的相信度。

相干论文消息：https://doi.org/10.1038/s41586-024-07421-0

,kaiyun报道