6月18日，《天然》颁发的一项研究报导了一种能检测年夜说话模子（LLM）幻觉（hallucination）的方式，该方式能检测生成回覆的寄义的不肯定性，或能用在晋升LLM输出的靠得住性。

LLM（如ChatGPT和Gemini）是能浏览和生成人类天然说话的人工智能系统。不外，这类系统很轻易发生幻觉，生成禁绝确或没成心义的内容，即“一本正派地乱说八道”。不外，检测LLM呈现幻觉的水平很难，由于这些回覆的显现体例可能会让它们看起来很可托。

来自英国牛津年夜学的Sebastian Farquhar和同事测验考试量化一个LLM发生幻觉的水平，进而判定生成的内容有多“忠在”供给的源内容。他们的方式能检测“编造”（confabulation）——这是“幻觉”的一个子种别，特指禁绝确和随便的内容，常呈现在LLM缺少某类常识的环境下。这类方式斟酌了说话的奥妙不同，和回覆若何能以分歧的体例表达，从而具有分歧的寄义。他们的研究注解，这一方式能在LLM生成的小我简介，以kaiyun�ٷ�app和关在杂事、常识和生命科学这类话题的回覆中辨认出“乱说八道”的内容。

不外，Sebastian Farquhar等人的研究方式，也离不开年夜模子这一得力东西。《天然》同时颁发的“旧事与不雅点”文章指出，该使命由一个年夜说话模子完成，并经由过程第三个年夜说话模子进行评价，相当因而“以毒攻毒”。

该文作者同时也在耽忧，用一个年夜模子评估一种基在年夜模子的方式“仿佛是在轮回论证，并且可能有误差”。不外，作者认为，他们的方式无望帮忙用户理解在哪些环境下利用LLM的回覆需要留意，也意味着能够提高LLM在利用场景中的相信度。

相干论文消息：https://www.nature.com/articles/s41586-024-07421-0

,kaiyun报道