2026-07-14
按住下方图标,点击小程序
免费领取AI学习资料、精选提示词

平时刷博物馆线上展厅不知道大家有没有同款糟心体验,点开 三D 文物模型提问,AI 讲解员经常说得头头是道。
可回头去查馆藏资料全对不上,引用失效网页,遇到史料有争议的古董还乱给定论。
北大、北京交通大学等研究团队联合开源了一个AI博物馆VaseMuseum,不用改动大模型底层权重,仅靠推理阶段多层校验就能大幅降低AI胡编乱造的幻觉问题。

开源地址:https://github.com/AIGeeksGroup/VaseMuseum
其实咱们平时玩那些多模态大模型,让AI看图说话感觉挺厉害的,但真要把它们放到专业的博物馆里当导游就很难用。
想一下,古希腊陶器的解读哪是看一眼图就能搞定的,那得研究容器形状、彩绘场景、制作工艺、年代学还有出土地点这些特别专业的东西。
很多时候游客问的问题,光靠看外表根本答不上来,必须得去查历史文献或者考古资料。
为了解决AI在导读文物时可能出现的错误情况,研究团队在开发VaseMuseum时换了一个思路,把博物馆导览当成一个寻找证据的过程。
整个系统大概可以拆成几个核心部分,虚拟交互环境负责展示文物,视觉推理模块负责看图说话,外部知识获取模块负责出门找资料,可靠性控制模块则像个监工一样盯着整个过程不让AI瞎搞。

大家可以在虚拟环境里自由放大看陶器的高清图甚至三维模型,然后随便提问。系统里的核心智能体收到问题后,会先自己分析画面里的陶器长什么样,画了什么人,用了什么手法。
要是发现光看图不够用,就会自动切换到查资料模式,去网上和博物馆数据库里捞信息。
两道硬核关卡专治AI胡说八道
捞回来的信息肯定不能直接信,所以研究者加了一道特别关键的关卡叫源头控制。大家可以把这想象成一个极其严格的图书管理员,在资料进入大脑之前先做一遍筛查。
这个管理员会检查每一条搜索结果的网址能不能打开,标题和摘要内容够不够充实,然后算出一个综合的及格线。只有网址可访问且内容足够的资料才会被保留下来,那些打不开的死链接或者干巴巴的短句直接就被踢出去了。
过关的资料还要再算一次预多样性分数,把那些跟问题不相关或者来源太水的统统丢掉。
为了避免看到好几篇内容差不多的文章浪费时间,系统用了一种叫最大边际相关性的算法,在保证内容相关的同时,尽量多找几个不同网站发出的声音,最后挑出五条最靠谱的资料打包整理好。

资料找齐了也洗干净了,接下来大模型就可以开始写答案了吧,别急,后面还跟着一个响应控制模块。这个模块的作用就是审核员,专门检查大模型写的草稿到底有没有真凭实据。
审核员会把问题和草稿拆解成一个个小声明,然后挨个去证据池里找有没有资料能支持这些话。只要证据和声明的文字重合度超过一个很低的底线,就算这条证据支持了这个说法。
同时审核员还特别敏锐,如果发现两份资料内容很像但态度截然相反,比如一个说是公元前五世纪一个说是公元前四世纪,系统就会记录下这种冲突。
最后系统会综合有多少声明被证据支持了,有没有多个来源互相印证,以及存在多少冲突,算出一个总的置信度。

要是算出来的分数不及格,系统就会进入一种老实交代模式,回答的时候会主动加上一段声明,告诉用户这个问题目前还有争议或者证据不足,哪部分不能给出确定结论。如果分数够高,那就正常输出答案并且把审核记录留下来备查。
AI幻觉暴降
登录/注册后继续阅读
立即登录/注册 >