Github每日最佳!字节这个开源给AI加上超强记忆,Token成本暴跌90%

2026-08-19

关注CAIE,国内头部AI人才认证、培训体系,助你在职场升职加薪。
CAIE注册人工智能工程师
CAIE注册人工智能工程师
公众号作者
CAIE,全称 Certifed Artifcial Intelligence Engineer(人工智能工程师),简称 CAIE(赛一) ,是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

现在做AI智能体的小伙伴们经常遇到一个头疼的问题,就是AI记不住之前说过的话,想找点资料像在黑箱里瞎摸。

要不就是把记忆、知识、技能散落在各个角落,用起来费劲还费钱。每个对话都要重新喂一遍背景信息,token烧得心疼,响应速度也慢得让人着急。

今天介绍一个字节跳动团队开源的OpenViking,超29000星曾经拿过Github每日最佳来解决这个大难题。

开源地址:https://github.com/volcengine/OpenViking

你可以把OpenViking理解成AI专用的超级大脑图书馆,能把记忆、资源、技能统统一股脑塞进一个虚拟文件系统里。要用的时候翻目录就能找到,不用在茫茫数据海里捞针。

研发团队在在LoCoMo这个长对话用户记忆测试上跑了三组实验,结果相当经验。用了OpenViking之后,三个不同AI集成的准确率全部冲到80%83%。而原本自带的记忆系统准确率只有24%57%

更离谱的是Token消耗。在准确率暴涨的同时,输入Token数下降了34%91%,查询延迟降低了58%66%

还有个在tau2-bench多轮任务测试上的数据,加了这个记忆机制之后,任务成功率比不带记忆的纯大模型,零售场景提升了6.87%,航空场景提升了11.87%

兼容性也不错,Claude CodeCursor等热门开发平台都有现成的插件,LangChainLangGraph这样的框架也能无缝衔接。接着咱们在聊聊OpenViking有哪些好用的特色功能。

统一文件系统管理上下文

记忆、知识、技能都有自己专属的viking://地址,就像给每本书编上了索书号。AI想找什么资源,直接像程序员操作文件一样精准定位,再也不会像无头苍蝇一样到处乱撞。

你想让AI记住你的代码风格、项目文档,或者某个常用功能模块,统统都能安安稳稳住进这个统一仓库里。

三层分级加载帮省token

这个功能真的很绝,也是OpenViking能节省大量token原因之一。每一份上下文都会被自动处理成三个层级。

L0是一句话摘要,大概100Token,用来快速判断这内容跟当前任务有没有关系。

L1是概览,大概2000Token,包含核心信息,够Agent做规划决策用了。L2才是完整原文,只有真正需要细读的时候才加载。

这就像看书,你不会一上来就逐字逐句读完整本百科全书吧?你先看目录,再看章节概要,最后才翻开具体那一页。

AI也一样,没必要每次都把全部信息灌进上下文窗口。实测下来,Token消耗降了80%以上,有些场景甚至到91%,这对跑长任务、多轮对话的团队来说,省下来的可都是真金白银。

目录递归检索保持语境完整

向量搜索不是孤立地找单个文件,而是先定位最相关的目录,然后一层层往下钻。这样检索出来的内容带着上下文,就像完整的一章书而不是零散几页。

确定要退出登录吗?
确定 取消