我要认证
2026-01-27 阅读量：278
腾讯和西安电子科技大学开源了一个创新视频生成框架，能把几句对话直接变成专业级的电影视频，质量和效果都非常不错。
开源地址：https://github.com/Tencent/digitalhuman/tree/main/ScriptAgent
下面这个就是生成的视频，输入文本直接一键完成。
现在市面上的视频比如Sora2‑Pro、Veo3.1、Wan2.5这些模型，随便给一句简单的文字描述，它就能生成画面相当漂亮、细节很写实的短视频。
可真要用它们来讲一个完整的、有剧情的故事，问题就一下子暴露出来了。
模型通常只能生成几秒钟到十几秒钟的片段，你想让它演个一分钟的连续戏，它就懵了，要么角色身份乱跳，一会儿长这样一会儿长那样，要么场景和镜头乱切，故事逻辑也跟着断线。
这中间缺的是什么呢？导演圈里有个金句，拍好电影就靠三样东西，剧本，还是剧本，剧本。AI视频生成缺的正是剧本这根主线。
咱们人类导演拿到对话，脑子里会自动补全画面，比如这里该用什么景别，镜头怎么动，光线和氛围怎么搭，角色在场景里怎么站位等等。
但现有模型只能盯着原始对话里的那几个词，很难把这些复杂的电影细节给补出来。
腾讯就想让AI当导演、写剧本、当评审不就完事了嘛！所以，这个框架最牛的地方在于三个各司其职的AI Agent智能体，配合起来就像一个完整的电影制作团队，从编剧到导演再到评审，一条龙服务。
导演 AI：DirectorAgent 把剧本拍成连贯长视频
有了好剧本，还得有好导演来执行，DirectorAgent 就是这个导演。以前的视频模型拍不了长视频，拍出来的短片拼接在一起会很生硬，DirectorAgent 就解决了这个问题。
它先根据剧本合理拆分场景，不是随便砍断，而是顺着剧情的自然断点来，比如角色说完一句话、情绪有变化的时候，这样拆分出来的片段既符合模型的拍摄能力，又不破坏剧情连贯性。
更厉害的是它的帧锚定机制，就像接力赛一样，上一个场景的最后一帧作为下一个场景的起点，确保角色的样子、衣服、场景布局都不变，不会出现上一秒在客厅下一秒就到厨房的尴尬情况。
这个导演 AI 相当于把长视频拍摄拆成了一个个小任务，每个任务都衔接好，最后拼起来就是一部连贯的长视频，完美解决了以前模型拍长视频的痛点。不过团队也说，目前在唇形同步这些细节上还有提升空间，后续会继续优化。
编剧 AI：Scripter Agent 把对话变成专业剧本
Scripter Agent 的工作就是当编剧，把干巴巴的对话变成细节满满的电影剧本。
为了让它会写剧本，团队先做了个超大的数据集叫 ScriptBench，里面有 1750 个完整剧本实例，每个都配了对话、音频和角色位置信息，平均每个视频 15.4 秒，刚好适合模型学习。
这个数据集的标注特别专业，分三步来。先把对话和音频结合起来，搞清楚角色关系、场景设定这些背景信息；
再根据剧情节奏拆分镜头，每个镜头不超过 10 秒，还得避开复杂的镜头运动；
最后反复检查纠错，确保对话没遗漏、角色形象不变、场景过渡合理，连物理逻辑都要顾及，比如不能出现角色突然瞬移的情况。专业顾问还抽查了 60% 的内容，最后 94% 的剧本都达到了专业水准。
这个编剧 AI 的训练也很有讲究，分两步走。第一步先让它学会写结构完整的剧本，知道剧本该包含镜头类型、角色动作这些基本要素，就像学写作文先掌握格式一样。
第二步再让它提升艺术感，邀请资深艺术总监打分，结合自动化检查的结果，让 AI 知道什么样的镜头划分、节奏把控更有电影感，最后写出来的剧本既有规矩又有灵气。
评审 AI：CriticAgent 给剧本和视频打分
拍出来的东西好不好，得有专业评审说了算，CriticAgent 就是这个评审。它从多个维度给剧本和视频打分，既看技术层面的问题，比如剧本格式对不对、视频画面稳不稳，也看艺术层面的表现，比如剧情有没有张力、角色形象是否一致。
除了 AI 评审，还有专业的人类导演和编剧参与打分，再加上一些自动化的评估指标，比如专门衡量视频和剧本贴合度的 VSA 指标，确保每一部生成的视频都达到专业水准。
这个评审体系就像一个严格的质检流程，把不合格的内容都筛掉，保证最终输出的质量。
开发团队表示，目前这个框架还有一些可以提升的地方，比如唇形同步更精准、能支持更多电影风格。以后他们会重点优化这些细节，让 AI 生成的视频更完美。
咱们普通人以后想拍个短视频、广告片甚至微电影，不用写复杂剧本，不用懂拍摄技巧，只要把角色对话输进去，AI 就能自动生成专业剧本，再拍成高质量视频。
想转型AI，不被时代淘汰
CAIE注册人工智能工程师认证
岗位能力 × AI工具 ×转型方向 × 场景落地 = 新AI职业价值
扫码免费领取《AI工程师入门学习指南》
