英伟达刚开源Nemotron 3:单GPU就能跑,智能体效率暴涨

2025-12-16

关注CAIE,国内头部AI人才认证、培训体系,助你在职场升职加薪。
CAIE注册人工智能工程师
CAIE注册人工智能工程师
公众号作者
CAIE,全称 Certifed Artifcial Intelligence Engineer(人工智能工程师),简称 CAIE(赛一) ,是人工智能领域的技能等级认证。旨在评估和培养具备人工智能理论基础与实战能力的职业人士。

今天凌晨,全球AI领导者英伟达开源了最新Nemotron 3系列模型。

Nemotron 3一共有NanoSuperUltra三种参数,并且引入突破性的混合潜在专家混合架构,显著提升模型推理效率与扩展能力,使开发者能够大规模构建并部署高可靠性的多智能体协作系统。

NVIDIA创始人兼CEO黄仁勋表示开放创新是AI进步的基石,借助Nemotron家族模型,我们正将先进AI转化为开放平台,为开发者提供大规模构建智能体系统所需的透明度和效率。

作为当前最高效的开放模型家族,Nemotron 3系列的核心亮点在于创新的混合专家混合架构。这一技术突破直接回应了开发者在构建多智能体系统时面临的通信开销大、上下文偏移、推理成本高等核心痛点,同时通过开放透明的特性,让开发者能够充分信任模型对复杂工作流的自动化处理能力。

从具体型号来看,三款模型各有侧重、精准适配不同场景需求。Nemotron 3 Nano是一款拥有300亿参数的小型模型,每次仅激活30亿参数即可完成目标任务,是当前计算成本效率最高的模型

其独特的混合MoE架构带来了显著性能提升,与上一代Nemotron 2 Nano相比,token吞吐量提高4倍,推理token生成减少60%,大幅降低了推理成本;

同时配备100token的上下文窗口,能够记忆更多信息,在长流程、多步骤任务中展现出更强的信息关联能力和准确性。独立AI基准测试机构Artificial Analysis将其评为同尺寸模型中最开放、最高效且准确性领先的产品,目前已优化适用于软件调试、内容摘要、AI助手工作流和低推理成本的信息检索等场景。

Nemotron 3 Super则是一款高精度推理模型,拥有约1000亿参数,每token最多激活100亿参数,专为需要多个智能体协作完成复杂任务的场景设计,核心优势在于低延迟处理能力。

而定位为大型推理引擎的Nemotron 3 Ultra,参数规模达到约5000亿,每token最多激活500亿参数,将成为需要深度研究和战略规划的复杂AI工作流的核心动力。

值得一提的是,SuperUltra版本采用了英伟达超高效率的4NVFP4训练格式,依托NVIDIA Blackwell架构,在不牺牲高精度格式准确性的前提下,大幅降低了内存需求并加快了训练速度,让大型模型能够在现有基础设施上完成训练。

在部署与可用性方面,Nemotron 3 Nano已率先登陆HuggingFace,并通过BasetenDeepInfra等多家推理服务提供商开放使用;企业用户可在CouchbaseDataRobot等企业AI和数据基础设施平台上获取该模型,公共云用户后续也将能通过AWSAmazon BedrockGoogle CloudMicrosoft Foundry等平台使用。

确定要退出登录吗?
确定 取消
推广有奖