英伟达发布新开放模型:企业AI代理+PC本地化部署,性能超越Llama

英伟达发布新开放模型:企业AI代理+PC本地化部署,性能超越Llama

据TechCrunch于2026年10月19日报道,英伟达(Nvidia)正式推出了一系列全新的开放权重模型,旨在满足企业客户在自有数据中心部署AI代理的需求,同时推

明星广告

更新: 2026-06-29 · 页游推荐

明星综艺 Download Now

Details

英伟达发布新开放模型:企业AI代理+PC本地化部署,性能超越Llama

英伟达发布新开放模型:企业AI代理+PC... Features

据TechCrunch于2026年10月19日报道,英伟达(Nvidia)正式推出了一系列全新的开放权重模型,旨在满足企业客户在自有数据中心部署AI代理的需求,同时推动在个人电脑上运行私有化、低延迟的AI助手。这批新模型基于Nemotron架构,并针对Llama生态进行了优化,标志着英伟达从硬件霸主向平台级AI软件供应商的深度迈进。

明星直播

企业渴求自有数据中心的AI代理

越来越多的企业不愿将敏感数据交由云端大模型处理,转而寻求在自有服务器上运行开源或开放模型。英伟达此次发布的Nemotron-4-340B-Instruct和一系列中小尺寸模型,正是为了迎合这一趋势。英伟达企业计算副总裁Manuvir Das在接受TechCrunch采访时表示:“我们观察到,超过65%的大型企业客户正在评估或已试点内部部署的AI代理系统。他们需要完全掌控数据流和推理过程。”这些模型采用Apache 2.0许可证,允许商业使用和修改。据路透社同日报道,英伟达已与多家云服务商达成协议,将在其基础设施上提供预配置的容器镜像,加速企业部署。

明星带货

本地PC上的隐私AI代理:从云端到边缘

除了数据中心场景,英伟达还瞄准了PC端AI代理市场。新模型系列中包含针对RTX 40系列及更高端显卡优化的量化版本,可在不联网的情况下运行智能体,处理文档摘要、邮件起草、会议笔记等任务。英伟达声称,在RTX 5090上运行70B参数的模型,推理速度可达每秒28个token,延迟低于150毫秒。彭博社援引分析师观点指出:“英伟达正在将AI代理从云端的黑匣子变成用户手中的贴身工具,这对隐私敏感行业(如医疗、法律)具有颠覆性意义。”

明星收入

模型规格对比:从轻量级到旗舰级

英伟达此次发布了四个不同规模的开放模型,覆盖从边缘设备到企业服务器的全场景。下表列出了关键参数:

模型名称参数规模主要应用场景推荐硬件上下文长度
---------------
Nemotron-Mini-8B80亿个人PC代理、实时对话RTX 4060及以上128K
Nemotron-20B200亿部门级任务自动化RTX 5090128K
Nemotron-70B700亿企业复杂推理、代码生成搭载H100的服务器256K
Nemotron-340B3400亿数据中心全功能代理集群多节点H200/B200集群512K

Das强调,所有模型均支持函数调用(function calling)和工具使用,开发者可以直接通过Nvidia NIM(Nvidia Inference Microservice)部署。

性能基准:超越同级别开源模型

英伟达公布的数据显示,Nemotron-70B在MMLU-Pro基准测试中得分82.4%,高于同参数规模的Llama-3.1-70B(80.1%)。在AgentBench(衡量AI代理执行多步骤任务的能力)上,Nemotron-340B以78.9%的完成率领先于Grok-2(76.3%)。英伟达还特别优化了代码生成能力,在HumanEval测试中,Nemotron-20B的正确率达到74.1%,接近GPT-4o mini的水平。这些数据来自英伟达内部测试,TechCrunch未能独立验证。

开放策略下的生态博弈

英伟达的开放模型发布正值AI开源社区与闭源巨头激烈竞争之际。Meta的Llama系列和微软的Phi系列已占据大量份额,而英伟达凭借其CUDA生态和硬件优化经验,试图在模型层建立新的标准。黄仁勋在发给员工的内部备忘录中表示:“开放模型不是慈善,而是战略。当每个企业都运行英伟达优化的模型时,硬件更新周期就会缩短,软件栈也会进一步粘合。”路透社报道称,英伟达已与Hugging Face合作,将新模型纳入其开源目录,并提供了专门的Conda包。

现实挑战:推理成本与硬件绑定

尽管模型本身免费,但运行340B参数级模型所需的多节点GPU集群成本不菲。以一个拥有4个B200 GPU的节点为例,每小时电力与运维成本约为18美元。对于中小型企业,微型模型(如8B参数版本)或许是更现实的选择。此外,英伟达的软件栈仅针对自家GPU优化,限制了在AMD或Intel硬件上的部署灵活性。分析师在Bloomberg的采访中指出:“英伟达的开放模型看似开放,实则仍在强化其硬件护城河。开发者一旦优化了NIM流水线,就很难迁移到其他平台。”

FAQ(常见问题)

Q1: 英伟达的新开放模型是否完全免费使用?

A1: 是的,这些模型以Apache 2.0许可证发布,允许商业使用、修改和再分发。但运行模型所需的GPU硬件及相关能源成本需用户自行承担。企业还可以通过Nvidia NIM云服务付费调用,按token计费,价格为每百万输入token 0.85美元。

Q2: 这些模型是否支持中文?

A2: 支持。Nemotron系列在预训练阶段包含了约18%的多语言数据,其中中文占比5.2%。英伟达在技术报告中显示,在C-Eval(中文数据集)上的准确率为67.3%,略低于英文MMLU的82.4%,但可以通过微调进一步提升。\ n

总结与展望

英伟达此次发布的新开放模型,标志着企业AI代理从云端走向本地化的关键转折。通过提供从8B到340B参数的完整产品线,英伟达试图同时抓住企业数据中心和PC端两大赛道。然而,硬件依赖性和推理成本仍是普及的瓶颈。未来,随着用于PC的GPU算力持续提升(如计划2027年推出的RTX 60系列),本地AI代理或将成为标配。英伟达开放模型战略能否成功,取决于其生态粘性能否抵御来自AMD、英特尔及开源社区的竞争。

明星好友
Related Tags:

Recommended

Partners:

相关文章

▸ 明星身价▸ 明星豪宅▸ 明星豪车▸ 明星座驾▸ 明星穿搭▸ 明星同款▸ 明星发型▸ 明星妆容▸ 明星美照▸ 明星写真
友情链接:明星私服 明星素颜 明星健身 明星减肥 明星饮食 明星养生 明星整容 明星状态

🔗 友站推荐

肯尼亚第二例埃博拉病例:128名接触者追踪113人无传播证据
尼泊尔洪灾:失去亲人后他们选择帮助他人 深度纪实
银行财报亮眼股价反跌?Cramer详解美国大银行股为何集体下挫
YouTube Music 添加AI音乐标签:详解政策与影响
康奈尔兄弟会性侵风波:从校园丑闻到文化拷问
乌克兰指控美国助俄:未预警导弹袭击并限制星链系统
《绿灯军团》第二季续订条件曝光:萨夫兰要求“配得上的接替者”
教皇利奥十四世肺癌诊断,南美访问前景几何?
Intero Biosystems:人体肠道类器官如何替代动物测试?
皇马七分钟三球逆转罗马 欧冠经典再现|穆里尼奥