R2来之前,DeepSeek又放了个烟雾弹

客服微996438432个月前财经知识54

放烟雾弹视频_烟雾弹释放什么气体_

出品|虎嗅科技组

作者|宋思杭

编辑|苗正卿

头图|视觉中国

5月前后,DeepSeek的动作倒是频繁,却都不是大家期待的R2。不过,一系列前菜已经给R2做足了铺垫。

5月14日,一篇DeepSeek V3论文,揭示了梁文峰是如何做到“极致降本”的。这篇论文也让业界得以一窥这家以技术立身的公司,其“内功”究竟修炼到了何种火候。

与此前发布的V3技术报告不同,这篇论文详细阐述了DeepSeek如何做到在硬件资源的的“紧箍咒”下,通过精妙的“软硬一体”协同设计,将成本效益这笔账算到极致。(虎嗅注:DeepSeek-V3仅使用了2048块英伟达H800 GPU)

AI大模型这条烧钱的赛道上,算力即权力,但也可能是压垮骆驼的最后一根稻草。DeepSeek V3论文的核心,恰恰点出了一个行业痛点:如何让大模型不再是少数巨头的专属游戏?

论文中,DeepSeek毫不吝啬地分享了其“降本增效”的几大秘籍,这些技术细节,字里行间都透露出对现有硬件潜能的极致压榨,也预示着未来DeepSeek系列模型在性能与效率上的野心:

其一,是给模型的“记忆系统”瘦身。AI处理长文本、多轮对话时,需要记住海量的上下文信息,这部分“记忆”(即KV Cache)对显存的消耗极为惊人。DeepSeek V3祭出了“多头隐注意力机制”(MLA),好比给模型的记忆装上了一个高效压缩软件,能将冗长的信息浓缩成精华,大幅降低显存占用。这意味着,即便是处理越来越长的上下文,模型也能更加从容不迫,这对于解锁更多复杂应用场景至关重要。

其二,是打造“专家各司其职”的团队。面对大模型天文数字般的参数量,传统的“一人生万物”模式难免力不从心。DeepSeek V3沿用并优化了“混合专家模型”(MoE)架构。想象一下,一个庞大的项目被分解给一群各有所长的专家,遇到具体问题时,系统会自动“摇人”,只激活最相关的几位专家协同作战。这样一来,不仅运算效率提升,模型的“有效规模”也能在控制之下,避免了不必要的资源浪费。DeepSeek的优化,让这些“专家”间的沟通更顺畅,协作成本更低。

其三,是大胆拥抱“差不多就行”的数字精度。在AI训练中,数字的精确度并非越高越好。FP8,一种低精度数字格式,就像我们日常生活中算账,有时精确到“角”甚至“元”就已足够,不必非要到“分”。DeepSeek V3在训练中引入FP8混合精度,在对精度不那么敏感的环节“粗略”计算,直接效果就是计算量和内存占用大幅下降,训练速度更快、更省电。关键在于,论文证明了这种“偷懒”并不会明显牺牲模型的最终性能。

其四,是铺设更畅通的“信息高速公路”。大规模训练离不开GPU集群的协同作战,GPU之间的数据交换效率,直接决定了训练的整体速度。DeepSeek V3采用了“多平面网络拓扑结构”,优化了集群内部的数据传输路径,减少了拥堵和瓶颈,确保信息流转如丝般顺滑。

可以说,DeepSeek V3的最新论文,更像是一次技术自信的展示。它传递出一个清晰的信号:即便没有最顶级的硬件配置,通过极致的工程优化和算法创新,依然可以打造出具备行业领先潜力的大模型。这无疑为那些在算力焦虑中挣扎的追赶者们,提供了一条更具可行性的攀登路径。

实际上,4月30日,DeepSeek还上了另一道“前菜”。

当时,DeepSeek Prover V2以671B的参数重磅亮相,要知道,DeepSeek上一次发布V2模型的时候仅有7B。对于DeepSeek Prover V2,行业观察者们普遍认为,这是AI在辅助科学发现,特别是挑战人类智力极限的数学领域迈出的重要一步。

而DeepSeek近期的系列动作,放置于当前AI大模型产业的宏观背景下,更耐人寻味。

一方面,我们看到的是头部厂商在模型参数、多模态能力、应用生态上的全方位“内卷”,技术迭代的速度令人目不暇接,资本的热情也持续高涨。但另一方面,算力成本的持续攀升、商业化路径的尚不清晰、以及“智能涌现”之后如何实现真正的价值创造,这些都是悬在所有从业者头顶的达摩克利斯之剑。

在这样的背景下,DeepSeek V3论文所强调的“成本效益”和“软硬件协同”,以及Prover V2所代表的在特定高壁垒领域的深耕,似乎在传递一种不同的信号:在追求更大、更强的同时,对效率的极致追求和对特定价值场景的深度挖掘,可能成为AI下半场竞争的关键变量。

当“大力出奇迹”的边际效应开始递减,当市场开始从对技术本身的狂热转向对实际应用价值的考量,那些能够更聪明地利用现有资源、更精准地切入真实需求、更深入地理解并解决复杂问题的玩家,或许才能在喧嚣过后,笑到最后。

DeepSeek的这些“前菜”,无疑吊足了市场的胃口。人们期待的,不仅仅是一个性能更强的R2模型,更是一个能够为行业带来新思路、新变量的DeepSeek。在AI的牌桌上,这家以技术为底色的公司,显然还想打出更多意想不到的牌。

本文来自虎嗅,原文链接:

相关文章

1700亿规模徘徊近十年!摩根基金,难复当年之勇

1700亿规模徘徊近十年!摩根基金,难复当年之勇

国内公募基金行业,正在经历前所未有的分化。 据中国证券投资基金业协会发布的数据显示,截至2024年12月底,我国境内公募基金资产净值合计32.83万亿元,创出历史新高。在行业快速发展的大背景下,头部机...

「听劝」的小红书,长出了一批00后AI开发者

「听劝」的小红书,长出了一批00后AI开发者

「核心提示」 Cursor+小红书成了00后开发者必备的两件套,也意味着“AI+社区”逐渐成为这一波独立开发潮进行创新的基础设施。 作者 |陈法善 邢昀 一个去年8月才开始接触AI编程,此前毫无基础...

曝华润万家杭州公司要卖,去年净亏惨了

曝华润万家杭州公司要卖,去年净亏惨了

来源 | 地产密探(ID:real-estate-spy) 受消费降级、电商蚕食等冲击,商场确实难做。包括外资的沃尔玛、伊藤等知名品牌都在不断关店,央企背景的也不例外。 据北京产权交易所披露,华润万家...

从球童到对冲基金之王:桥水创始人瑞・达利欧的 “原则” 人生

从球童到对冲基金之王:桥水创始人瑞・达利欧的 “原则” 人生

“痛苦+反思=进步。”——一个曾因自负破产的年轻人,最终缔造了全球最大对冲基金。他是如何从一败涂地到管理1600亿美元资产?他的“原则”为何被硅谷和华尔街奉为圣经? 目录导览 01、底层逆袭(草根起...

“H+A”新路径开启 在港挂牌大湾区企业迎新投资机遇

“H+A”新路径开启 在港挂牌大湾区企业迎新投资机遇

6月11日,港股市场三大指数全线收涨。其中,金融行业上涨1.17%;香港证券ETF收涨3.11%,盘中一度上涨4.48%。消息面上,中共中央办公厅、国务院办公厅日前发布《关于深入推进深圳综合改革试点...

*ST花王:百亿市值腰斩,芯片预期退潮,油箱资产能否撑起保壳重任?

*ST花王:百亿市值腰斩,芯片预期退潮,油箱资产能否撑起保壳重任?

以观后效~ 最近,*ST花王将并购重组玩出了新高度,令各方投资者倍感错愕。 *ST花王成立于2003年,全称“花王生态工程股份有限公司”,2016年上交所上市。随着地产和建筑行业环境发生剧变,花王的...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。
客服微信:BT86616点击复制并跳转微信