分享好友 资讯首页 资讯分类 切换频道

DeepSeek的新年礼物mHC是个啥 为大模型训练指路

2026-01-04 02:00250两砚网第一财经

1月1日,DeepSeek在新年前发布了一项重要研究,提出了一种名为mHC(流形约束超连接)的新网络架构。该架构旨在解决传统架构在大规模模型训练中的不稳定性问题,为下一代基础架构的演进指明了新方向。

新论文《mHC: Manifold-Constrained Hyper-Connections》由DeepSeek创始人兼CEO梁文锋及解振达、韦毅轩、曹焕琪等人共同完成。近年来,以超连接为代表的研究拓展了过去十年确立的通用残差连接范式,通过拓宽神经网络的信息传输通道和增加通道间的连接,提升了模型性能。然而,这也导致了大规模训练中的不稳定性、可扩展性受限及内存访问开销大的问题。

DeepSeek的这篇论文针对这些问题提出了改进框架mHC架构。这一架构类似于给超连接的信息通道加了一套“交通规则”,在保留性能优势的同时,恢复了信息原样传递的特性,使模型训练更稳定且更容易扩展,从而推动大模型底层架构的工业化落地。

简单来说,如果将AI模型想象成一个很长的“计算链条”,传统方法的问题在于信息传递时管道较窄,容易造成“堵车”。后来的方法是将管道加宽,虽然信息流更多,但水流过猛有时会冲坏水管。mHC相当于给水管加了“智能调节阀”,确保水流稳定,运行时更节省资源。

DeepSeek表示,mHC为未来研究开辟了多个前景广阔的路径,希望它能重新激发学界对宏观架构设计的兴趣。通过深化对拓扑结构如何影响优化与表征学习的理解,mHC或将有助于突破当前限制,并可能为下一代基础架构的演进指明新方向。

从行业意义上来看,mHC或许能让企业在训练更大规模的基础模型时减少硬件投入、缩短训练周期。算力有限的中小AI企业也能尝试开发更复杂的大模型,降低了大模型研发的门槛。此外,训练稳定性和可扩展性的提升能让大模型在更复杂的场景中落地,如需要超大规模参数的多模态模型和工业级的智能决策系统。

有行业人士认为,DeepSeek的这一研究是底层创新,这次创新的架构看向的是Transformer最基础的问题,结合此前的积累,预测DeepSeek有望在V4版本中做出重大更新。

自2025年初引发广泛关注以来,这一年DeepSeek虽未正式推出R2或V4等重大版本,但在模型迭代与开源上持续发力。仅12月就同步推出了DeepSeek-V3.2与V3.2-Special,11月底也开源了数学推理模型DeepSeek-Math-V2,成为目前首个达到国际奥数金牌水平并开放使用的数学模型。

收藏 0
打赏 0
女子回应抱孩子狂奔躲避藏獒 母爱爆棚瞬间
近日,山东菏泽发生了一起惊险事件。袁女士在家中干活时,突然发现邻居饲养的藏獒因连日雨天潮湿自行挣脱绳索闯入院内,并径直逼近她的孩子。危急时刻,袁女士忘记了恐惧,本能地一把抱起孩子狂奔十几米远。安顿好孩子后,她又果断拿起物品上前驱赶藏獒

0评论2026-06-2311

女子去世银行诉其子还贷被判不偿还 放弃继承权获法院支持
一名女子不幸去世后,她生前贷款57万元购买的房产开始逾期。银行随后将她的儿子起诉至法院,要求在继承遗产范围内偿还贷款本息等诉求。该女子的儿子表示已书面放弃继承母亲的全部遗产,并拒绝偿还债务

0评论2026-06-2311

在长沙街头撞人黄牛已被宰杀 伤者无生命危险
6月21日凌晨,长沙地铁5号线万家丽站4A出口附近发生一起黄牛失控伤人事件,多名网友拍下了现场画面。涉事黄牛属于长沙马王堆海鲜水产市场的一名牛肉批发商户。事发后,该商户主动报警,警方迅速到场处理

0评论2026-06-2311