铁皮保温

炒股到当今抱歉的云浮铁皮保温工程,即是东说念主。

而智谱的这轮暴跌,确乎如故到需要慎重向东说念主讲明注解的流程了。

7 月 17 日(周五),智谱收跌 28.49,股价报 1107 港元,单日市值挥发过 2000 亿港元。

7 月 20 日(周),股价盘中再度跌 16,跌破 1000 港元。若按 6 月 22 日盘中 2980 港元的历史点缱绻,累计大回撤已过66。

关于智谱的这波"回撤",外界如故有许多说法,但醒成见火索可能来自同业。

7 月 16 号,月之暗面放出了 Kimi K3。总参数 2.8 万亿,原生支撑视觉连合和 100 万 Token 高下文,Kimi 称它为大众个开源的 3 万亿模子。

接下来的几天,多数知说念了。

不外,也即是这周开盘前天,有网友跑到智谱席科学唐杰的微博褒贬区,追问在千问、Kimi 接连完成史诗进化后,智谱还有戏吗?

唐杰只回了句:史诗 Plus。

模子名莫得,发布时间莫得,参数限制也莫得,歧视这块先给足了。

不外,顺着这条褒贬往上翻,还真能找到条时期印迹。

唐杰微博原 po 里先容的,是智谱与清华团队的篇论文——

IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse。

论文 3 月挂上 arXiv,7 月被 COLM 接管。

在 po 文里,唐杰暗示 IndexCache 只改几行代码,就能把 DSA 留住的笔隐支拨削掉。

按理说,篇 3 月上线的论文,到了 7 月又被单拎出来,原来就有点眼,再加上唐杰这种大佬,当今也很少单宣传某篇责任。

细想之下,史诗 Plus 的回答偶合出当今这条时期帖底下。

这……高下文顿时变得神秘起来。

是以,这篇论文和史诗 Plus,到底有什么联系?

IndexCache

简便来说云浮铁皮保温工程,IndexCache 并不是种新的安宁力机制,它主要面向的是长高下文理,贬责 DSA 在高下文变长后,索引器反而成为缱绻瓶颈的问题。

以往 DSA 的想路,是在每层安宁力前放个轻量索引器。

索引器先从竣工高下文里挑出遑急的部分 Token,让主安宁力只处理这些 Token,从而大幅镌汰缱绻量。

但问题在于,诚然主安宁力无谓再看竣工高下文,但索引器仍要扫描遍,况兼模子的每层齐要再行扫描。

由此,高下文越长,索引器越容易从省算力的帮忙,酿成新的缱绻瓶颈。

在论文测试的 30B 模子中,高下文拉到 200K 时,索引器如故占掉 81 的预填充时间。

IndexCache 的调动之处就在于收拢了这个明的重叠当作。

相邻模子层选出的遑急 Token 度相同,top-k 索引重合率达到 70 到 。既然几层挑出的后果差未几,就没必要每层齐再行算。

是以,它的中枢想路即是:少数层负责缱绻索引,其他层平直复用。

在具体竣事面,铁皮保温施工模子只保留少数索引器,算出 top-k 后缓存;其余层跳过缱绻,平直沿用近的后果。

对现存模子,不错证明吃亏变化搜索哪些层相宜保留。

查验新模子时,则让个索引器同期学习作事背面几层。理代码只需增屡次条目判断,也不非凡占用 GPU 存。

实验果上,在 30B 模子上,IndexCache 多能掉 75 的索引器缱绻,模子果基本不变。

200K 高下文下,生成个 Token 前的速率提高 1.82 倍,后续出字速率提高 1.48 倍。

在 GLM-5 上的初步实验中,掉半索引器缱绻后,长高下文和理才调也基本保捏不变。

到这,这篇论文的施行也就差未几收尾了,但这和史诗 plus 有啥联系?

GLM-5.2 如故用过了

诚然唐杰在微博里说史诗 plus,但略缺憾的是,这篇责任的中枢想路其实如故在个月前发布的 GLM-5.2 里用过了。

在 GLM-5.2 里,这套想路名叫IndexShare。

具体的,GLM-5.2 每四个 Transformer 层分享个索引器。层负责选出 top-k 索引,背面三层平直复用。

这和 IndexCache 的中枢想路基本致。上头的论文给出查验搜索、多层蒸馏和竣工实验,GLM-5.2 则把四层分享次索引真的装进了模子。

靠着 IndexShare 等变嫌,GLM-5.2 把高下文窗口到 100 万 Token。在 100 万高下文下,每 Token 缱绻量镌汰 2.9 倍。

而这种工程化开释出的信号,不是智谱准备换掉 DSA,而是还在沿着这条道路不绝榨率。

对模子厂商来说,能不成支撑百万 Token 是回事,能不成以可承袭的资本真的用起来,又是另回事,而 IndexShare 就表理智谱仍在通过跨层复用压低长高下文的理资本。

难不成?这 GLM-5.3,又是致的价比??

One more thing

除了模子软件侧的化外,刚刚,智谱又落下了块重的拼图。

据悉,就在今天 7 月 21 日,智谱已落地 1GW 国产 AI 算力数据中心,并一齐领受国产 AI 芯片。

与此同期,智谱还完成了对国产 AI 异构算力软件公司中科加禾(XCore Sigma)的收购。后者源自中科院缱绻所编译实验室,始终究诘异构算力软件栈和编译化,被业内视为国内顶 AI Infra 团队之。

两项当作,个贬责算力从那儿来,个贬责算力奈何用得。

1GW 国产算力为大模子查验提供资源,中科加禾则通过编译器、Runtime 和理引擎,提不同国产芯片的应用率,镌汰模子查验与理资本。

从 IndexCache、IndexShare,再到国产算力中心和 AI Infra 收购,智谱近补的似乎不仅仅款模子,而是从芯片、软件栈到模子的整条链路。

这些当作和史诗 Plus 有没臆测系,现时还莫得谜底。

但留给智谱的悬念,然又多了层。

史诗 plus,你快来吧!

参考承接

[ 1 ] https://arxiv.org/abs/2603.12201

[ 2 ] https://z.ai/blog/glm-5.2

键三连「点赞」「转发」「注意心」

见谅在褒贬区留住你的想法!

—  完  —

� � 点亮星标 � �

科技前沿发扬逐日见联系人:何经理相关词条:铝皮保温施工     隔热条设备     钢绞线    玻璃棉卷毡    保温护角专用胶

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定,并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方,并积极配合修改。
3.凡用户访问本网页,均表示默认详情页的描述,不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》云浮铁皮保温工程,以此来变相勒索商家索要赔偿的违法恶意行为。