大模子预测验“狼东谈主杀”，是谁偷偷掉队了？

文 |AI蓝媒汇 作家|怡然，裁剪|魏晓

国内最顶尖的这些大模子初创公司，现在站到了该作念弃取的十字街头。

十月初，商场中传出音书，称智谱AI、零一万物、MiniMax、百川智能、月之暗面、阶跃星辰这六家被称为“AI六小虎”的中国大模子独角兽中，有两家公司已经决定冉冉祛除预测验模子，缩减了预测验算法团队东谈主数，业务要点转向AI应用。

所谓预测验，一般指的是欺骗大领域数据对模子进行无特定任务的初步测验，让模子学习到通用的讲话模式、常识和特征等。

好比是给一个还不太懂事的孩子（模子）看大宗贵府（大领域数据），让他在这个流程中束缚学习多样常识、意识多样事物的样子和礼貌（通用的讲话模式、常识和特征）。

自然这个孩子一驱动并不知谈具体要作念什么任务，但通过泛泛学习，会酿成相对全面的常识储备。

之后，如若要让这个孩子去完成特定的任务，比如写稿文、作念数学题等，就不错针对这些具体任务专门优化适配。

但问题是，这种朦胧的大领域测验时常价钱不菲，且流程多有不笃定性，每次基础模子迭代的测验资本动辄就会达到百万、千万以致数亿好意思金这个量级。

在究诘AI行业近况的播客中，Anthropic独创东谈主 Dario Amodei 与挪威银行首席实行Nicolai Tangen曾谈到，自然目前许多模子的测验资本为 1 亿好意思元，但“目前正在测验的”一些模子的资本接近 10 亿好意思元，且这个数字畴昔还会高涨。

Amodei 示意，东谈主工智能测验资本将在“2025 年、2026 年，也许还有 2027 年”达到 100 亿好意思元至 1000 亿好意思元大关，他再次预测，100 亿好意思元的模子可能会在来岁的某个时候驱动出现。

一向激进的马斯克为了让自家 xAI的Grok系列模子自后居上， 更是大手笔屯集了10万张富贵的GPU卡。

关于这些不缺资源的头部玩家来说，预测验是一个必选项。

但对“AI六小虎”而言，中间流程的黑箱特色，重复进入产出比的压力，让预测验的“作念与不作念”，成了摆在目下的一个践诺问题。

预测验，是模子地基，更是大模子公司工夫试金石

预测验的平正可想而知——模子不错取得更泛泛的讲话雄厚才略和基础的智能发达，为后续针对特定任务的微调提供细密的基础。它不错是后续家具研发和应用瞎想的纷乱开端，缩小设备周期，适合不同需求。

以前GPT-3横空出世，预测验流程为其后续在多样自然讲话处理任务中的出色发达奠定了坚实基础。在预测验阶段，GPT-3 使用了海量的互联网文本数据，通过无监督学习的模式让模子学习讲话的统计礼貌和语义常识。举例，在问答任务中，经过预测验的 GPT-3 能够雄厚问题的含义，并凭证其在预测验中学习到的常识生成准确的谜底。

但相对应的，预测验也需要用到大宗的算力资源和高质地数据，以及复杂的算法和工夫。

简言之，预测验的效果取决于两方面：才略和资源。前者对应算法的先进性、数据的质地和领域以及工程师的工夫水对等要素，决定了模子能够学习到几许常识和手段；后者对应盘算资源的进入、数据齐集和处理的资本、东谈主才等，决定了预测验能够进行到何种进度和领域。

OpenAI团队在预测验GPT-3和GPT-4流程中消耗了大宗的算力资源和高质地数据。为了测验GPT-3，OpenAI使用了微软提供的超等盘算机系统，该系统率有超285,000个CPU中枢和10,000个GPU，测验一次的用度高达460万好意思元，总资本约1200万好意思元。

GPT-3的测验消耗了约3640 PF-days的算力，使用了45TB的预测验数据，包括CommonCrawl、网罗文本、维基百科等。

而在测验GPT-4时，OpenAI使用了混杂众人模子（MoE），包含1.8万亿参数，通过16个众人模子来戒指资本。每次前向传播使用约2800亿参数和560 TFLOPs。

据斯坦福HAI连络所发布的AI Index发挥娇傲，OpenAI的GPT-4测验资本约为7800万好意思元。

模子架构和算力需求使得其测验和部署需要大宗的高性能盘算资源，也等于来自英伟达的A100或H100 GPU。

o1发布之后，许多东谈主驱动大谈后测验的遑急性。后测验不错显耀普及模子在特定任务上的性能，但是它无法改变模子在预测验阶段学到的基础特征示意。换句话说，预测验很猛进度上影响着模子性能的基准线和潜在的上限。

LlaMa 67B 与LlaMa 3.1 70B 的模子后测验上限是不同的。同理，如若一个公司能够在预测验阶段测验出优于LlaMa的自有模子，那么与在LlaMa基础上后测验的公司比拟，前者就具备了工夫上的自然上风。

这种上风的竖立，需要工夫才略，也需要算力资源——才略和资源，成为了大模子预测验的两个门槛。

谁祛除？谁掉队？

这里的才略，并非跟自家的上一代模子比拟，而是跟行业现存公开效果比拟，也等于那些头部的开源大模子。

像是由Meta推出、被泛泛调用的LlaMa系列、马斯克旗下xAI公司的Grok-1，以及国内阿里云开源的部分Qwen系列模子，齐已经具备迥殊优秀且全面的基础才略。

而资源，自然指向的是测验末端的进入产出比：如若一家公司奢华大宗资源去作念预测验，得来的效果却比不上那些开源的模子，那络续相持作念预测验就没什么必要了。那么这种测验就纯正的浪费资源，毫无价值可言。这里的资源既包含算力、资金，也包含工夫东谈主才。

无人不晓，国内大模子“小虎”有六七家公司，智谱AI、MiniMax、零一万物、月之暗面、百川智能、阶跃星辰、DeepSeek。在大模子预测验上，各家靠近的辛苦各不调换，近况不一。大致咱们不错从基座模子收获上“窥一斑而知全豹”。

由LMSYS组织的大家大模子竞技场（ChatBot Arena）是大家头部大模子企业同台竞技的泰斗盲测平台。在最新一期的榜单上，按序出现了零一万物的Yi-Lightning、智谱 AI 的GLM-4-Plus以及DeepSeek V2.5，这些模子齐在榜单上取得了出色的收获。

智谱 AI 一向有着“清华系国度队”的名称，背后的主导东谈主物唐杰亦然中国在东谈主工智能和大模子领域颇具话语权和声量的学术领军东谈主物，找融资找算力不在话下；零一万物独创东谈主李开复雷同在AI领域深耕多年，公司早早布局AI Infra，近期也通知了新融资，资金算力齐不能问题；DeepSeek背靠幻方量化，坐拥上万张GPU，也没额外义根由在算力充盈的情况下，祛除预测验。

比拟之下，另外几位玩家的近况就显得有些“拖拉”：

月之暗面从设立第一天起便亮明了ToC的决心，也由此成为多家巨头景仰的对象，目前亦然大模子初创中估值最高的企业。但除初次发布会上发布Moonshot大模子（后更名为Kimi大模子）、并通知聚焦长文本才略以外，月之暗面再未对外涌现更多基座模子的音书。业内更有声息传出，月之暗面的基座模子是在已有模子基础上微调得来的，缝合了多种工程模块后才达到了目前的效果。

而骨子上，大模子预测验除长文本以外，还有诸多工夫点雷同值得攻坚：MoE（Mixture of Experts，混杂众人模子）模子架构、多模态、RAG（Retrieval-augmented Generation，检索增强生成）、SSM（Structured State Space Models，结构化气象空间序列模子）、o1的COT（Chain of Thought，念念维链） tokens、RL（Reinforcement Learning，强化学习）。这些齐需要真金白银与工夫东谈主才的进入，关于发力ToC应用、遴荐在营销获客方面大宗进入的月之暗面而言，络续去作念大模子预测验，进入产出比似乎并不高。

背靠上海国投的阶跃星辰、MiniMax雷同不缺资源。据上不雅新闻报谈，上海国投已经与阶跃星辰、MiniMax签署了计谋勾通条约。

但单就预测验阶段来说，MiniMax似乎靠近着与月之暗面雷同的莫名方位。MiniMax的国外应用矩阵中，Talkie已成为头部出海家具，海螺引起大家细巧，但ABAB大模子很久未有新进展，也莫得在LMSYS等平台上出现。

在各位“小虎”中最晚亮相的阶跃星辰则急于诠释我方的工夫实力，年中密集地发布了千亿参数Step-1和万亿参数Step-2。在阶跃星辰的宣发中，Step-2 万亿参数讲话大模子的模子性能贴近 GPT-4，但在LiveBench、Arena-Hard、MT-Bench等国际泰斗Benchmark上收获仍弱于GPT-4-1107。

越发活跃的阶跃星辰的另一面，则是工夫低调的百川智能。从2023年8个月发布8款模子，到2024年仅发布3款模子，百川智能在基座模子上的脚步在束缚放慢。最新一代基座大模子Baichuan 4遴荐打榜国内交易化榜单SuperCLUE，如LMSYS ChatBot Arena、AlpacaEval 等有学术布景、相对公谈的国际泰斗榜单上，Baichuan大模子却未上榜或未获好收获。

其实，关于预测验“戛关联词止”，并非一种难言之隐的凄怨行径。以致，在刻下的大环境下，关于某些公司来说，是一个极为默然的遴荐。

刻下行业基础模子多余却少有破圈应用家具涌现。锤子多而钉子少。欺骗行业中头部资源、开源大模子去作念调优，出应用家具，求实的遴荐才更能在大模子的红海中找到适当我方身份，勤俭资源同期创造价值。

仅仅在遴荐祛除预测验的同期，也意味着走下了AGI的牌桌，将自家模子和应用的上限拱手让于开源模子。

至此，什么样的玩家，不错留在AI预测验这场豪赌的牌桌，谜底日渐明晰。

预测验成大模子公司灵魂熟识，东谈主才流动时时

从顶端芯片到好意思元投资，中好意思之间在科技领域的竞争会愈演愈烈。LlaMa、Mixtral等开源模子系列畴昔远景如何仍未可知。凭证好意思国政府最新发布的信息，好意思国行将出台甩手某些针对中国东谈主工智能投资的新规，相干规矩目前正在最终审核阶段，瞻望会在一周内发布。

掌抓预测验才略，技艺保证我方不下大家大模子竞争的牌桌。跟着中好意思科技角力的加重，顶尖东谈主才资源的争夺战已然成为焦点，一场围绕东谈主才的计谋较量早已爆发。

有多位永远关注AI领域的猎头反应称，自ChatGPT爆火之后，国内关于AI领域的顶级研发东谈主才的需求继续走高。

国内的东谈主才争夺雷同强烈。如阿里通义千问大模子工夫精良东谈主周畅近期被曝出去职音书；曾任职于旷视连络院的周昕宇遴荐加盟月之暗面；秦禹嘉被曝从面壁智能去职后，2024岁开创立序智科技，数月后加入字节进步大模子连络院。

原滴滴出行AI Labs首席算法工程师李先刚更是被曝在一年多时候内从贝壳跳槽到零一万物、百川智能两家“AI小虎”公司，前阵子被曝又回到贝壳。“猎头圈爆料，他先从贝壳到零一万物，再到百川智能，又回贝壳，每家公司齐只待了几个月。”

2023岁首时曾传出“字节进步以140万好意思元年薪从OpenAI挖东谈主”的据说。2024年6月，李开复曾经在给与媒体采访时示意，我方已经化身天下上最大的AI猎头领受天下上最优秀的东谈主才。随后零一万物便公开表态，已有多位精良模子测验、AI Infra、多模态和家具的国际大咖于数月前加盟。

东谈主才资源的进入在模子预测验方面立竿见影。字节进步自研豆包大模子仍是发布便在业内以高性价比著名。零一万物也被传团队援手，但并未影响到模子进展——仅用了2000张GPU、1个半月时候就测验出了特出GPT-4o（5月份版块）的Yi-Lightning，这亦然目前中国大模子公司在LMSYS榜单上的历史最好收获。

一位资深大模子从业者告诉笔者，预测验东谈主才在顶尖公司之间彼此流动瑕瑜常平淡的景色，OpenAI、Google、微软、Meta、xAI之间亦然如斯。

“一个模子性能要作念到天下第一梯队，况且又快又低廉，让用户齐用得好用得起，需要这个大模子公司的模子测验团队、AI Infra团队齐具备天下顶尖水准，况且要深度共建共创，技艺‘多快好省’地作念出顶尖模子。”上述从业者说，“跟着竞争壁垒越来越高，‘单靠挖一位算法精良东谈主就能措置一切’，这瑕瑜常不切骨子的主意。”

在这方面，国内头部大模子公司亦然“八仙过海、输攻墨守”。阿里巴巴、字节进步自己具备丰富的算力资源， DeepSeek背后的幻方量化曾经豪掷令嫒购置了上万张GPU。零一万物则遴荐从Day 1起“模基共建”，邀请来自阿里、华为等大厂的高管、主干加盟组建AI Infra中枢团队。

英国《金融时报》近期报谈给出了一份“第一阵营名单”，初创“小虎”零一万物、DeepSeek通过MoE模子架构和推理优化，大厂阿里巴巴、字节进步等凭借着工夫、资源测验出了具备国际竞争力的模子，阿里的Qwen、字节的Doubao、零一的Yi、DeepSeek系列模子即便在国外雷同享有极高著名度。

从模子性能的角度来说，相持预测验不仅将模子上限掌抓在了我方手中，同期也紧紧把抓住了推理资本的优化空间。惟一重新到尾走过预测验的路，技艺够真切了解模子架构，与AI Infra团队深度共建，以软硬件协同贴近表面上的最低推理资本。

从应用落地的角度来讲，一个关键点除了资本，还有安全性——模子是否自主可控。与接入开源模子比拟，走过从0到1总计这个词流程的自研预测验模子无疑是愈加安全可控的。关于企业级和政府级客户而言，这少量尤为关键，因为这径直关系到他们的中枢利益和转换。

换言之，不管是从基座模子的角度，照旧从应用落地的角度，预测验才略齐是大模子企业的“压舱石”。而关于预测验自己，经过才略和资源两谈门槛的区隔之后，注定会是一场玩家未几的游戏。因为妙手，本就应该未几。

阿里巴巴、字节进步等大厂入局之后，大模子初创公司在资源方面的弱势一览无遗。也正因如斯，才略方面的遑急性得以突显，如何故各家工夫实力追平资源差距是每家大模子初创公司齐需要念念考的问题。

LlaMa 3.1 405B、Qwen-Max等顶尖开源模子的发布像是一次次的警钟，催促着大模子初创公司尽早作念出遴荐。

算法、AI Infra才略强，能够以多样模式批驳训模资本和推理资本；资源整合才略强，能够撑持公司束缚在模子预测验上作出新尝试。

才略与资源并举，才是大模子期间能全局掌控的“硬主义”。中国大模子“小虎”们谈路已经出现分野，从预测验驱动，工夫最初者已经脱颖而出。有东谈主下牌桌、有东谈主走新路。

仅仅，掉队后再赶上的难度，会越来越高。