当代模型概要
大语言模型LLM概述
我们现在所说的大模型,一般就是讲的大语言模型(Large Language Model),简称LLM. 大语言模型的大体现在三个方面:
- 参数量大.通常有数十亿到上万亿个参数,我们常常用B作为参数量级单位,1B=十亿参数,当今4B,8B都是小模型了,现在前沿大模型都已经达到T级参数量,也就是万亿参数.
- 预训练的数据量大.涵盖多语言,多领域的庞大语料,所以不同语言直接问大模型,大模型是原生能力回答,不存在翻译层嵌套.这也意味着,如果训练的时候,某种语言的训练不够,那么它的效果可能会不太理想,比如早期GPT,中文效果明显不如英文效果.
- 能力强大.LLM可以跨学科处理各种各样不同种类的问题,翻译,计算,摘要,这些都是它微不足道的部分能力而已.不同于当初alpha go这样的功能单一的模型,大语言模型自从2022-11-30出现ChatGPT正式爆火,无数应用油然而生,包括情感咨询专家,论文代写.再之后有了使用工具的能力,再不局限于训练数据,模型自动判断是否需要网页搜索,大语言模型正式替代了谷歌,百度的核心搜索业务能力.现如今,我相信中国人年轻人使用豆包的频率已经大大超过了百度.
LLM发展历程
讲到大模型,我们就绝对绕不开OpenAI的GPT,是它将大语言模型正式带入我们这个世界. GPT(Generative Pre-trained Transformer)生成式预训练Transform模型.
前传:一切始于 Transformer(2017)
在GPT诞生之前,得先有Transformer.
2017年,Google发表了论文《Attention Is All You Need》,提出Transformer架构.它抛弃了当时主流的RNN那套”一个词一个词顺序算”的结构,改用自注意力机制(Self-Attention)来同时理解一句话里词与词之间的关系.
这套结构最大的好处是可以大规模并行计算,训练飞快,而且特别适合”堆规模”——参数越多、数据越多,效果就稳定地跟着涨.后面我们要讲的所有模型,GPT、BERT、Claude、Gemini、DeepSeek,骨架全都是Transformer.
注:Transformer是理解当代模型绕不开的地基,我在《Transformer架构》和《Attention is all your need》两篇里专门拆解过.这里只需要记住一句话:今天的大模型,本质上都是Transformer模型.
GPT-1
GPT-1是OpenAi于2018年6月发布的首个生成式预训练模型.
它首次验证并推广了”预训练(Pre-traning) + 微调(Fine-tuning)“的训练范式:模型先在大规模无标注语料上进行语言建模预训练,再利用少量有监督数据在特定任务上微调.
这里是有划时代意义的.意义在于以前NLP自然语言处理模型只能处理单一任务,而GPT1推出的这种预训练范式,可以做到一次预训练后,用这个基座模型,就可以通过少量成本的微调处理各种NLP任务了,举例:三种不同任务范式的微调,可以解决三类NLP任务类型,但是基座模型仅仅只预训练了一次.
BERT:同一地基上的另一条路线(2018)
就在GPT-1发布四个月后,2018年10月,Google又放出了BERT(Bidirectional Encoder Representations from Transformers).
它和GPT是同一时期、同一地基(Transformer)上长出来的两种思路:
- GPT只用Transformer的Decoder(解码器),从左往右读文本,擅长生成;
- BERT用Transformer的Encoder(编码器),双向地读整句话,擅长理解.
BERT一出来就在十几个NLP榜单上屠榜,把”预训练+微调”彻底坐实.此后两三年,工业界做分类、搜索、问答,底座清一色换成BERT.
注:这一时期”生成派”的GPT反而没那么受关注,因为当时主流任务是”理解”而不是”聊天”.但历史最后证明,能生成的Decoder路线,才是通往通用助手的那条路.
GPT-2:开始相信”规模就是一切”(2019)
2019年2月,OpenAI发布GPT-2,参数量跳到15亿(GPT-1约1.17亿),并提出一个关键主张:只要模型足够大、数据足够多,它不微调也能直接完成任务,也就是zero-shot(零样本).
当时OpenAI认为它”强大到可能被滥用”,不敢一次性放出完整权重,而是分阶段逐步开源.今天看15亿参数连小模型都算不上,但在当时,这件事第一次让业界认真对待AI能力与AI安全.
GPT-3:大模型”成年”的那一刻(2020)
2020年5月,GPT-3登场,参数量直接拉到1750亿,比GPT-2又大了一百多倍.
真正惊人的不是参数,而是它展现出的上下文学习(In-context Learning)能力:你根本不用微调,只要在提示词(prompt)里给它几个例子,它就能照样子把新任务做出来——翻译、问答、写代码,现学现卖.
这就是后来常说的涌现能力(Emergent Ability):模型小的时候完全没有的本事,规模一过某个门槛,突然就会了.
注:GPT-3也是OpenAI的路线分水岭——它不再开源完整模型,只开放API.从此大模型分成”闭源”和”开源”两条路,一直走到今天.2021年,OpenAI又基于GPT-3做出专攻代码的Codex,支撑起GitHub Copilot,这是大模型第一次真正”上岗干活”.
注:别把它和今天的Codex搞混.2021年的Codex就是一个模型(API名叫code-davinci),只会照着注释和上下文补全代码,不能运行、不能测试;这个模型在2023年就停用了.而2025年OpenAI把”Codex”这个名字复活,给了一个编程智能体——本地终端的Codex CLI和云端的Codex Cloud,它能自己读写代码、跑测试、反复调试直到通过、再提PR,是个agent客户端,背后跑的反而是o3、GPT-5-Codex这些新模型.同名,但根本不是一个东西.
InstructGPT:让模型”听懂人话”(2022)
GPT-3很博学,但有个毛病:不听话,还爱一本正经地胡说八道,有时甚至吐出有害、带偏见的内容.
2022年1月,OpenAI发布InstructGPT,核心是引入RLHF(Reinforcement Learning from Human Feedback,基于人类反馈的强化学习).通俗讲分三步:
- 先让人写一批”标准答案”,教模型该怎么回应;
- 再让模型对同一问题给出多个答案,由人类排序打分;
- 用这些打分训练一个奖励模型,让模型朝着”人类觉得好”的方向强化学习.
这么一调,模型参数没怎么变,却突然变得有用、诚实、无害,能准确领会人的意图.
注:InstructGPT本身没有出圈,但它是ChatGPT的直接技术前身,相当于正式演出前最后一次彩排.请记住RLHF这个词,它是把”会说话的模型”变成”好用的助手”的关键一跃,后来所有对话模型都在用它或它的变体.
ChatGPT:AI的”iPhone时刻”(2022)
2022年11月30日,OpenAI把经过RLHF调教的GPT-3.5套上一个简单的聊天框,ChatGPT上线.
后面的事大家都知道了:它在两个月内做到1亿月活,成为人类历史上增长最快的消费级应用.学生用它写作业,程序员用它改bug,打工人用它写周报——AI第一次冲破技术圈的围墙,直接送到每个普通人面前.
ChatGPT在技术上并非全新的东西,它真正改变的是接口:把原本需要数据集、代码和专业团队才用得上的能力,变成”人人都能开口问”.
注:2022年前后还埋了几条重要线索,一并记住即可——Google的PaLM(5400亿参数)带火了思维链(Chain-of-Thought,让模型一步步推理);DeepMind的Chinchilla论文重新算账,指出模型大小和训练数据量要按比例匹配(缩放定律).它们共同为后面的爆发铺好了路.
GPT-4:差距让人清醒(2023)
2023年3月14日,被ChatGPT搅动的行业又迎来GPT-4.
这是第一个能同时看懂文字和图片的主流模型(多模态),推理、写代码、考试能力全面飞跃,各类专业考试能排进前百分之几.很多人第一次试用后冒出的念头是:这东西和我之间,是不是已经有了难以逾越的差距?
开源的反击:LLaMA与”百模大战”(2023)
GPT-4闭源且强大,但2023年真正改变生态的,是开源.
2023年2月,Meta发布LLaMA,名义上只授权给研究者,权重却很快泄露到网上.整个开源社区像过年:斯坦福用它做出Alpaca(羊驼),网友做出Vicuna(小羊驼)……人们发现,不必从零训练,在开源底座上稍作调教,就能得到接近ChatGPT的助手.
- 2023年7月,Meta发布LLaMA 2,首次允许免费商用,成为西方开源的事实标准;
- 2023年9月,法国公司Mistral用一个7B小模型证明”小也能很强”,年底又放出采用MoE架构的Mixtral,欧洲有了自己的玩家.
几乎同时,中国进入”百模大战”:3月百度文心一言、智谱ChatGLM相继发布;4月阿里通义千问;5月科大讯飞星火;字节的豆包、月之暗面的Kimi(靠超长文本出圈)也陆续登场.做一个大模型,似乎一夜之间不再是OpenAI的专利.
注:为什么2023年突然就”百模大战”了?是两股力量叠加:ChatGPT爆火是发令枪,国内大厂被刺激、加上政策推动,把自研多年的底座加速做成产品(文心、通义、星火发布时LLaMA才刚出,并不靠开源);LLaMA开源是免费地基,再加上Alpaca只用5万多条指令就微调出来,证明”不必从零预训练”,让高校和创业公司也能下场.而InstructGPT始终没开源,是那篇论文把RLHF”怎么让模型听话”教给了全世界.
注:这里要记住一个关键工程概念——MoE(Mixture of Experts,混合专家模型).它把模型拆成很多个”专家”小网络,每次推理只激活其中一小部分,于是总参数可以很大(更聪明),实际计算量却很小(更便宜).这是后来低成本大模型的核心招数.
2024:多模态、开源逼近、模型学会”思考”
2024年节奏明显加快,几条线同时推进:
- 3月,Anthropic的Claude 3(Opus)首次在多项评测上压过GPT-4,这家由OpenAI前成员创立的公司跻身第一梯队;
- 4月,Meta发布Llama 3,开源模型第一次让人感觉”离闭源前沿不远了”;
- 5月,OpenAI发布GPT-4o(“o”即omni,全能),能实时听、说、看,语音对话自然得像真人;Google的Gemini 1.5则把上下文窗口推到百万级token(差不多能一次读完一整本书);
- 12月,中国的DeepSeek(深度求索)发布V3,用MoE架构以极低成本做到一流水平,为接下来的”地震”埋下伏笔.
而2024年最重要的范式转折发生在9月:OpenAI发布o1.
它不再追求”秒回”,而是在给答案前先进行一大段内部思考(思维链)——遇到数学、编程这类硬骨头,会自己反复试错、验算,再给出结果.很多GPT-4做不出的难题,o1做出来了.
注:o1开辟了一条新的提升路线——推理时计算(Test-time Compute).以前只在”训练”阶段使劲,o1证明了在”做题”时让模型多花算力去思考,同样能换来智力飞跃.模型从”脱口而出”变成”先想再说”.
DeepSeek-R1:全球AI的”斯普特尼克时刻”(2025)
2025年1月20日,成立才一年多的DeepSeek发布推理模型R1.
它第一次同时做到了三件事:
- 性能对标OpenAI o1,推理能力站在世界最前沿;
- 完全开源,用最宽松的MIT协议,模型和技术报告全部公开,还允许任何人蒸馏(把它的能力”教”给小模型)和商用;
- 成本低得惊人,以远少于对手的算力做到同等效果.
消息一出全球震动,DeepSeek同时冲上中美应用商店榜首,英伟达市值一度单日蒸发数千亿美元.硅谷投资人称之为AI领域的”斯普特尼克时刻”——它同时打破了两个迷信:“闭源才先进”和”堆算力才有出路”.
注:如果说ChatGPT证明了大模型能干什么,那么R1证明的是——闭源能做到的,开源也能;美国能做到的,中国也能,而且做完还把答案免费发给全世界. 从这一天起,全球开源生态的主角,悄然换成了中国团队.
2025:推理普及、群雄并起
R1之后,“让模型会思考”成了全行业标配,各家密集发牌:
- 4月,OpenAI推出o3、o4-mini,阿里开源Qwen3,Meta发布Llama 4;
- 5月,Anthropic发布Claude 4,主打编程和智能体,Google的Gemini 2.5把推理做进了便宜的快模型;
- 8月,OpenAI发布GPT-5,把”快速回答”和”深度思考”统一进一个模型,并向所有人开放.
进入2025年底到2026年,前沿赛场已没有谁能长期霸榜:Google靠Gemini的原生多模态短暂领跑,Anthropic靠编程和智能体反超,OpenAI又靠新一代GPT追回来——第一名开始轮流坐,而且往往一坐就是几个月.
一张时间线看懂大模型发展史
| 时间 | 事件 | 意义 |
|---|---|---|
| 2017.06 | Google发表《Attention Is All You Need》 | Transformer诞生,当代模型的共同地基 |
| 2018.06 | OpenAI发布GPT-1 | 验证”预训练+微调”范式 |
| 2018.10 | Google发布BERT | 双向理解屠榜,预训练范式被坐实 |
| 2019.02 | GPT-2(15亿) | 主张规模即一切,首次讨论滥用风险 |
| 2020.05 | GPT-3(1750亿) | 上下文学习、涌现;转向闭源API |
| 2021 | Codex / GitHub Copilot | 大模型第一次上岗(写代码) |
| 2022.01 | InstructGPT | RLHF对齐,让模型听懂人话 |
| 2022.11 | ChatGPT | AI破圈,史上增长最快的应用 |
| 2023.02 | Meta LLaMA泄露 | 开源生态被点燃 |
| 2023.03 | GPT-4 | 多模态+推理飞跃 |
| 2023年 | 文心/通义/ChatGLM/星火、LLaMA 2、Mistral | 百模大战,开源可商用 |
| 2023.12 | Google Gemini | 闭源三巨头格局成形 |
| 2024.03-05 | Claude 3、Llama 3、GPT-4o、Gemini 1.5 | 多模态标配,开源逼近 |
| 2024.09 | OpenAI o1 | 推理模型,学会”先想再说” |
| 2024.12 | DeepSeek-V3 | 低成本MoE冲到一流 |
| 2025.01 | DeepSeek-R1 | 开源对标o1,斯普特尼克时刻 |
| 2025.04-05 | o3/o4-mini、Qwen3、MiniMax-M1、Llama 4、Claude 4、Gemini 2.5 | 推理能力全面普及 |
| 2025.08 | GPT-5 | 思考能力成为默认,人人可用 |
| 2025末-2026 | Gemini、Claude、GPT轮番领先 | 前沿交替领跑,终局未定 |
今天的大模型格局
闭源三强:美国巨头的主战场
- OpenAI:先发者和规则制定者,ChatGPT生态最庞大,GPT系列综合能力最均衡,产品化能力最强.
- Anthropic:最凶猛的追赶者,Claude以超长文本、安全可控和顶级编程/智能体能力(Agent)著称,是程序员和企业客户的新宠,增长速度一度领跑全行业.
- Google:手握Gemini、海量多模态数据、自研TPU芯片和搜索/安卓的超级分发渠道,底子最厚,每一轮都有翻盘的本钱.
开源阵营:如今中国唱主角
- Meta的Llama:西方开源的事实底座,生态成熟,商业公司最常用.
- DeepSeek 和 阿里 Qwen:R1之后,全球开源最前沿的接力棒交到中国团队手里.Qwen型号最全、多语言和代码能力强,是全球下载量最高的开源模型之一;DeepSeek代表”低成本做到顶尖”的工程哲学.
- MiniMax:同样是开源主力,M系列(M1/M2/M3)主打推理、编程和Agent,性价比极致,多次登顶HuggingFace热榜.
- Mistral(法国):欧洲独苗,小而高效,在西方云厂商中占有一席之地.
中国军团:应用最热闹,出海最积极
先看C端的真实座次。QuestMobile在2026年一季度的数据里,字节豆包月活约3.45亿、阿里千问约1.66亿、DeepSeek约1.27亿,稳居前三;身后还跟着月之暗面的Kimi、智谱的GLM、讯飞星火等.
MiniMax是其中打法最”全栈”的一家:同一套自研模型,同时撑起面向海外的角色扮演应用Talkie(全球体量最大的生成式AI应用之一)、海螺AI和MiniMax Agent,模型M系列还坚持开源,在Agent和编程上把性价比做到极致.
百度文心一言则是个让人唏嘘的掉队者。它曾是国内第一个对标ChatGPT的产品(2023.3),但C端起了个大早、赶了个晚集——文心独立App如今已跌出月活前十,口碑也被几家新锐盖过;基本盘退守到政务、金融、教育等B端场景,在那里仍有不低的份额.
注:中国军团的整体风格很鲜明——把模型做便宜、把应用做顺手、让开源出海。C端靠产品和场景抢用户,B端靠行业落地,开源则用来换全球生态.
不止语言模型:视频生成,中国领跑
到2026年,“大模型”早就不只是聊天和写文章,图像、视频、语音生成是另一条同样火热的赛道,而这一回冲在最前面的是中国公司.
- 字节 Seedance:初代2025年中登场,2026年2月的Seedance 2.0用统一的多模态音视频架构,支持15秒多镜头、带双声道,直接登顶Artificial Analysis视频榜,力压OpenAI Sora、Google Veo;年中的Seedance 2.5把单条时长拉到30秒,影视、广告、电商的内容生产开始真正被改写.
- 快手 可灵:同样稳居第一梯队,被Adobe Firefly、Runway等海外专业工具主动接入,分拆上市估值上千亿.
- MiniMax 海螺(Hailuo):视频能力也在前列,和它的语言模型共用一套技术栈.
海外的Sora、Veo、Runway曾一度领先,但2026年榜单前列已被中国模型占满,Sora团队转而押注更底层的”世界模型”。图像(字节Seedream、Midjourney、Stable Diffusion、FLUX等)和实时语音交互(SeedRealtime、GPT-4o等)也在同步快速迭代.
注:语言模型解决”理解和思考”,视频模型解决”创造内容”,它们共享Transformer和多模态这套底层方法,却是不同产品.本文历史主线是语言模型,只在这里给视频赛道留个位置.
三个看清未来的趋势
- 从”聊天”到”思考”:以o1、R1为起点,强化学习加推理时计算让模型越来越会解难题,单纯比拼参数的时代过去了.
- 从”聊天机器人”到”智能体Agent”:模型能自己调用工具、搜索、写代码、操作电脑,把一整件事从头做到尾,编程和办公最先被改造.
- 能力民主化,价格暴跌:开源快速追平闭源,API价格一降再降.今天普通开发者花很少的钱,就能用上几年前价值数十亿研发成果的能力.
- 多模态从”玩具”变”工具”:看图、说话、生成图片和视频陆续成为标配,AI开始接管内容创作;视频生成这条赛道,尤其被中国厂商做到了世界第一.
小结
最后用一张图把这段历史串起来:
预训练范式 对齐(听话) 推理(会思考)
Transformer ─► GPT-1/BERT ─► GPT-3 ─► InstructGPT ─► ChatGPT ─► GPT-4
(地基) (一次训练 (规模涌现, (RLHF,听懂 (破圈) (多模态)
多任务复用) 闭源开端) 人话)
│
LLaMA开源/百模大战 ─► o1 ─► DeepSeek-R1 ─► GPT-5 ─► 交替领跑
(生态民主化) (先想 (开源对标o1, (思考成
再说) 斯普特尼克) 为默认)
│
┌─────────────┴─────────────┐
闭源三强 开源主力
OpenAI / Anthropic / Google Llama / DeepSeek / Qwen / MiniMax / Mistral
一句话总结:大模型用不到十年,走完了”从能说话、到听人话、再到会思考”的三级跳;语言模型上闭源与开源、美国与中国站在同一条起跑线,而在视频生成这条新赛道上,中国已经跑到了前面——终局,远未到来.