文本与代码生成

从"概率接龙"到"会思考的引擎"

让机器"理解并产出语言"是 AI 最古老也最艰难的目标。

【1950s-1990s · 规则与统计时代】最早的方案是人手写规则——告诉机器"如果用户说 X，就回答 Y"，代表是 1966 年的 ELIZA。但语言无穷多变，规则永远写不完。后来有了统计语言模型 N-gram：通过分析海量文本，统计"前面是这两个词，下一个最可能是哪个词"。这是"概率接龙"思路的起点，但只能记住眼前几个词，写长了就语无伦次。

【2013-2016 · 神经网络时代】Word2Vec 让词语变成了向量——"国王 - 男人 + 女人 ≈ 王后" 这种神奇的数学关系第一次出现。然后是 RNN/LSTM，让模型学会按顺序读句子、有了短期记忆。但 RNN 有个致命缺陷：必须一个字一个字串行处理，慢得像龟爬，长句子开头早就忘了。

【2017 · Transformer 改变一切】Google 一篇《Attention is All You Need》引爆革命。它扔掉了 RNN 的串行结构，让模型可以一次性"通读全文找重点"——这就是注意力机制。它不仅准，还能并行计算，速度暴增。从此所有大模型的地基都是 Transformer。

【2018-2022 · Scaling Law 暴力美学】OpenAI 的 GPT 系列证明：模型越大、数据越多、算力越猛，能力会"涌现"——突然学会本来没教过的事。GPT-3 (2020) 175B 参数让人惊叹，ChatGPT (2022) 通过 RLHF 让 AI 学会礼貌、有用、不胡说。AI 从此走入千家万户。

【2024-2026 · 推理期算力革命】单纯堆参数变贵了。新的思路是"让 AI 多想一会儿"——OpenAI o1、DeepSeek R1 在回答前会生成大量隐式思考链 (Chain-of-Thought)，自我对抗、推演验证。同时 MoE (混合专家) 架构让万亿参数模型能以极低成本运行。

【今天】文本 AI 已经从"概率接龙"演化为系统性的"推理引擎"。复杂数学、Repo 级代码重构、长论文精读这些过去的弱项，已经成了它的强项。

AI 厂商图谱

技术演进时间线

1. 1966 ELIZA 与规则系统：MIT 的 Joseph Weizenbaum 写了一个聊天机器人 ELIZA，模仿心理咨询师。它的"智能"完全来自人手写的规则模板——但很多人却以为它真的懂自己。这暴露了人类对"看似智能"的容易上当，也宣告了规则方法的天花板。
2. 1990s N-gram 统计语言模型：研究者放弃手写规则，转而让机器从海量文本中"统计"语言规律：前面是这俩词，下一个最可能是什么？这是"概率接龙"的起点，被广泛用于早期翻译和输入法。但它只能看眼前几个词，缺乏长距离记忆。
3. 2013 Word2Vec：词语变成数学向量：Google 的 Mikolov 团队让每个词都对应一个高维向量，神奇地发现"国王 - 男人 + 女人 ≈ 王后"这种数学关系真的成立。AI 第一次抓住了语义的几何结构——这是后来一切大模型的语义底座。
4. 2014-2016 RNN / LSTM：序列记忆诞生：循环神经网络让 AI 能按顺序读完一句话并记住前文，谷歌神经机器翻译 (GNMT) 由此打败统计翻译。但 RNN 必须串行处理、长句记忆衰减，仍然慢且健忘。
5. 2017 Transformer：注意力即一切：Google 八位作者发表《Attention is All You Need》。核心创新：扔掉 RNN 的串行结构，用"自注意力"机制让每个词同时看到全文所有词，权重自动分配。又快又准——这是现代所有大模型的共同地基。
6. 2018-2019 BERT 与 GPT 分道扬镳：Google 推出 BERT 主打"读懂"(用于搜索、分类)；OpenAI 推出 GPT 主打"写出"。两条技术路线分头并进，预训练 + 微调成为新范式。AI 第一次像人类一样能"博闻强识"。
7. 2020 GPT-3：Scaling Law 的奇迹：OpenAI 把模型扩到 1750 亿参数，发现一些原本没教过的能力会"涌现"——只要够大、数据够多、算力够猛。这条经验法则被命名为 Scaling Law，成为后续五年所有 AI 巨头疯狂烧钱的理论依据。
8. 2022 ChatGPT：RLHF 让 AI 懂礼貌：OpenAI 通过基于人类反馈的强化学习 (RLHF) 微调 GPT-3.5，让模型学会回答得礼貌、有用、不乱说。5 天破百万用户，AI 第一次真正走进普通人生活。
9. 2024 o1 与 R1：推理模型崛起：OpenAI o1 和 DeepSeek R1 让模型在回答前先生成大量"内心独白"自我推演，复杂数学和编程能力暴涨。AI 从"快思考"走向"慢思考"。
10. 2025-2026 MoE 与 Agent 时代：万亿参数 MoE 模型 (DeepSeek-V3、Llama 3.3) 让性能和成本同时改善；AI 不再只是问答工具，而开始作为 Agent 自主完成长程任务，与代码、搜索、浏览器深度融合。