能力与成本是两条曲线
模型更聪明只解决“能不能做”,推理成本、延迟和可靠性决定“能不能被大量使用”。
这期跨年特辑不是一个“2023 年 AI 新闻盘点”,而是一位长期在硅谷追踪模型公司的投资人,试图解释这一年为什么突然像一场人类千亿美元级别的科学豪赌。广密从 OpenAI、Anthropic、Google 的模型竞争讲起,逐步推进到数据、GPU、人才、Scaling Law、训练成本、开源、多模态、Agent、VC 和中国公司的位置。下文先按节目顺序把这套论证讲清楚,再审计哪些是当时的公开事实、哪些是嘉宾估算和预测。
嘉宾广密是拾象创始人,节目页面介绍他在 2023 年大部分时间都在硅谷,参与大模型投资和一线行业观察。主持人把整期节目设计成一次“口述”:不从一个公司案例慢慢展开,而是先让他给出 2023 年的主线,再反复追问模型能力、资本、人才、应用和中国市场之间的关系。因为录制在 2023 年末,文中所有“明年”“未来十二个月”和“现在”都指 2024 年前后的判断,不能直接当成今天的事实。
节目里同时存在三种话语:第一是可以用公司公告或技术报告核对的发布事件;第二是广密作为投资人和观察者对 ARR、用户、成本、人才和融资的估算;第三是关于 Scaling Law、AGI、应用爆发和产业格局的预测。正文先完整还原三者怎样在谈话中交织,后文再把它们分层,避免“讲得很有把握”被误读成“已经被证明”。
| 节目时间 | 主持人把问题推向哪里 | 广密给出的回答主线 |
|---|---|---|
| 00:00–12:13 | 为什么全年只盯三家公司,2023 年发生了哪些关键时刻? | OpenAI、Anthropic、Google 构成核心观察窗口;ChatGPT、GPT-4、Claude 2、Gemini、开源和多模态共同把模型带入竞赛。 |
| 12:13–25:53 | 这一年到底卷出了什么,谁进入了 GPT-4 决赛圈? | 能力、用户和资本迅速集中;复刻 GPT-4 是进入第一梯队的门槛,推理能力和少数顶尖研究者是关键。 |
| 25:53–37:35 | 中国与硅谷的差距在哪里,巨头为什么下注? | 硅谷由云厂商、模型公司和终端组成阵营;中国技术辨识度、GPU 和资源集中度不足,叙事更偏商业化落地。 |
| 37:35–49:15 | 是否出现“新摩尔时代”,训练成本为什么越来越高? | 能力提升与成本下降是两条主线;实验成本、失败率、多模态和参数规模让下一代训练成本可能跃升。 |
| 49:15–57:47 | 模型公司和互联网公司有什么不同,壁垒会是什么? | 模型像研究实验室,网络效应和数据飞轮尚未确立;成本、品牌、人才和算力可能先成为隐形壁垒。 |
| 57:47–1:07:14 | 多模态、Agent 和大模型/小模型如何发展? | 多模态需要从头处理复杂数据;Agent 受推理准确率与速度限制;需求分层,小模型有成本价值,但可能由基础模型生成。 |
| 1:07:14–1:20:04 | VC 为什么错过模型,2024–2025 何时出现应用爆发? | 传统 VC 不适合重资产模型,GPU 更像新的生产资料;应用或许要等 GPT-4.5/GPT-5 一两代之后。 |
| 1:20:04–结束 | 美国模型即应用、中国场景、自动驾驶和 OpenAI 政变意味着什么? | 模型与应用的边界可能合并;自动驾驶是较清晰的价值场景;最后回到 Sam、Ilya、全球化和下一代产品形态。 |
节目开场先问嘉宾这一年到底在做什么。广密说,自己的团队把大约九成注意力放在 OpenAI、Anthropic 和 Google 上,因为其他公司带来的信息噪音很多,而这三家被他认为掌握了最核心的秘密。他把投资研究描述成一种非常集中的训练:十个人每天花数小时读论文、看产品、见团队、追踪实验,再把判断反馈到基金和投资组合。
他提到自己在年初只投了两家海外大模型公司,并认为这两家公司后来进入了全球 Chatbot 流量前列;这属于他在节目里的投资回顾,不是本文独立核验的交易档案。这个开场透露了他的观察方法:不是从“全行业有多少模型”开始,而是先寻找能力、人才、算力和产品反馈同时出现的极少数组织,再用它们解释产业。
当主持人问他认为模型公司的短期秘密是什么,他给出几个关键词:预训练数据的配比、Tokenizer,以及如果只能保留一种能力,最重要的可能是 Reasoning。他没有把这些词解释成已经完成的技术定理,而是把它们作为研究团队要不断实验的变量。节目随后从“今年的状态”进入“这一年的分水岭”。
广密先从产品端讲 ChatGPT。他认为 ChatGPT 在很短时间里获得了巨大的用户规模和心智,证明用户对“可直接得到答案的智能”有强烈需求。为了说明它与 Google Search 的区别,他用了一个生活化比喻:ChatGPT 像点外卖,答案已经被整理好;搜索像去菜市场,返回的是一堆链接,用户要自己组合。这不是对搜索和问答的完整技术定义,而是他用来解释入口变化的产品比喻。
能力层面,GPT-4 在 2023 年 3 月成为关键节点。广密把“能否复刻 GPT-4”当成进入决赛圈的门槛,随后比较 Anthropic 的 Claude 2 和 Google 的 Gemini 1.0:在他的时间点判断里,Anthropic 更接近 GPT-4,而 Google 的 Pro 版本尚需继续追赶,Ultra 还未发布。他的意思不是 GPT-4 等于产业终局,而是从 GPT-3.5 到 GPT-4 的难度突然上升,已经足以把模型公司分成不同梯队。
开源是另一条线。Meta 的 Llama 和 Mistral 的模型让更多开发者可以接触到较强的能力,广密承认自己原本并不特别看好开源,却发现开源模型进步很快。但他同时认为,开源的使命未必是训练出全世界最聪明的模型,而可能是把前沿模型溢出的能力民主化,服务那些更关心成本、部署和隐私的企业。
多模态则从图像和视频开始显形。Midjourney 从 V1 到 V6 的图像效果、Runway 和 Pika 的视频生成,以及 Gemini 从多种模态数据出发的训练,都让他把 2024 年的主线押在“多模态”。这里的判断来自 2023 年末,后来真正的产品节奏、模型架构和商业化都可能改变。
主持人问,为什么硅谷模型公司的融资越来越由微软、Amazon、Google 等巨头主导。广密的回答是,训练前沿模型需要巨量资本、GPU、云和人才,但短期商业模式仍不清晰,这与典型 VC 喜欢的轻资产、快速验证和幂律组合并不匹配。模型公司更像研究实验室,成功可能很大,失败也可能把此前的投入全部变成沉没成本。
因此巨头下注不只是买股权。它们同时在争夺入口、云消耗、未来的软件形态和终端位置。微软与 OpenAI、Amazon 与 Anthropic、Google 自己做 Gemini,Apple 和 Tesla 又可能成为终端阵营的关键参与者。广密把它们理解成“敌人的对手就是朋友”的联盟,而不是一张稳定的公司股权表;这些阵营会随着模型、云、终端和产品重新组合。
他把模型产业和搜索做了类比:如果用户逐渐信任问答结果,原来由搜索组织的互联网入口可能被重新分发。对巨头而言,这不是在某个 API 市场里多一个产品,而是原有的搜索、办公、云、手机、汽车和社交业务都可能被重新定义。所以巨头愿意用自己的现金流去买一张仍然看不清的“入口船票”。
在“谁能复刻 GPT-4”的问题上,广密把能力拆成几层。第一层是人才:他认为真正对大模型有实质贡献的研究者数量很少,而且高度集中在少数团队;第二层是 GPU、数据和电力;第三层是研究文化,尤其是允许持续实验、失败和反复追问的环境。
他用“天才科学家的聚集效应”解释为什么普通科技巨头未必能靠采购 GPU 追上前沿团队。模型训练不是简单地把机器和人放在一起,而是要知道哪些数据值得用、如何分配 Token、怎样设置预训练和后训练、哪些实验结果真的意味着能力提升。节目中关于全球研究者数量、不同公司人才密度的数字是广密的估计;他还对部分传统 AI 研究方向做了非常尖锐的区分,这属于个人判断,不是学术共同体共识。
广密强调“实验文化”而不是只追逐一个最终分数。一个模型团队需要有耐心做大量小规模实验,再决定是否发射一次大规模训练;如果训练失败,可能要从头重来。这样的研究节奏与多数创业公司的短期 ROI 期待不同,也解释了他为什么认为模型公司更接近科研实验室,而非一开始就拥有稳定商业模式的软件公司。
节目中最核心的理论叙述是“新摩尔时代”。明线是模型的 capability 逐代提升,可能每一两年解锁一批新的任务;暗线是训练和推理成本持续下降,最终让今天看似昂贵的能力进入更多产品。广密强调,不能只看模型更聪明,也要看同样的能力是否可以用更少的 GPU、更低的延迟和更低的价格交付。
他把训练成本分成两部分:前期九个月左右的小模型实验与试错,以及最后两三个月的大规模训练。这个比例是节目中的科普式估算,不是任何模型公司的公开账本。广密还提到 70B 参数附近可能出现训练难度的变化、GPT-4 使用大量 A100 的传闻、GPT-4 Turbo 的成本下降,以及下一代多模态模型因为视频数据和参数规模而需要更多算力。这些数字和阈值都应作为嘉宾的工程直觉处理。
他据此推演:未来大型模型的训练成本可能从数亿美元进入十亿美元乃至更高的量级,全球几年内可能投入上千亿美元,赌的是 AI 是否能把生产率和全球 GDP 推到一个新的水平,也赌谁能获得新的软件、云和终端入口。这个推演的力量在于它把技术路线和资本预算连接起来;它的弱点也很清楚:只要 Scaling Law、数据可用性、能源、硬件效率或商业变现中的任一环节失效,投入规模不一定会转化为相应回报。
广密认为,硅谷的优势在于技术辨识度高:谁的模型更强、谁拥有关键研究者和实验结果,资本相对容易集中到少数组织。中国的问题则是技术辨识度和领军人物的识别不够清晰,资金、GPU 和人才更容易分散;与此同时,中国创业者和产品团队在场景、工程和商业化上可能有自己的优势。
他因此把中美两种叙事并置:硅谷更愿意谈 AGI、Scaling 和下一代模型,因为巨头可以提供资本、云和长期下注;国内公司更早面对“能不能落地、下一轮钱从哪里来、客户愿不愿意付费”的压力。节目里“每天几亿美金”“未来百亿投入”等说法是投资人对规模的判断,不能当作中国公司的财务统计。
对中国模型公司,他的建议有两类。第一,若没有资源完成前沿登月,就要尽早找到可以借力的巨头、云或场景,类似“提前抱大腿”;第二,不要只复制 ChatGPT,而要思考中国团队在产品、行业、全球化和反馈数据上能否形成模型之外的优势。它不是让所有创业公司放弃基础研究,而是要求把自己的资源位置说清楚。
主持人追问:模型公司最终靠什么长期领先?广密的回答很谨慎。他没有说已经存在像搜索和推荐那样稳定的网络效应与数据飞轮。ChatGPT 有品牌和入口,也会获得用户问题分布,但这些 query 是否能直接转化为高质量训练数据并不确定;模型是预训练的,实时反馈链条不像推荐系统那样直接。
于是他提出几个暂时的壁垒:前沿能力、研究人才、算力获取、品牌心智、训练经验和成本。成本尤其容易被忽略:如果一个团队能把同样能力用更少的 GPU 和更低的推理成本交付,它就可以扩大用户、压低价格、覆盖更多场景,追随者即使能复刻能力,也未必能复刻经济性。
他还把“更早达到 GPT-4”解释为一种反馈优势:更早的团队可以吸引人才和资金,产生更高质量的模型输出数据,再训练下一代模型;但这仍是一种假设性的飞轮,必须证明数据真的有用、用户真的留下、成本真的下降。模型能力本身不是充分条件,没有客户反馈、分发和现金回流,GPT-4 水平也可能只是一项昂贵的实验结果。
广密认为,多模态的难点不仅是把图片、视频和文本放到同一个接口里。视频数据的信息密度、Tokenizer 如何提取关键变化、训练成本和架构选择都还没有解决。语言之所以有较高的信息密度,是因为人类用几百年甚至上千年的语言抽象现实;视频量很大,却不代表里面同样浓缩了可训练的知识。
他对视频生成的短期进步比较乐观,但对长期模型形态保留疑问:Diffusion 和 Transformer 如何组合,视频模型是否会被更强的通用模型吸收,商业上是走 Adobe 式企业付费还是 TikTok/剪映式内容平台,都没有确定答案。
Agent 的问题更容易让人听懂。假设模型每一步推理的正确率是 90%,连续做十步,整体可靠性会快速下降;节目中给出的 30%–50% 是直觉性示例,不是严格的独立事件概率。它说明 Agent 的瓶颈不是会不会调用工具,而是推理准确率、速度、状态管理和失败恢复能否一起提高。只要任何一步出错,长任务就可能变成一串昂贵的重试。
因此,广密既坚持“继续 Scaling 仍然是当前最有希望的路径”,也承认小模型和垂直应用在成本上有合理性。他用北京到天津开车或高铁、北京到旧金山才可能需要更高能力的比喻,说明模型需求是分层的;但他又认为,长期上基础模型可能会生成大、中、小和端侧模型,创业者需要同时考虑今天的成本和明天的模型覆盖。
在应用端,广密认为 2023 年还没有出现足够多的 AI-native 标杆产品。Character.AI、ChatGPT、Perplexity 等被用作少数例子;中国的优势可能在产品和场景定义,而美国一些产品更像“模型即应用”,用户体验的绝大部分由模型决定。垂直基础模型是否有足够数据支撑,也是他怀疑的一点:一个行业的 Token 量可能不足以支持独立 Scaling,通用推理引擎反而会渗透进很多垂直解决方案。
这直接影响 VC。传统 VC 适合投很多轻资产公司,等待少数公司跑出幂律回报;前沿模型却像新的生产资料,需要 GPU、云和长期研发。广密把 GPU 比作土地,暗示未来可能出现更适合重资产模型的债务或基础设施金融产品,而 VC 更适合在应用爆发后投资产品层。基金不是消失了,而是资产类型和投资节奏发生错配。
他把自动驾驶视为相对清晰的价值场景:如果一个 AI 司机能稳定承担驾驶任务,用户可能愿意按月付费;但安全、合规、责任和成本仍是重大障碍。汽车也可能成为端侧算力和生活助手的载体,但他没有把它写成 AGI 到来的证明,只是把它作为“模型能力如何进入真实设备”的例子。
节目的最后一段转向 OpenAI 董事会解雇 Sam Altman 及其回归。广密认为,员工跟随 Sam 可能与股权激励、微软合作和利益结构有关;他希望 Ilya Sutskever 继续留在 OpenAI,也观察到 Sam 更像一个擅长连接政府、资本和行业的政治型人物。主持人进一步问,如果 AGI 真正实现,Sam 会不会成为一种新形态的总统,广密没有给出结论。
这段对话最重要的不是对某个人下判断,而是让听众看到当时产业仍处在高度不确定的状态:模型能力、组织治理、资本结构、国家竞争和个人权力同时变化。节目结束时留下的四类问题分别指向产品形态、数据飞轮、Transformer 的上限、全球化和新终端。它没有把 2024 年写成已知答案,而是把研究、资本和创业者放在一组尚未关闭的实验里。
模型更聪明只解决“能不能做”,推理成本、延迟和可靠性决定“能不能被大量使用”。
它需要人才、GPU、数据、能源和长期实验,传统 VC 的轻资产假设未必适配。
模型能力没有自动产生网络效应;真正的应用需要任务、用户、评价和成本形成回路。
这是本文的解释模型,不是广密原话,也不是财务估值公式。它把节目中反复出现的能力、成本、数据飞轮、Agent 可靠性和产品入口放进同一个检验框架。
| 层级 | 节目中的判断 | 真正需要证明的东西 | 失败方式 |
|---|---|---|---|
| 研究能力 | 少数顶尖科学家、实验文化和大量试错决定前沿能力。 | 实验能否稳定产生新能力,而非偶然的 benchmark 提升。 | 人才齐全但无法复现训练结果。 |
| 模型能力 | GPT-4 水平是进入第一梯队的门槛,Reasoning 是北极星。 | 能力是否跨任务、跨版本、跨语言且可稳定调用。 | 只在榜单或演示上领先,真实任务不稳定。 |
| 经济性 | 训练和推理成本会沿“新摩尔时代”下降。 | 每次能力提升是否伴随单位任务成本下降。 | 模型更强,但 token、重试和人工审核让任务更贵。 |
| 产品反馈 | 今天还没有普遍成立的数据飞轮和网络效应。 | 用户行为是否能产生高质量标签、留存和可迁移资产。 | 流量很大,却没有可用于下一代模型或产品的反馈。 |
| 资本与组织 | 巨头、云和终端会围绕模型结盟。 | 资本投入是否转换为稳定的云消耗、用户入口和现金流。 | 融资规模扩大,但商业模式和责任边界仍空缺。 |
搜索和推荐可以通过用户行为持续优化排序,模型的用户对话却不一定直接等于可训练数据;它们可能有隐私、噪音、长尾和质量问题。相反,训练工程、推理优化、模型蒸馏、硬件利用率和端侧部署都能直接影响每个任务的成本。只要能力差距逐渐缩小,成本就会从财务指标变成产品分发能力:更低成本意味着更低价格、更高频率和更多试错。
十步任务的可靠性示例说明,Agent 不是把一个模型调用十次那么简单。它需要知道每一步的状态、能检查中间结果、在失败后重试或回滚,并且要有人或规则定义什么时候算完成。没有环境和验证器,模型能力只会被长链路的错误概率稀释。
| 主张 | 证据层级 | 本文如何使用 |
|---|---|---|
| GPT-4、Claude 2、Gemini 1.0、Llama 和 Mistral 在 2023 年形成重要竞争节点。 | 公司官方发布、技术报告和节目公开章节可交叉核对发布时间与产品名称。 | 作为 2023 年节目背景,不替代对能力排名的独立测评。 |
| OpenAI、Anthropic、Google 是核心三家公司,GPT-4 是第一梯队门槛。 | 广密的观察框架和投资判断。 | 作为节目论证的中心,不写成行业统一定义。 |
| ARR、DAU、模型融资、训练卡数、GPT-4 成本和未来训练成本。 | 嘉宾口述、传闻或粗略估算,未提供可审计账本。 | 只作为当时资本叙事的材料,不当作财务事实。 |
| 模型能力每一两年提升一代,训练/推理成本按特定倍数下降。 | 节目中的 Scaling Law 预测和经验外推。 | 作为待验证假说;不把固定倍数当作自然定律。 |
| 开源模型会落后于闭源,但能承接前沿能力的民主化需求。 | 嘉宾对模型经济和开源使命的判断。 | 拆成“能力追赶”和“成本/部署价值”两个问题分别分析。 |
| Agent、自动驾驶、AI-native 应用将在 GPT-4.5/GPT-5 后爆发。 | 节目时期预测。 | 明确标注时间边界,不把预测倒写成结果。 |
节目录制在 2023 年末,Sam Altman 事件、Gemini、Claude、模型成本和应用形态都处在快速变化中。本文保留广密当时的思路,使用官方资料只核对发布和公开能力边界;不把后来的产品状态反向塞回原谈话。
在一定实验范围内,模型规模、数据和计算增加与损失/能力变化之间的经验关系;它不是承诺无限扩张的物理定律。
用大规模数据学习通用表示和预测能力的阶段;数据组成、Tokenizer 和训练配比会影响后续能力。
预训练之后通过指令、偏好、强化学习或其他方法塑造模型行为,使它更能按人类任务工作。
模型回答一次请求需要的计算成本;长上下文、重复调用、Agent 规划和失败重试会让真实任务成本高于单次 token 价格。
让模型同时理解或生成文字、图像、音频、视频等不同形式的信息,不只是给接口加几个上传按钮。
围绕目标进行多步规划、调用工具、读取环境并交付结果的系统;可靠性取决于状态、验证和恢复机制。
用户感受到的主要产品体验由模型本身决定,应用层不一定有独立、厚重的传统软件壳。
用户使用产生高质量反馈,反馈改善产品,产品吸引更多使用的循环;模型产品是否天然拥有它仍需实证。
节目对前沿训练的比喻:投入巨大、失败昂贵、少数组织能承担,成功后可能改变整个产业入口。
我认为这期最有价值的地方,不是它是否准确预测了某一家公司的排名,而是它把大模型拆成了两条必须同时成立的曲线:能力曲线和成本曲线。只看能力,模型会停留在榜单、融资和演示;只看成本,便宜的系统也可能没有足够智能。只有当模型在真实任务里变强、变快、变便宜,并能得到可用反馈,研究预算才会变成社会生产力。
广密把 GPT-4 视为“门槛”而不是终点,这个区分也很重要。门槛的作用是筛选出能持续做实验、吸引人才和获得资本的组织;终点则要求模型进入分发、工作流、设备和责任体系。越早达到门槛可能带来人才和资本反馈,但如果没有产品验证,它仍然只是更昂贵的资格证。
前沿模型的真正稀缺品不是单一模型权重,而是“研究—训练—评估—推理—产品—反馈”的连续组织能力。谁能把这条链压短,谁就能把一次科学突破转成可重复交付;谁只拥有其中一段,谁就容易被下一个模型版本重新定价。
本页以完整公开音频、节目公开章节和节目说明为第一材料,按广密与张小珺的问答推进重建 2023 年末的行业判断。连续讲解是释义,不是逐字稿;模型排名、人才数量、ARR、DAU、融资、GPU 数量、训练成本和未来时间表均按嘉宾口述、估算或预测处理。
片头把“墨城”一词重复识别了几次,片尾存在一小段节目外音频误识别;正文依据可听内容、公开章节和上下文校正。本文不把 2023 年的判断更新成当前市场结论,也不构成投资建议。