完整对话脉络
这期《十字路口》中,主播 Koji 对谈香港大学四年级 PhD、小米大模型(MiMo)后训练研究员李磊,围绕“AI 时代如何读好博士”展开。前半场按“读博十问”依次拆解读博抉择、科研打法、顶会审稿危机、自媒体“大粉理论”、冷启动、导师与地域选择;后半场切入小米后训练直播、数据公司估值、递归自我改进(RSI)、Benchmark 设计与 CS 专业降温。
1. 为什么读博:十年后的遗憾与“巅峰开局”
决定读博前,李磊反复权衡过机会成本——工业界与学术界待遇落差悬殊。最终拍板靠一个自问:“十年后躺在床上,会不会后悔没读这个 PhD?”答案大概率是会。在他看来,钱以后可以再赚,但博士提供了一段专心做自己想做之事的完整窗口。
起步极为戏剧化:硕士后期在北大与师弟合作的工作,恰在 2023 年 11 月——入读港大仅两个月、首次参加顶会时——摘得 EMNLP Best Paper,他同期还有另一篇工作录用。这既打消了“能否达到博士考核标准”的打鼓心态,也让他一度担心“出道即巅峰”。Koji 追问后续是否顺利,他评价整体不错,也算验证了自己的科研打法。
2. 核心打法与焦虑应对:快速迭代、难而正确与“锯齿状智能”
李磊把自己的博士打法凝练为两点:一是快速迭代,保持紧凑节奏并频繁向同行(peers)与资深前辈要反馈;二是专选“难而正确”的问题——不够难就竞争者云集、易被超越,“正确”则指社区普遍关注的高重要度问题。
Koji 追问“难而正确通常很慢”与“快速拿正反馈”是否冲突。李磊解释,正因为大家都公认问题极难、多数人无从下手,社区对探索者反而宽容:不必一次彻底解决,只要切出扎实切面给出实验或理论解释,就能成为后续研究绕不开的里程碑并收获正反馈。
谈及 PhD 的现实焦虑,他归纳为三层:顶会审稿系统动摇下的发表与毕业要求;工作意义感危机(例如 Astra 发布后,不少具身智能博士生觉得整个领域被颠覆);以及毕业向工业界过渡的压力。对此他给出两条应对:继续参与投稿就放平心态,相信运行多年的社区仍有韧性;面对前沿模型冲击,切忌被社媒热捧(hype)吓倒——大模型呈现“锯齿状的智能”(jagged intelligence,部分能力极强而另一些基础环节毛刺明显),必须坐到电脑前写代码、搭 harness(围绕模型组织工具、环境与验证的脚手架)亲手跑数据,才能发现台面下的真实缝隙。
Koji 请他举像 Astra 这样的 SOTA 模型的具体毛刺。李磊说团队也在做具身相关实验,很值得追问“这项能力究竟从哪类数据或训练环节泛化而来”;Koji 猜测 OpenAI 一直在采购具身数据,李磊(声明非具身专家)补充,即便如此,模型在模拟器(simulator)与真机上的 gap 及跨场景泛化边界,依然大有可挖。
3. 论文大水漫灌之后:审稿随机性与真实影响力标尺
李磊用自己担任审稿人与 Area Chair(领域主席)的体感描述顶会承压:过去每轮审两三篇,现在动辄十篇;加上科研圈普遍是“DDL 战士”(临近截止突击审稿),同样留半天塞进十篇,评审随机性骤增。NeurIPS 甚至膨胀到设三个会场。社区正靠限投、压实资深审稿人责任和 AI 辅助审稿稳盘,例如 CHAIR-AI 等机制要求两位资深高级程序委员(senior SPC)讨论后再拍板。但有人的地方就有随机性,不能把中不中稿当成唯一 reward。
针对 Koji 提出“用 SOTA 模型批产 100 篇论文赌概率”的 hack 设想,李磊直言这是对审稿系统的 DDoS 攻击(“瞎猫碰上死耗子”),作者未必把假设严密论证清楚。反之,若人机协作真能提出 100 个有价值问题并扎实解答,投不投稿本就无所谓——类似 OpenAI 放出几百个有对有错的数学证明,真正稀缺的是人类花精力核验。
招聘评价也在迁移:论文正退化为 “nice to have”。Koji 疑惑 99 人有论文唯独 1 人没有是否吃亏,李磊反倒欣赏这种 outlier——可能说明对方看透游戏坏了而主动不玩。开源同样存在 reward hacking(用 AI 刷 PR 合并就自称 contributor),因此他会深查代码和数据是否开源、有没有人持续维护 GitHub issues,并紧盯 Hugging Face 下载量:号称 SOTA 却月下载几十次,说明问题不重要。Koji 问下载量能否刷,他笑答“能,但得真把模型下下来存硬盘,硬盘还挺贵的”。
4. “大粉理论”与“搏击理论”:小红书 2.4 万粉背后的分发逻辑
Koji 提到李磊当天小红书粉丝 2.4 万(开玩笑高于论文引用数),李磊干脆把做自媒体列为 PhD 必做项(must-do):一是点赞收藏反馈快,推荐算法能跨校聚拢 research taste 相近的同频人;二是“大粉理论”(粉丝或点赞超引用数)本质是 Attention Is All You Need 的分发显化——早年 ACL 录几百篇还能按关键词全刷,如今顶会四五千篇根本看不完,分发彻底转向论文推荐与社交平台,权重越高作品越容易被看见。顺带他还推了一套“搏击理论”:读博是长跑,身心健康第一,必须强迫自己换脑子。
运营小红书他总结了三条心法(Koji 提炼为“利他、高频、做自己”):
- 利他:靠争议观点容易爆但大家不认人;持续产出对别人有用的内容,影响力才是副产物。
- 坚持:他起初每天发论文笔记几乎不涨粉,坚持当成 daily,直到发了“引用数与粉丝数关系”的内容突然破圈上台阶。
- 做自己:模仿别人很累,不如展现真实状态,粉丝绝对值没那么重要,找到同频交流圈即达标。
他点赞最高的笔记是拿奖、青云奖学金和引用破万那几篇(坦言也沾了推荐算法的光);学术向则包括他们团队较早采用的 On-Policy Distillation(在线策略蒸馏,在学生自身采样轨迹上对齐教师分布)笔记,以及顺手解读戴继峰团队(自然意志)基于小米基模做的 RSI 工作。
5. PhD 从入学到毕业的三道关口
李磊将博士成长划为三阶:第一阶段打齐基本功——先补机器学习、统计、泛化、过拟合等 preliminary basics(当年他们用 TensorFlow 乃至 NumPy、MATLAB 手写 SVM,啃吴恩达 Coursera 课;如今 VLM 的 Patch 切分都与操作系统概念相通,不能因有 AI 就跳过亲手实现);再练 knowledge sharing(论文写作与设计实验论证假设,AI 可作模拟审稿人);最后补上常被忽视的 maximize impact(开源、博客、软件与传播),独立跑通一篇有影响力的工作。第二阶段是 Leadership——感谢孙旭老师早年提醒,要从自己产出内容(generator)转向评议和带教低年级同学(critic),因材施教(自驱强的只需点拨,另一些则需密集贴身指导)。第三阶段是从学术界向工业界转型,进入竞争维度更多的现实环境,他坦言自己仍在学。
6. 零论文零实习如何冷启动:冷邮件、研究博客与“冒泡排序”
李磊本科大二升大三时给老师发了约十封 cold email,仅孙老师一人回复并给了进组实习,叩开发顶会和保研大门;人生首个工业实习 offer 来自金山,源于对方看到他的博客后主动联系(但因他一心做 ML 未接软件开发岗)。如今名教授邮箱塞满申请信、工业界 HC 又稀缺,破局之道是一边顶着无回复与负面反馈坚持 reach out,一边打造可见作品集:偏产品可做不吃大算力的 GitHub 项目、好用的 harness 或创意小应用;偏研究在满屏 AI slop 里,写透原理推导的 Notion research blog 配小实验极具稀缺性——比如 苏剑林,早期博客几乎全是纯数学推导、并无大算力,却提出了沿用至今的 RoPE(旋转位置编码),现为 Kimi 研究员。
他把持续输出比作“冒泡排序”(Koji 呼应“一直 build 就有好事发生”),并援引网络科学著作《巴拉巴西成功定律》强调“聪明地 build”:诺奖得主何时产出代表作全无规律,只能不停发;而大都会艺术博物馆画作流通网络表明,画作一旦进入关键节点的市政博物馆,被顶馆借展的概率陡增——挤进高可达性的关键路径(critical path)至关重要。被问及“拿到大结果”的 PhD 榜样,他立刻点名 UC Berkeley 毕业、后入职 OpenAI 做安全(曾公开复盘 Hugging Face 遭 Swarm 攻击)的 Eric Wallace:idea 简洁,但总能在极佳 position 和 timing 定义好关键问题。
7. 选导师远重于选学校,以及“先慢后快”的节奏
李磊认为选导师优先级远高于选学校:PhD 近似师徒制(国内偏上下级,海外偏 collaborators + supervision);四大名校与 Top 30 或有光环差,但 Top 30 与 Top 50 差别不大,组间方差(variance)大得多。看导师别只盯 Google Scholar、CSRankings 和演讲,更要查毕业生(alumni)去向和组内同学的“精神状态”(圈内有论文极强但人极痛苦的案例),私下问在读和已毕业师兄姐,有条件先做 RA 双向磨合。他自己是在上海 AI Lab 实习时与现合作导师孔令鹏老师共事约半年才确认契合,还顺手夸自家 HKU NLP 与北大计算语言学研究所氛围轻松愉快。
谈到中美百余学者发起、在保研季引发热议的“本科生慢研究倡议”,李磊指出其本意并非反对科研,而是声明不把论文数量当唯一标尺,看重打牢基础后的真实研究产出(能讲清做什么、为什么、怎么做)。至于自己快还是慢,他的答案是“先慢后快”:早年因前期假设没想透、小实验没做足,硬调半年多算法才知假设错了;如今前期密集读论文、找前辈深聊,动手前先抽极小可验证的 minimal hypothesis 端到端跑小实验,前提坐实后再全速拉满 GPU 利用率、借 AI 并行狂飙产出。
8. 三地读博对比、导师创业与本科读博取舍
| 地区 | 核心优势 | 主要摩擦与注意点 |
|---|---|---|
| 中国内地 | 衔接工业界最快,落地与实习路径直接。 | 传统师徒制叠加高校考核与横向项目压力,部分组做法变形,需细筛(亦有平衡得很好的组)。 |
| 中国香港 | 与内地融合紧,独特港口优势吸引的青年学者更有活力。 | 本地生活压力较大,需兼顾科研与节奏。 |
| 美国(朋友反馈) | 紧邻硅谷与美国核心学术圈,契合偏好当地氛围者。 | 签证折腾、CPT 限制实习;李磊笑称“还得耐得住美食寂寞,美国同学回来都要大吃特吃”。 |
PhD 聚会除了学术聊得最多什么?他秒答 Package(尤其博四找工作最现实,低年级则聊方向与工业界痛点)。针对 AI 与非 AI 的 K/I 型分化,他反而乐观:过去学顶尖知识得靠 Coursera、Stanford 课程,今天人人能免费或低价调用 ChatGPT、DeepSeek、MiMo,AI 本质很平权——不是 AI 消灭人,而是善用工具的人淘汰不用工具的人(“会烧火的智人干掉别的人种”),鸿沟间架满梯子,各行各业都需要专家反哺模型。
聊到导师创业,李磊视之为硬币两面:融资后公司能突破高校买卡、招工程师、买数据的枷锁,成为大项目的杠杆加速器;但资本诉求也会层层传导成学生的非学术 dirty work,须按阶段权衡。至于本科就能进 AI Labs 还要不要读博,他把目标一分为二:只为进大公司完全不必——Jason Wei 等许多 OG 研究员甚至高中生都是无 PhD 入行,看的是实力而非学位;但若心怀好奇心,想拿一段相对脱产的 5 年时光补基础、学放大影响、啃别人不做的问题,“人活 80 岁,5 年其实不长”。
9. 2026 年度震撼:Agent、后训练直播、数商估值与 RSI
2026 年带给李磊两大震撼:一是 Agent 范式站到前台——从早年做正负情感分类、机器翻译、写作文,到如今配工具和脚手架自动化触达生活角落并迈向物理世界;二是自家后训练直播,跑超大规模 RL 时切身体验到类似 R1 的全面能力跃升。
谈及小米 MiMo 直播后训练的初心,李磊解释这是为了回击不利于中国大模型的传言、做正向激励:许多团队因 infra 和数据门槛高而不做大规模 RL,他们选择透明直播配开源,既证明路径可行、效果扎实,又借社区反馈补齐短板。上线后海内外反响迥异:国内最受刺激的是页面直接挂出实时消耗金额(“看人民币在燃烧”);海外 X 社区则惊叹于透明度,誉其为首次工业级训练直播,近乎公开完整 TensorBoard,里面丰富的训练 dynamics 对研究者如同一座金矿。
对近两三个月爆火的高估值数据公司(Koji 提及 Unipus、喜马拉雅等),李磊认为不算离谱:算力、数据、人才三要素都不便宜,如今数据复杂度和质量门槛已比早期做题数据跃升多个量级,对应未来 AI 占 GDP 的份额,高估值有其逻辑。但这是场动态淘汰赛:模型能力呈锯齿状,模型厂为抢不可逆的时间窗口愿花钱买数据;能精准找缝隙、招募专家(source expert)并建规模化激励产线的数商优势会放大,反之则会被越来越便宜的模型自产数据挤出局。他点出两条核心 know-how:高质量永远相对于特定模型而言(题太难模型学不会),且必须权衡 PR 价值(酷炫 demo)与经济价值(学会后的真实收益)。
至于一线最热的 RSI,信号正持续变强:广义上模型造数据反哺训练已算雏形,进一步则是让模型在后训练和 ML 研发中自动搜索参数与算法。只要问题定义清楚,模型靠扩展算力(scale compute)搜索极快,困惑度(PPL,衡量语言模型预测不确定性,越低越好)必将持续下降。但最前置的“定义问题”能力(判断什么重要、下一阶段攻哪儿)目前未见突破,仍由人类研究员拍板方向;RSI Benchmark 也尚处早期百花齐放,未形成令他兴奋的共识。
10. 怎样做出有影响力的 Benchmark,以及最后的建议
结合团队代表作 Video-MME,李磊总结好 Benchmark 的三要素:① 测量全新或重要能力——当年学界普遍测 6 秒短视频,他们拉到 1 个多小时,精准卡位 Agent 看懂整部电影的新维度;② 数据源于真实 use case——太 artificial 的题会被强模型嗅出测试痕迹而表现异常;③ 推广与易用性——适配主流评测套件,做到一键启动、一键复现分数,否则难以沉淀影响力。
尾声回到专业选择:Koji 引述 MIT 新生最热变为机械工程、全美四年制本科 CS 入学人数同比下降 8.4%。李磊笑称“一代版本一代神”,初级编码需求确会被 AI 吃掉一部分,但即便不主修 CS,辅修一两门 CS 与编程、掌握 AI 辅助开发也应成为必修课。平行世界里他不会替高三学霸亲弟弟指定专业——“行行出状元”,不必苦卷前 1%,只要和自己比、稳在行业前 20%–30% 且每天进步,处处皆能成才。最后送给焦虑博士生的祝福朴素有力:“Paper 迟早会中的,饭还是得吃,觉还是得睡,没有什么大不了的。”
研究过程拆解:把“先慢后快”落成最小假设闭环
李磊用半年白调算法的教训换来一条铁律:立假设慢,验真后执行快。拆解为四步可复用闭环:
| 阶段 | 核心动作 | 常见反模式 | 推进或止损标准 |
|---|---|---|---|
| 1. 锁定观察 | 亲手搭 harness 跑模型与数据,记录具体“锯齿状”失败。 | 仅凭社媒 demo 或榜单均分臆测上限。 | 稳定复现可定位的失败样本。 |
| 2. 竞争解释 | 写出至少两个可区分的因果假说(Minimal Hypothesis)。 | 默认单一路径正确,直接大训或重构。 | 不同假说在控制变量下导出不同预测。 |
| 3. 极小验真 | 用最低算力与数据端到端跑通鉴别实验。 | 跳过小实验直接全量调参半年。 | 核心假说被证伪则立刻修正或止损。 |
| 4. 极速放大 | 前提坐实后拉满 GPU、用 AI 并行提速,同步筹备开源传播。 | 实验做完只发 PDF,缺代码与复现脚本。 | 形成“结论 + 可一键复现代码 + 传播”交付。 |
某模型在长文档问答上频频答错,研究者怀疑是“关键证据被上下文淹没”,但竞争解释还包括模型未理解题意或缺失外部知识。投入长上下文微调前,可先做低成本对照:固定问答,设四个条件——仅给 3 句核心证据,以及将证据分别置于长文开头、中段、结尾。若短证据仍答错,瓶颈就不在上下文位置;仅当短证据稳定答对、长文特定位置准确率显著跳水时,才值得排查注意力衰减并放大训练。本例仅作方法示意,非嘉宾报告的实验。
独立判断:把建议转成自己的决策框架
1. “难而正确”必须拆成三问
难度、重要性与个人可进入性不是一回事。实操中应先追问:解决它能改变谁的哪项关键能力或决策?现有方法究竟卡在什么机制?手头资源能否拿到足以区分竞争解释的证据?这比盲追热点或刻意避开热门更能指导选题。
2. RSI 的上游断层:会搜索解法,不等于会定义问题
李磊对 RSI 的提醒恰与他的博士选题法呼应:目标与尺子写死后,模型靠规模化算力搜索参数和代码会远超人类;但在最上游,是谁决定了“从 6 秒跨到 1 小时视频”?评估开放式研究能力时,不能只看模型在既定榜单刷多高,还需检验它在相同背景材料下提出的新问题是否独立、可检验且非冗余。
3. 传播权重、真实使用与研究质量须三轨分看
“大粉理论”击中了注意力瓶颈,开源维护与 Hugging Face 下载量也更贴近真实使用。但高互动可能源于叙事清晰或算法偏好,低下载也可能因领域小众或部署门槛高。稳妥评价必须交叉核验复现情况、真实使用反馈与同行尖锐异议,而非把“卷论文数”简单换成“卷粉丝数”。
4. 选导师的核心是把抽象声誉换成具体条件清单
先做半年实习或 RA 是极务实的筛选法。考察期可重点核对六项事实:研究问题由谁提出?假设证伪后能否坦然复盘?反馈周期多长?算力、数据与合作资源是否稳定?导师创业时学术与商业边界如何划?毕业生近三年真实去向如何?结合自身经济与时间约束核清这些条件,远比纠结校际微弱排名有效。
证据边界与资料索引
本文依据本期整场第三方机器转写与官方节目介绍按对话顺序完整重建,未逐字听审原声音频。嘉宾口述的个人经历、审稿体验、模型能力观察、小米后训练直播反响、数商估值与地区签证/CPT 情况均代表其在录制时的观察与判断,未逐项独立核验;个别专有名词(如转写中的 MiMa、CHAIR-AI 及数据公司名称)按原始转写口径呈现。研究过程拆解中的对照算例与独立判断部分均明确标为本文分析补充。