原对话:沿提问、回答和转折完整展开
下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:02–00:29:28连续对话 1
00:00:20–00:03:23非典型背景研究员如何自学训练模型
- 你为什么能做成这件事(训练模型)?
- 你的这些东西完全是自学的吗?
主持人曲凯介绍嘉宾逯雨鑫,他以个人身份基于机器稿中未能确认名称的开源底座模型和机器稿中名称未确认的老师模型微调的模型,一度登顶Hugging Face开源模型排行榜。曲凯指出,嘉宾的背景并非典型的AI PhD或AI Lab研究员,而是在完成这个模型项目后才加入AI Lab的,这打破了“训练模型门槛高”的普遍认知。
逯雨鑫回应,他最初因兴趣接触AI,在2022至2023年GPT首次对外开放时便开始使用。他之前担任数据工程师(Data Engineer)的经历让他有机会与AI行业的领军人物交流,加深了对行业的理解,最终选择进入AI领域。他认为训练模型并没有想象中那么难,并将其分为“学术级”和“工业级”两类:学术研究在于拓展思路、探索新方法;而普通人能上手的主要是工业级应用,核心方法是SFT(监督微调)和RL(强化学习)。他认为只要打好基础,尤其在有强大AI工具辅助的今天,人人都可以逐步掌握。
关于学习路径,逯雨鑫确认,他的基础知识主要靠自学,后续的研究生学习则帮助他夯实了基础并指明了方向。他强调,只要方向正确,自学是完全可行的。
话题推进:在确认了嘉宾的背景和学习路径后,主持人接着询问了训练这个模型的具体成本。
00:03:23–00:06:08两周数百美元,个人如何低成本训出高分模型
- 这个模型大概花了多少天,多少钱的成本,或者用了多少卡做出来的?
- 所以总的算起来其实你就花了几百刀?
- 训出来这个模型最后的效果大概是怎么样的?
- 你觉得你身边做这件事的人多不多?是我们有盲区其实大家已经都在做了还是确实不多?
主持人曲凯询问模型训练的具体成本。逯雨鑫介绍,他复现的是一个基于机器稿中未能确认名称的开源底座模型 42B的模型。第一代模型耗时约5天,第二代耗时约两三周。
在金钱成本方面,嘉宾透露成本极低。他使用了:
1. 一张5090显卡,通过QLoRA技术进行训练。
2. 一个价值200美元的按嘉宾所述用于生成数据的订阅服务订阅会员,用于生成特定领域的“靶向数据”。
3. 来自Hugging Face社区关注者提供的关于机器稿中名称未确认的老师模型的珍贵真实使用轨迹数据(Real Trace Data)。
他估算,如果只是想在特定领域提升模型能力,硬件成本(租用显卡)不会超过100美元,因为租用5090显卡每小时仅需一两美金,而实际训练迭代几次也只需十几个小时。总成本确实只有几百美元。
关于模型效果,嘉宾称,他的模型在Agentic(智能体)领域,对比机器稿中未能确认名称的评测的Benchmark,将分数从原版的约15分提升到了55至60分。但他补充,这种针对特定领域的提升,通常会伴随模型在其他Benchmark上表现的下降。主持人总结,这相当于用一个更强的“老师模型”(如机器稿中名称未确认的老师模型)生成合成数据,通过SFT(监督微调)蒸馏出一个在特定领域表现优于原始基础模型的小模型,嘉宾表示认同。
最后,主持人好奇为何这种低成本、高回报的实践没有普及。嘉宾确认,目前做这件事的人确实不多,主要原因是大家普遍认为训练模型非常复杂,但这其实是一种误解。
话题推进:既然训练模型并不像大众想象中那么复杂,主持人便邀请嘉宾完整地介绍一遍个人训练模型的具体流程。
00:06:08–00:11:33个人训练模型的完整流程与核心难点
- 你能不能给我们大概完整的讲一下说从你想做这个模型开始,到把它做出来,中间大概是分了哪几步,然后你是怎么做,中间可能遇到哪些问题怎么解决之类?
- 这里面你刚提到那些流程里面,是不是大多数都是有第三方的开源的一些工具啊架构啊什么的,是可以直接用的?
- 这个过程当中,你所有的是不是用的Cloud或者Codex这种吗?
- 大家经常在讲就这个训模型,其实挺重要的是说你我要有环境啊,要有自己的Benchmark啊之类的,但我听起来其实还是你刚才强调的,如果只是一个工业级别的去使用的话,这些可能也不是特别重要是吗?或者就直接用第三方的就OK对吧?
应主持人请求,逯雨鑫详细拆解了个人训练模型的完整流程:
1. 明确目标:首先要确定自己想做什么,而不是盲目追逐热点。例如,如果为公司业务服务,就应围绕业务需求来构思。
2. 选择底座模型:需要根据具体需求选择合适的模型架构。嘉宾举例,他使用的机器稿中未能确认名称的开源底座模型 42B模型在中文处理上表现很差,量化后的12B版本甚至常说粤语。因此,若面向中文场景,应选择“千问”这类模型。
3. 构建数据管线:这是最关键的一步。数据来源有几种:
a. 合成数据:可以用一个强大的模型(如GPT-5.6)扮演用户,另一个模型扮演应用,生成对话数据。
b. 开源数据:Hugging Face和国内的ModelScope(魔搭)等平台有大量优质开源数据。
4. 选择后训练方法:工业界最流行的是SFT(监督微调/蒸馏)和RL(强化学习)。嘉宾认为SFT效果更好、更实用,而RL等其他方法(如OPD)对个人和应用公司来说成本过高。
5. 迭代与评估:训练出模型后,需通过Benchmark或实际测试来评估效果。分析错误案例,找出问题原因,然后返回数据端进行迭代优化,直至发布。
嘉宾强调,整个流程非常简单,熟悉者几天即可完成。他认为,像从机器学习基础开始学起的很多基础知识,对实践而言并非必要。整个流程中95%的时间都花在了数据上,对数据的洞察力是真正的难点和卡点。
主持人追问流程中的工具和环境问题。嘉宾确认,从训练脚本、开源数据到Benchmark,几乎所有环节都有现成的开源工具可以直接使用,个人只需少量修改。他个人项目主要使用Claude进行规划,而不太喜欢用GPT(Codex)做规划,认为后者更适合执行写代码任务。对于训练环境,他表示也可以通过如E2B等服务以便宜的价格在云端解决,无需自己搭建。
话题推进:嘉宾反复强调数据是整个流程中最核心、最耗时的部分,主持人因此将话题聚焦于数据处理的具体细节和难点。
00:11:33–00:17:17数据处理的实践:合成数据的局限与Capacity Gap
- 你觉得做数据这块到底具体的一些难点啊,一些复杂的地方在哪?然后你大概是遇到哪些问题怎么解决的?
- 你看你第一版是花了几天的,对吧?第二版是两周,然后这里面大概有多长时间是在做数据这块?
- 你测起来就觉得说到底是多少条的数据是比较合理比较好的吧?以及这里面到底真实数据跟合成数据的比例是怎么样?
- 我们之前交流的时候,大家也提到过类似问题,就是好像大家很难纯靠看数据本身来知道结果,对吧?因为你训出来之前,大家也不知道怎么样的数据是好的,它最后效果到底会怎么样啊?我们这块你的经验是怎么样的?
主持人深入询问数据处理的难点。逯雨鑫首先指出,单纯依赖合成数据效果并不好。合成数据的主要价值在于“靶向治疗”,解决模型特定的问题。他举例,机器稿中未能确认名称的开源底座模型 42B模型存在“过度自信”的问题,即在任务未完成时就错误地宣布完成。针对这类问题,很难在公开数据或真实使用数据中找到现成的解决方案,因此需要合成专门的数据来纠正。然而,大部分数据最好还是来自真实使用场景,例如机器稿中名称未确认的老师模型的真实使用数据,以及社区贡献的数据。
在数据处理的具体难点上,嘉宾认为最大的问题是现有模型合成数据的能力还不够好,经常出错,需要大量人工审核。他提到,自己V2版本耗时两周,其中12天都在做数据,而V1版本5天里有3天在做数据。例如,一个5000条的数据集,他可能需要亲自审核500条。即使明确指示AI(如Claude)生成“治疗过度自信”的数据,结果也往往不符合要求,需要反复沟通、迭代,这个过程非常耗时。
关于数据量和配比,嘉宾透露,他的项目中真实数据占比约为60-70%,其余为靶向合成数据。他总共准备了近一万条数据,经过筛选和整合,最终实际用于训练的是几千条的量级。
主持人提到一个普遍痛点:无法在训练前仅通过观察数据来准确预测模型效果。逯雨鑫表示认同,他认为没有捷径,只能一版一版地测试。如果在数据准备阶段就发现问题,可以确定该次训练会失败。但即使数据看起来完美,训练结果也可能不理想。他引入了“Capacity Gap”(能力差距)的概念来解释这一现象:老师模型(如机器稿中名称未确认的老师模型,可能是3T以上参数规模)的能力远超学生模型(如12B的小模型),导致学生模型无法完全学会老师的知识。因此,必须通过反复迭代测试,观察是否有明显提升,并判断失败是否源于这种能力差距。他最后强调,做数据最需要的就是耐心,不要因为一次失败就放弃。
话题推进:讨论完数据处理的细节后,主持人转向了另一个核心技术环节——蒸馏,询问嘉宾对不同蒸馏路线的看法。
00:17:18–00:22:55如何“聪明地蒸馏”以及选择最少坑的开源模型
- 蒸馏,因为你实际做过嘛,大家过去几年一直有各种讨论,觉得说这个什么软蒸啊,硬蒸啊,聪明的蒸,不聪明的蒸,你觉得你这种现在算是怎么个蒸法?
- 这个好坏到底是怎么定义,是按结果去定义吗?还是什么?
- 再问一下,在整个这个过程当中,还有什么你觉得有什么坑是大家需要去注意的?
主持人询问关于“蒸馏”的路线选择。逯雨鑫解释,蒸馏有多种方法,如on-policy和off-policy。他通过在多台H200服务器上的大量实验得出结论:SFT(监督微调)是解决核心问题的最强方法,而其他方法如OPD或强化学习(RL)只是“锦上添花”。他认为,自己采用的结合靶向数据和优质公开数据的SFT方法,可以算作一种“好的蒸馏”。
对于如何定义“好”的蒸馏,嘉宾提出了一个核心观点:关键在于“锚点”是否与目标一致。如果目标是提升模型的安全边界,但数据和训练方法却锚定在提升某个Benchmark分数上,这就是“不好的蒸馏”。反之,只要蒸馏的方向与你的最终目标一致,无论Benchmark分数是否下降,都算是“好的蒸馏”,所用的数据也都是“好数据”。他强调,对于应用公司和个人开发者而言,目标是解决实际问题,而非像AI Lab那样为了“考试”(打榜)而优化。他的个人项目之所以成功,正是因为它锚定了用户真实高频使用的Agentic(智能体)和Coding(编程)能力,而非单纯追求Benchmark分数。
在成本方面,嘉宾估算,应用公司训练一个想要的小模型,成本约在几千到一万人民币;若是大模型,则可能需要十几万到二十万。他提到,这只是训练成本,后续的推理(Serving)成本会更高,涉及更多技术细节,但对于小规模应用(如十几人团队内部使用),按嘉宾经验,小团队内部使用可以从较少的推理资源起步;实际吞吐与延迟仍需按负载测量。
最后,关于避坑经验,嘉宾分享了两点:
1. 坚持不放弃:每个环节都有坑,需要耐心迭代。他以自己早期微调武侠小说模型的经历为例,说明要坚持下去。
2. 选择合适的底座模型:他强烈推荐使用阿里的“千问”系列模型,认为其在部署、脚本、Infra等方面是目前小模型中“坑最少的”。相比之下,机器稿中未能确认名称的开源底座模型或最近新出的机器稿中未能确认名称的模型等模型,因架构非主流,训练过程会复杂得多。
他总结,只要不过于迷信AI的自动能力,多参考社区的成功案例,并及时查阅资料,个人完全可以成功训练模型。
话题推进:在详细探讨了个人训练模型的全流程和关键点后,主持人将话题引向更宏观的未来趋势,探讨训练模型是否会成为公司的标配。
00:22:55–00:29:28主权AI兴起:训模型会成为商品和公司标配吗?
- 你觉得今天整个市场上上面,有你这个能力,就一个人能SFT出来一个类似你做那个模型的,大概会有多少人?
- 所以你觉得未来啊,训模型这件事,会变成一个像互联网、移动互联网时代的一个每个公司有一个标配的那么一个团队跟配置吗?
- 我不知道现在有没有啊,或者为什么没有人做一整套的Pipeline把这些结合起来,提供一个完整的服务?
- 你说的AI Lab会减少,是说它的价值是吧?
主持人询问具备独立SFT模型能力的人才数量。逯雨鑫认为,这样的人其实不少,但更多人把这件事想得太复杂了。他希望通过这次分享,能鼓励更多人尝试,共同建设社区,并证明AI的门槛并不高。
接着,主持人探讨未来趋势:训练模型是否会成为公司的“标配”?嘉宾认为,中大型公司完全可以组建一个三四人的小团队来做这件事,成本主要在人员薪资和硬件上。他预测,目前因供不应求而昂贵的显卡和内存,未来随着供应增加,价格会大幅下降,就像手机流量从按MB计费到无限量一样,这将进一步降低公司自训模型的成本。对于没有预算的小公司,未来可以向专业的AI Lab采购定制模型服务,届时价格也会比现在低很多。
主持人进一步设想,既然各环节都有开源方案,为何没有一个将所有流程打包的“一站式”商业服务,让每个人都能轻松训模型?嘉宾透露,这正是除头部AI Lab外,许多公司正在努力的方向。海外的Unsloth已经在Hugging Face上提供了类似服务,但价格较贵。国内公司也在尝试,但面临Infra和Serving端的挑战。他认同,未来“训练模型”本身会成为一种商品化的服务。Hugging Face Jobs平台就在做类似尝试,但目前因Infra不成熟,坑还比较多。
最后,话题转向“主权AI”和AI生态的演变。主持人观察到,无论是数据公司(如Scale AI)、应用公司(如Harvey)还是Infra公司(如Fireworks AI),都在亲自下场训练模型。这是否意味着未来“模型公司”的概念会消失?
逯雨鑫认为,AI Lab的数量确实会减少,或者说部分AI Lab的价值会降低。他的逻辑是,对于初创应用公司(如一个健身打卡APP),首要任务是主营业务,直接组建AI团队的效益不高。这类公司在发展初期可以向AI Lab采购服务。当公司成长到拥有数百万甚至千万用户时,再建立自己的AI团队。因此,未来会留下一些真正强大的AI Lab,提供这类外包服务。
主持人对此提出不同看法,他认为如果未来出现了成熟的、低门槛的训练平台,应用公司自建AI能力的门槛会比嘉宾预想的更低,就像今天的前后端开发一样。他观察到,顶尖AI Lab正转向更前沿的科学探索(AGI for Science),而基础模型能力在现有Benchmark上已趋于饱和,这为应用公司自己动手提供了空间。
话题推进:本段对谈从个人实践扩展到行业趋势,讨论了模型训练的普及化、商品化以及“主权AI”背景下AI Lab与应用公司之间关系的变化。对话为后续更深入地探讨AI Lab的未来价值和Local AI的机会奠定了基础。
00:29:28–00:46:37连续对话 2
00:29:28–00:36:50AI Lab与应用公司的未来分工:数据决定价值流向
- 主持人如何看待AI Lab与应用公司的未来关系?
- 主持人如何理解AI Lab高价购买数据的行为?
- 嘉宾为什么在看好应用公司前景的同时,自己选择加入一家AI Lab?
主持人曲凯首先提出,未来开源模型可能足以解决大部分日常问题,因此大型AI Lab的核心价值将回归到探索更高智能(如AGI)和解锁全新应用场景上。而对于现有的大部分应用场景,公司可以基于开源模型自行训练内部模型来解决问题。
嘉宾逯雨鑫表示认同,并补充说中大型企业已经开始这么做了。他预测,未来AI Lab的主要职能将是研究,同时可能为小型公司提供模型训练平台服务(serving),让小公司可以上传自己的数据和脚本进行训练。不过,他认为数据依然是核心环节,对于没有能力处理数据的小公司来说,直接训练AI仍有困难,这部分可能还是需要AI Lab来解决。而有自有团队的中大型公司则没有这个问题。
曲凯引用了美国红杉资本的一篇文章,提出一个观点:未来的AI应用公司可能会演变成“新实验室”(Neo Lab)。逯雨鑫认为这很有可能,行业领先的应用公司(例如在法律或商业领域的大模型应用公司)会基于现有模型进行迭代,从而成为新的“Neo Lab”。曲凯将此与推荐算法时代类比:没有一家中立的第三方推荐算法公司能做大,最终胜出的是那些拥有应用场景、商业闭环和一手用户数据的公司。双方达成共识,数据是决定模型表现最核心的资产,而与用户直接接触的应用公司拥有最真实、最有价值的数据。
曲凯分享了他的观察:尽管当时(录制前几周)国内创投圈普遍看衰AI应用,认为“模型知道一切”,但他最近的交流让他改变了看法,转而认为应用公司才是下一个“Neo Lab”。他判断,短期内AI Lab和应用公司的价值会同步上升,但未来某个时间点,价值会从模型端向应用端让渡。逯雨鑫进一步阐述了这种“反转”:AI Lab会向上游走,专注于更前沿的研究和预训练(pre-training),而将后训练(post-training)环节交给应用公司。应用公司出于保护自身数据和行业地位的动机,会接管后训练,甚至可能向更小的公司提供API服务,形成自己的商业模式。
基于此,曲凯表示理解了为何AI Lab愿意花大价钱购买数据。他类比移动互联网早期字节跳动高价买用户的行为,当时看似昂贵,事后看却是成本最低的时期。他认为数据资产同理,AI Lab现在是在数据成本尚低时尽可能多地囤积资源。逯雨鑫解释了用户数据为何宝贵:用户与AI的每一次交互,尤其是那些AI成功解决实际问题的对话,都是极高质量的训练数据。AI Lab通过免费提供模型服务,不仅是宣传,更是在收集这些宝贵数据以迭代下一代模型。
最后,曲凯好奇嘉宾为何最终选择加入一家AI Lab。逯雨鑫解释,他相信总会有AI Lab能成为最终赢家,特别是那些专注于研究和预训练的。他指出,像Kimi、智谱等公司的核心价值正是应用公司难以企及的预训练能力,因为预训练需要极高的算力成本(如128卡甚至更多的B300,持续数月)。同时,他也提出了一个风险:如果未来AI Lab不再开源模型,对应用公司将是毁灭性打击。因此,他建议有能力的应用公司应从现在开始就着手进行模型的后训练和迭代。
后训练 (post-training)在本对话中,指在已经完成大规模预训练(pre-training)的基础模型上,利用特定领域或任务的数据进行进一步的训练,以优化模型在特定场景下表现的过程。主要包括监督微调(SFT)、蒸馏(distillation)等技术。输入是基础模型和高质量的特定数据,输出是针对特定任务的优化模型。
Local AI指在用户的个人设备(如电脑、手机)上本地运行的人工智能模型,而非通过网络调用云端的模型服务。其核心特点是数据不离开本地设备,从而保障了数据隐私和安全。输入是用户的本地指令,输出直接在本地生成,不经过第三方服务器。
SOTA (State-of-the-Art)“最先进”的缩写,在对话中特指当前技术水平下,由顶级AI Lab(如OpenAI, Anthropic)开发的性能最强大、表现最好的前沿大模型。
拒答 (Censorship)对话中用“拒答”或其英文“Censorship”来描述大模型因安全、伦理或政策限制,拒绝回答或处理某些特定类型(如网络安全、生物敏感信息)问题的行为。嘉宾提到的“巨大”应为“拒答”的谐音或口误。
话题推进:主持人认为只要存在竞争,开源就不会消失。随后,他将话题转向另一个热门类比:AI是否会像计算机一样,从少数巨型机演变为人人拥有的个人电脑(PC),引出关于Local AI的讨论。
00:36:50–00:46:37Local AI的兴起:隐私、成本与SOTA模型的权衡
- AI会不会像计算机从大型机发展到PC一样,最终演变成人人拥有一个本地运行的个人模型?
- 用户最终是否还是会追求SOTA(State-of-the-Art)级别的智能,而非性能稍逊的Local AI?
- 隐私保护在多大程度上是用户的真实需求,会不会因为便利性而被用户忽略?
- 能否通过在SOTA模型上增加网络安全(Cybersecurity)功能来解决隐私顾虑,从而替代Local AI方案?
主持人曲凯以计算机从巨型机演变为个人电脑(PC)的历史作类比,询问AI是否也会走向“人手一个模型”的未来,即在个人设备上本地运行的“Local AI”。
嘉宾逯雨鑫对此持肯定态度,认为这已是明确趋势。他指出,驱动这一趋势的核心动力是数据隐私。用户通过API调用云端模型时,数据会被上游服务商看到。他特别提到,市面上一些廉价的API“中转站”服务存在贩卖用户数据的风险,他身边甚至有AI Lab因此遭遇数据泄露和黑客威胁。因此,为了保护数据,用户和公司会倾向于Local AI。同时,随着芯片技术(如英伟达和国产芯片)的发展和个人电脑硬件的升级(例如苹果未来可能推出2TB统一内存的电脑),在本地运行强大模型(如GPT-5.2级别)将成为可能,届时用户无需再调用云端API。
在曲凯准备结束时,制作人陈皮插入提问,提出了一个关键的挑战:用户对智能的追求是无止境的,他们最终是否还是会选择能力最强的SOTA(State-of-the-Art,即最先进)模型,即便本地模型的性能“已经够用”?逯雨鑫承认这是个好问题,他自己目前使用Local AI的频率也不高,因为其表现确实不如SOTA模型。但他强调,对于数据高度敏感的领域,Local AI是刚需。他从Hugging Face社区收到的反馈显示,网络安全(Cybersecurity)和生物研究等领域的用户非常需要Local AI,因为SOTA模型在处理这些领域的专业问题时经常会“拒答”(Censorship)。在这些场景下,用户只能选择本地部署模型。
此外,他从经济角度分析,本地模型运行在自己的设备上,属于“沉没成本”,长期使用是免费的;而调用API则需每月支付20-30美元。对于小说写作等Token消耗量巨大的场景,使用云端API可能花费数千甚至上万元,而用Local AI则能极大节省成本。因此,隐私、成本和特定领域的可用性是Local AI的核心优势。
陈皮进一步追问:隐私真的是用户的“真需求”吗?毕竟人们在使用各种APP时已经习惯了数据被获取。另外,能否通过为SOTA模型增加安全功能来解决隐私问题,而不是让人人都用Local AI?逯雨鑫以Hugging Face自身遭遇攻击后,因主流SOTA模型(如Claude、GPT)拒答相关安全问题,最终只能采用国产模型进行本地部署来解决问题的案例,力证在某些关键场景下,SOTA模型的局限性使得本地部署成为唯一选择。他重申,即使SOTA模型声称解决了某些领域的拒答问题,在其他领域(如生物研究)仍会遇到。当多个可选模型都非最顶尖时,用户自然会选择一个中等水平、可以本地部署、数据自己掌控的方案。
最后,曲凯总结道,大部分普通用户(比如“豆包”的用户)最终可能还是会选择最方便、性价比最高的方案,而不会刻意追求SOTA或纠结于隐私。推动Local AI普及的关键力量,可能并非来自个人用户的自主选择,而是来自苹果这样的平台方和应用公司。因为应用公司与模型公司之间存在天然的竞争关系,它们有动力通过推广端侧模型来保护自己的数据和用户。
话题推进:主持人认为嘉宾的分享提供了很多非共识但符合趋势的观点,并感谢嘉宾的时间,节目进入尾声。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。
主要论证:观点怎样由经历与例子支撑
个人或小团队低成本训练专用模型是完全可行的,其核心瓶颈在于数据工程而非算法或算力。
逯雨鑫 · 00:03:23-00:06:08;00:06:08-00:11:33;00:13:39-00:15:06
嘉宾以亲身经历为例,他使用一张5090显卡(可租用,成本低于100美元)、Claude订阅(200美元)和社区提供的真实数据,在两三周内完成模型训练。他将流程拆解为:定目标、选模型、做数据、选方法、迭代评估。其中,训练脚本、Benchmark等环节均有成熟开源工具,真正的难点和95%的时间消耗在于数据处理,包括获取高质量真实数据、合成“靶向数据”以修复特定缺陷、以及大量人工审核。因此,成功的关键是对数据的洞察和处理能力,而非高深的AI理论或庞大的算力投入。
成立条件:该论证成立的前提是:1. 目标是为特定应用场景做优化(工业级应用),而非追求通用能力的SOTA模型。2. 存在合适的、对微调友好的开源底座模型。3. 能够获取或生成解决核心问题所需的高质量数据。
“好的蒸馏”标准是“锚点”与最终目标一致,而非Benchmark分数提升。
逯雨鑫 · 00:17:18-00:22:55
嘉宾认为,蒸馏(SFT)的评价标准不应是通用的Benchmark分数。如果目标是提升模型的安全边界,那么即使训练导致其他能力分数下降,只要安全能力提升了,这次蒸馏就是“好的”。反之,为了打榜刷分而进行的优化,如果偏离了实际应用需求,就是“不好的蒸馏”。他自己的项目成功,正是因为锚定了用户高频使用的Agentic和Coding能力,解决了实际问题,所以即使在其他通用榜单表现下降,也是一次成功的实践。这区分了应用公司(解决问题)和AI Lab(打榜考试)的目标差异。
成立条件:此论证成立的条件是,评估者(公司或个人)有明确的、可度量的业务目标,并且能够将模型表现与该业务目标直接关联,而不是依赖外部、通用的评价体系。
由于“Capacity Gap”(能力差距),用大模型蒸馏小模型时,即使数据完美,效果也可能不理想,需要接受并反复迭代。
逯雨鑫 · 00:15:34-00:17:17
当使用一个能力极强的“老师模型”(如数T参数规模)生成数据来训练一个很小的“学生模型”(如12B)时,两者之间存在巨大的能力鸿沟。学生模型可能根本无法完全理解和吸收老师的知识。因此,即使训练数据看起来无懈可击,训练结果也可能失败。唯一的验证方法是不断进行小规模迭代测试,观察效果是否有提升。如果多次尝试后效果依然不佳,就需要判断失败是否源于这种不可逾越的能力差距。这解释了为什么模型训练充满不确定性,强调了耐心和迭代的重要性。
成立条件:这个概念适用于模型蒸馏场景,特别是当老师模型和学生模型在规模、架构或能力上存在显著差异时。它不适用于使用同等规模模型进行微调或从头预训练的情况。
未来AI价值将从模型端向应用端让渡,领先的应用公司会演变为“Neo Lab”。
曲凯 & 逯雨鑫 · 00:27:01-00:35:31
双方共同认为,数据是决定模型表现的核心资产。与用户直接交互的应用公司掌握着最真实、高价值的一手数据。主持人曲凯类比推荐算法时代,最终胜出的是拥有场景和数据的公司(如字节),而非中立算法公司。嘉宾逯雨鑫补充,随着开源模型能力增强,应用公司将接管后训练(post-training)环节,以保护自身数据护城河,而AI Lab则会退向上游,专注于成本极高的预训练(pre-training)。因此,拥有数据和场景的应用公司将通过持续迭代模型,成为新的事实上的AI实验室(Neo Lab),其价值会随时间推移而超越单纯提供基础模型的AI Lab。
成立条件:该判断成立的条件是:1. 开源模型的能力持续进步,足以作为应用公司进行后训练的坚实基础。2. 数据的所有权和使用权依然是应用公司的核心壁垒。3. 后训练的技术门槛持续降低,使得应用公司自建团队的成本效益高于外包。
Local AI的普及动力主要来自数据隐私、特定场景的可用性和长期成本节约,而非单纯追求便利性。
逯雨鑫 · 00:36:59-00:46:37
嘉宾认为Local AI是明确趋势。首先,调用云端API存在数据泄露风险(尤其通过中转站),隐私是核心驱动力。其次,在网络安全、生物研究等领域,SOTA云端模型常因审查策略而“拒答”,本地模型成为唯一可用的解决方案。最后,从成本看,本地运行属于一次性硬件投入的“沉没成本”,长期免费;而云端API对于Token消耗大的任务(如写小说)成本高昂。这三点构成了Local AI在特定用户和场景下的刚需,使其不仅仅是SOTA模型的“降级替代品”。
成立条件:此论证的有效性取决于:1. 用户对数据隐私的重视程度是否会持续提高并转化为消费决策。2. SOTA模型在特定专业领域的“拒答”问题是否持续存在。3. 本地硬件性能是否能发展到足以流畅运行足够强大的模型,且成本在可接受范围内。
机制与术语:对象、输入输出和中间过程
靶向数据SFT流程
这是一个通过监督微调(SFT)解决模型特定缺陷的工作流。
输入:
1. 一个有特定、已知缺陷的底座模型(如机器稿中未确认名称的开源底座模型的“过度自信”问题)。
2. 一个能力更强的“老师模型”(如Claude)。
3. 关于缺陷的具体描述和修正指令。
过程:
1. 指令生成:向老师模型下达明确指令,要求它生成专门用于纠正该缺陷的“指令-回答”数据对。例如,生成一些任务未完成但模型需要承认“未完成”的对话样本。
2. 数据生成与审核:老师模型根据指令生成合成数据。由于AI生成的数据质量不稳定,需要投入大量时间进行人工审核和筛选,剔除不合格或错误的样本,并可能需要多轮指令迭代才能获得满意的数据。
3. 数据混合:将经过审核的“靶向”合成数据与高质量的真实使用数据(Real Trace Data)按一定比例(如30%-40%合成,60%-70%真实)混合,形成最终的训练数据集。
4. SFT训练:使用混合后的数据集对底座模型进行监督微调。
输出:一个在特定缺陷上得到改善的优化模型。例如,一个在任务未完成时不再错误地宣布“完成”的模型。
失败条件:
1. 老师模型能力不足,无法理解指令或生成高质量的靶向数据。
2. 人工审核不充分,导致训练数据中混入大量噪声,反而损害模型能力。
3. 底座模型与老师模型存在巨大的“Capacity Gap”,导致其无法学会修正行为。
对应节目:00:11:48-00:15:34
个人低成本模型训练Pipeline
这是一个个人开发者或小团队进行模型后训练的完整工作流程。
输入:
1. 一个明确的业务或应用目标。
2. 启动资金(数百至数千美元)。
3. 个人或小团队(1-3人)。
过程:
1. 目标与选型:根据目标(如优化中文对话)选择合适的开源底座模型(如“千问”系列)。
2. 数据管线构建:
a. 收集/获取高质量的真实世界数据(如用户日志、开源数据集)。
b. 使用强模型(如Claude)API生成“靶向”合成数据,解决特定问题。
c. 对所有数据进行清洗、筛选、格式化和配比(如60-70%真实数据)。这是最耗时(95%)的步骤。
3. 训练执行:
a. 选择后训练方法,嘉宾推荐SFT。
b. 租用云端GPU(如每小时1-2美元的5090),使用QLoRA等内存优化技术进行训练。总训练时间可能仅需十几个小时。
c. 利用开源的训练脚本,稍作修改即可使用。
4. 评估与迭代:
a. 使用开源Benchmark或自行设计的测试集评估模型效果。
b. 分析错误案例,回归到第2步调整数据,重新训练。
c. 重复此循环直至效果满意。
输出:一个针对特定目标优化过的小模型。
失败条件:
1. 选择了不合适的底座模型(如用Jemma做中文任务)。
2. 数据质量差或与目标不符。
3. 在迭代过程中因初期效果不佳而过早放弃。
对应节目:00:06:08-00:11:33
本文自拟示意,不是嘉宾实验【本文自拟流程例,不是嘉宾项目数据】要纠正“没完成就宣布完成”,先选一个含两步操作且每步都有可验证结果的任务。错误候选只完成第一步就写“全部完成”;正确候选则逐步报告实际工具回执,最后才声明完成。评估时检查的不只是措辞,还包括工具是否真的返回成功。若把无法执行的操作写成“已预订”,即使文字完整,仍不应作为正确训练样本。这个例子说明的是任务完成声明必须与外部证据对齐,不涉及真实订票。