假设一家模型公司想让 AI 学会处理缺货订单。它找数据供应商买训练材料，收到的却只有一批问答：顾客催货时怎样安抚，不能发货时怎样致歉。这些回答可以写得很得体，但教不了模型怎样把订单处理完。
要练这项工作，模型得能查库存，知道有哪些替代商品，在顾客接受之后修改订单。数据供应商要交付的，至少还包括可供操作的业务材料、工具，以及判断订单是否处理正确的方法。光请一位懂客服的人写答案，生意只做了一部分。
有些材料，得先找到愿意卖的人
《硅谷101》讨论 AI 数据行业时，何允中把工作分成采购和加工。前者解决原材料从哪里来，后者把材料变成模型可以学习的东西。何允中研究后训练与评测；另一位嘉宾孙一铀参与了 Agents’ Last Exam 智能体评测项目，两人都直接接触具体任务。
采购听起来像辅助工作，到了陌生行业，却足以卡住后面的环节。专家能讲清自己的经验，不表示他可以把工作时用过的数据库、商业软件和项目文件一并交出来。数据公司要找到材料的持有者，谈价格、谈使用范围，再判断缺失的部分能不能补上。
节目里谈到了游戏源代码的采购。想让模型练习修改真实游戏，光看玩家录的视频不够；有了代码，还要能运行项目，并知道哪些改动符合任务要求。这些条件加起来，决定了供应商拿回来的究竟是一份可用的材料，还是一个还要继续花钱的项目。
供应商也可以自己搭一个简化环境，让 AI 在里面练习。它更方便控制，但得说明简化了什么。例如，开头那项缺货任务，如果顾客永远同意换货，就省掉了业务中需要处理的一类分歧。练习当然会顺利一些，客户要买的能力却未必学到了。
何允中提到，一些小团队可以用合成技术较快地交付训练环境。代码领域已有大量公开资料，团队自己也懂怎样操作，起步相对便利。换到依赖专用软件或私有数据库的行业，采购和使用条件的谈判就会占去更多精力。
把一项工作做成可以验收的材料
原材料买来之后，还得加工。以缺货订单为例，题目说有一件替代商品，原始数据里就得有这件商品；题目允许修改订单，任务环境里的工具就得支持这个动作；模型操作完，评分方法还要认得出它是否满足了要求。
评分并不总是对照一个固定答案。顾客可以选择换货，也可以接受等待，只要符合任务写明的要求，就不能因为处理路径与出题者设想的不同而扣分。这个要求不起眼，成本却高：专家得把自己平时怎么判断工作好坏，解释到别人能够复查的程度。
何允中和孙一铀还谈到另一种麻烦：专家提交的任务可能根本没有实际做过，说明和结果却写得颇为完整。数据公司若只检查文档齐不齐全，就可能把这样的材料一并交给客户。
请同行重新做一遍能够帮助发现问题，也会增加费用。录下原来的操作过程有助于追查，但录像仍要有人看，结论仍要有人判断。按提交数量付费，会遇到凑数量的动机；按时长付费，也不能把坐在电脑前的时间直接当成质量。重做和录像帮助追查任务是否可靠，付费方式则会影响提交者花精力做什么。
验收可以由供应商先做，也可以留给客户。前一种安排，人力成本在交付之前由供应商承担；后一种若到客户收货后才发现问题，退回、修改要双方来回处理，还可能耽误训练进度。供应商的报价有没有覆盖验收和返工，对利润影响很直接。
出了考题，也不一定能卖好练习册
研究怎么评测一项工作，可以带来数据生意的机会。评测暴露了模型的不足，理解这些不足的团队，就有理由尝试准备训练材料。潜在客户也能通过评测认识这家公司。
节目讨论了这两项工作的联系，也谈到了它们之间需要保留的区别。测试任务应当帮助人了解模型面对新问题的表现。假如同一批测试内容已经被用于训练，分数就不能再按原来的含义解释。
数据供应商得证明，自己提供的练习材料有助于模型处理更多同类工作，而不是只让某个公开分数变得好看。
这对小团队提出了两个不同的要求：题目要能测出模型的不足，材料还得适合训练。难题能测出短板，怎么用来训练却还要另作设计。任务怎么分解、难度怎么安排、怎样让训练得到有用的反馈，都还需要研究。
出题带来的名声能帮助销售，但替代不了交付。 对同时研究评测和出售数据的公司，客户有理由问清训练材料与测试材料的关系。两者分开之后，在没有用于训练的任务上观察效果，才能判断买来的材料究竟帮了什么忙。
下一批任务，得在有人下单前开始研究
数据生意还有一个不太像出售现成题库的地方：模型会进步。孙一铀在访谈中追问，模型公司自己生成数据的能力增强后，外部供应商进入市场会不会更难。何允中的回答指向持续研发：已有产品之外，还得投入时间，研究下一批客户需要的东西。
他们也认为仍有不少领域没有研究清楚。问题在于，行业还有需求，与自己手上的这一批材料能继续卖，是两件不同的事。模型已经掌握的任务，客户没有理由按原来的价格一直购买。
外部公司能提供的价值，有时恰恰是先替客户做了那段费时的研究。它把一个行业的材料找齐，弄清任务怎样执行、怎样验收，再把成果拿去谈合作。客户愿意购买，也是在节省自己从头研究的时间。
是继续把熟悉的一类任务做得更便宜，还是拿钱去研究一个还没有买家的领域，得由经营者自己选。即便模型公司决定把某项工作收回内部完成，供应商之前的采购和研究费用也已经花出去了。
我对这类公司的长期优势持谨慎态度，原因就在这里。上一批材料卖得好，可以支付下一轮研究，却不能证明下一轮一定有人买。供应商需要保留这份研发能力，也要有资金余地，承担几次研究没有变成订单的结果。
留言