盘古已死，KIMI当立，为何今年大模型产品碾压去年
作者: 卢菁老师_北大AI博士后
作者简介: 《速通机器学习》《速通深度学习数学基础》作者
加老卢个人V: xhs541 加入学习群，领取学习资料，就业指导，咨询vip课程信息
描述: 国内去年首发的大模型如文心一言、星火、盘古现在都没啥消息了，体验并不好，反而不如现在的KIMI、豆包等后起之秀 其实是有几个客观原因的： 其实最重要的就是初创公司是一股绳，大厂里面利益山头都很复杂，我本人更是经历了无数宫斗，大模型成为宫斗抓手。 接下来说正经的 去年的很多大模型都是赶鸭子上架，最直接的是李厂长的那句话：我们离OpenAI 2个月。 技术上，虽然技术已经开源，步骤也很清楚，实际上所有人都在从头开始，不停踩坑。 大模型出品的速度在于Scailling Law三要素：数据、计算、参数规模，大厂其实并不是占据明显的领先优势： 数据上看，大厂（百度/讯飞）乍一看相对于初创公司有很大的数据优势，但当你仔细思考，这里的2-5T tokens，其实是要重新认真准备的。 大厂可能在资源和工程师方面有优势，但是处理数据本身上未必领先于初创公司，所以数据质量的高下还真不好说计算：大厂确实卡多，这个要服，也是出品快的重要原因之一。 在算法方面：百度最早的ernie是个bert，看到ChatGPT也得重头训，算法工程层面又有很多可以雕花的地方。但百度当时着急了，并没有雕花，追求的是先出活儿。 从产品到模型，其实是要高度耦合的，所以Kimi长文本在产品得到了很好的应用。
