文心一言发布，复刻ChatGPT的5个条件+信念

下午看了文心一言的发布会。

李彦宏提前打好预防针，说得很实在：为什么今天要发布？因为有市场需求，客户和合作伙伴都在催。

看来这次发布确实是为了迎合市场需求，顶着压力被迫发布。从发布会谦虚低调的态度看，李彦宏和百度工程师们压力都很大。但毕竟是国内第一个敢于发布的，勇气值得肯定。

百度希望通过用户接入使用和大量反馈，来快速迭代模型的能力。

从现场放的demo视频看，文心一言的总结能力、逻辑推理能力、多模态内容生成以及内容输出的顺滑度都还不错。

很多人怀疑这是提前精心调试好的案例，实际能力可能比较弱。由于没有现场即兴发挥，所以无法证伪，有点遗憾。

资本市场反应很快：

我本来对它并没有太高的期望，只是跟大家一样，希望中国应该在这个AI技术的制高点上有自己的模型，有更好的支持中文的模型。

之前我看过一些关于GPT3相关技术和实现的文章，了解到要复刻一个ChatGPT，绝不是朝夕之间就能赶上的。它有几个重要条件：

1. 需要算力。模型训练一次将近1000万人民币，OpenAI的背后是股东微软提供的服务器集群。国内大厂不差这些钱，但先进的GPU目前还有出口限制。

2. 高质量的语料。我之前看到统计数据，GPT3的语料中中文占比不到10%。可能因为文化不同，英文内容更愿意公开分享，高质量内容更多。比如关于计算机科学的高质量论文都在arxiv.org这个平台上。

3. 有监督学习的标注语料。做过自然语言标注的人都知道，标注的门槛非常高。特别是对语义理解，只有在有同等文化背景和足够知识储备的人才能标注正确。这需要一个完整的培训体系和高昂的成本。大的技术公司都不愿意做这种脏活。

4. 人工反馈。ChatGPT内部也是先做了很多人工反馈强化训练，打磨差不多才发布。但因为它有先发优势，在短时间内就积累了大量的用户反馈，这是非常宝贵的数据财富。

5. 工程细节打磨。前两天发布的GPT-4其实在2022年8月就完成了模型训练，又迭代了半年才发布。它并不是单纯的技术突破，还有工程上无数细节的优化。

6. 信念和专注。在前途不明朗、根本没人知道是否可行情况下，还能坚持那么多年（OpenAI是2015年创立），投入大量资金，最后能成功其实是有偶然性的。

像马斯克、Sam Altman这类人，总是会习惯性地、主动地解决那些没人敢碰的复杂问题，很让人佩服。因为有了这些先驱者，我们才知道这些技术是可行的。

本来我想着体验看看文心一言的效果，但还需要邀请码，体验不了。

不过我相信国内的企业会一步步赶上来，需要多点耐心和时间。但愿早日能看到国内大模型的突破。