189 8069 5689
对于我个人来说，刚刚步入媒体圈，职业生涯就将遭遇一次非常严重的AI威胁。
因为GPT-3来了，而且在写文章、编故事的能力上面比上一代更能打了。
今年5月，已经得到微软Azure算力加持的OpenAI放出了GPT-3这个巨型NLP模型怪兽，包含1750亿参数，比2月份微软刚推出的全球大深度学习模型Turing NLG大上十倍，是其前身GPT-2参数的100倍。
我们可以用一张图表来直观感受下GPT-3所处在位置，是不是有点高处不胜寒的感觉?
同时，GPT-3使用的训练数据集也十分庞大，基于包含近1万亿单词量的CommonCrawl数据集、网络文本、数据、维基百科等数据，数据量达到了45TB。其训练费用也达到惊人的1200万美元，这已经是个人开发者和小型AI开发团队无法轻易染指的训练规模和成本了。
在最近大量有关GPT-3的介绍文章里，很多人都注意到的是这个模型惊人的体量和各种各样脑洞大开的文本生成能力，不仅是写文章、编故事、搞翻译，还包括多轮对话、写代码、做数学运算、表情包配文、做表格、生成图标等等，几乎是在文本方面为所欲为了。
有人惊呼“真正的AI已经到来”、“GPT-3可以改变世界了”，也有人说“GPT-3是一种形象工程”、“一种赤裸裸的炫富”。
无论评价如何，人们其实都并未过多注意到OpenAI现在发布GPT-3的API接口的一大原因是推动这一技术的商业化。现在，GPT-3模型已经广泛应用的领域当中，有哪些领域更好地进行商业化尝试，又有哪些领域仍然差强人意，这些也许是更值得我们去探讨的地方。
GPT-3到底有多厉害?
相较于之前的GPT-2，这次GPT-3有哪些明显的进步呢?
从训练方式来说，与之前版本并没有什么不同，GPT-3依旧延续之前的单向语言模型训练方式，只不过就是训练数据和参数有了几个数量级的提升。但从实际的效果来看，GPT-3的尝试至少验证了一点，就是将一个深度神经网络不断增大，它确实可以变得更加的聪明。
相较于当前的BERT模型，GPT-3主要能够解决两个问题，一个是避免对各领域内的标注数据的过分依赖，一个是避免对各领域数据分布的过度拟合，从而调教出一个更通用、更泛化的NLP模型。GPT-3的主要目标是用更少的领域数据，还有去掉微调步骤去解决问题。
(图源：李宏毅《深度学习人类语言处理》)
直观来理解就是如图所示，GPT-3就是要拿掉Fine-tune(微调)这个环节，也拿到Task-Specific的示例资料，来直接对特殊的领域问题进行回答。
基于此，研究者们使用GPT-3在不同形式下进行了推理效果的测试，包括Zero-shot、One-shot、Few-shot三种，但是这三种形式都是不需要经过Fine-tuning的。因为GPT-3选择的是单向transformer，所以它在预测新的token时，会对之前的examples进行编码。
那么，测试结果如何呢?
从各领域的42项基准测试中的平均表现来看，随着参数量的不断加大，其正确率在不断提升(当然有人会质疑，模型提升了10倍参数量，正确率才提升不到1倍)，其中Few Shot的表现是最好的。
而在封闭式的Trivia QA问答中，GPT-3的Few-Shot的表现已经可以好过经过Fine-tuned SOTA的成绩。此外在SuperGLUE测试上面也能达到超过当前SOTA的表现，以及生成非常逼真的文章，甚至能达到人类难以分辨是机器还是人类协作的程度。
那么，在当前人们调用OpenAI开放的API接口之后，我们已经可以看到GPT-3的一系列的有趣案例了。
GPT-3现在能够出色地完成翻译、问答和完形填空任务，能够很好执行两位、三位的数学加减运算。还可以基于文本的描述生成代码、网站。
(GPT-3将自然语言生成了代码和图形按钮)
可以为文本转换不同文体样式，比如把口语化变为书面语，把日常语言变为法律文书。或者把繁荣的法律语言变成日常语言，比如那些长长的“用户协议”。
(GPT-3将日常语言转换为法律文书)
当然，GPT-3的主业更在于生成文本内容，比如段子、新闻、小说，甚至给出主题和关键词，都可以有模有样地编出一篇完整的论文。
(仅给出标题和开头，GPT-3就完成了论文)
在和人类的多轮对话中，GPT-3表现也相当出色。比如下面这个名为Kosmopol的程序员和GPT-3展开了一段关于人类、AI与神的存在关系的“神秘”讨论。
(聊到最后程序员表示，“我现在已经没有任何疑问”)
从现在网络上所发布出来的GPT-3的各项表现来看，GPT-3似乎在任何文本生成相关的领域都能发挥作用了。
那么GPT-3在商业化方面的前途如何呢?
GPT-3有哪些商业化前景?
我们记得，在GPT-2发布时，OpenAI还不愿意一下子把GPT2的模型完整地放出来，而是选择挤牙膏似的一点点公布完整版本，当时的理由是认为GPT-2太过危险，会被人用来制造假新闻，用来做邮件诈骗等坏事。当然，可怕的后果并没有发生，也许是坏人的技术能力不够，更主要可能是应用的成本门槛太高。
这一次，OpenAI选择了发布API接口邀请测试，而非直接开源模型的方式，同样也有这方面的考虑。如果模型开源，一旦有人在此基础上开发带有危险性的应用程序，官方将很难制止。通过API方式就可以很好应对人们对技术的滥用。
与此同时，由于GPT-3如此庞大体量的基础模型，除了少数大公司之外，很少有机构和个人能够对其进行开发和部署，运行费用也将极其昂贵。
其实更重要一点则是，OpenAI希望通过API方式来推动GPT-3的技术商业化，未来在安全可靠、政策合规的基础上进行相关AI产品的开发，并实现商业化的盈利。
据目前OpenAI透露，在提供API之前，就已经与十几家公司展开了初步的商用测试。具体开放功能话，GPT-3可以在语义搜索、聊天机器人、生产力工具、文本生成、内容理解、机器翻译等方面进行商业化应用。
比如，一家初创搜索公司Algolia正在使用GPT-3来进行自然语言的复杂搜索，具体表现在能够将预测时间缩短到100毫秒左右，并以比BERT快4倍的速度准确地回答复杂的自然语言问题。
在生产力工具方面，GPT-3的API可以提供更多元化的功能，比如将文本分解为图表、表格、电子邮件汇总，可以从项目要点进行内容扩展。对于编程工作来说，程序员可以通过自然语言来与计算机进行对话，不必记住各种复杂命令，也能获得自己想要的基础代码。
此外，像在文档写作中的拼写建议、语法纠错，以及像法律机构、律所相关工作中的判例索引，法律研究，模式化的诉讼申请撰写，教育教学机构的教学材料辅助查找和示例，在线客服的聊天机器人等方面，都可以实现商业化应用。
这样一看，好像GPT-3的横空出世，不仅是让媒体编辑(不久前微软就开掉了一批人工编辑)直接遭遇职业危机，甚至看来很多机构的基础文员、在线客服，甚至程序员也有下岗再就业的危险了?
不过，从目前GPT-3所公开展示的示例来看，这种担忧还是有些大可不必。直接来讲，GPT-3作为企业的生产力工具，更多会起到辅助性提升效率工具的作用。在任何需要进行文本的生成、资料检索和需要启发性的内容生产方面，都可以使用GPT-3来作为辅助工具。
比如，作家可以使用关键词来获得GPT-3提供的创意思路，来获取灵感。公司职员和机构的文员可以用会议纪要来生成相应专业性的报告、邮件和专业文书。
在这一过程中，我们不可能说完全去掉人类的审查和订正就直接使用和发布。显然，无论哪个机构或个人都不会让AI模型来承担其发布内容的责任。当然，当一些人能够更好地与GPT-3这样的人工智能工具进行高效协作，提升企业组织的生产效率，随之而来的是企业对基础职位人数需求的减少。从这个意义上，GPT-3作为职位大杀器的作用会间接显现。
不过，现在的GPT-3已经能堪当大任吗?从一些开发者测试后的反馈和一些专家的评论来看，GPT-3距离真正的商业化还有一定的距离，其中一些问题必须要解决。
GPT-3的商业化难题
当外界对于GPT-3的能力表现发出更多赞誉的时候，OpenAI联合创始人Sam Altman则在Twitter站出来表示，“GPT-3被吹捧得太过了”。
实际上，这一表态确实很实事求是。目前GPT-3在常识问答、事实性的文本生产问题上表现尚佳，但是一旦处在反事实的或者矛盾问题的问答上面，GPT-3就会表现出一种“不懂装懂”的幼稚化倾向。
比如，在上面这些反事实提问或者无意义的语言重复下，GPT-3就开启了“尬聊”模式。用纽约大学副教授Julian Togelius的话来说就是，“GPT-3常常表现的像一个没有完成阅读的聪明学生，在考试中胡言乱语试图蒙混过关。一些众所周知的事实，一些半真半假的事，还有一些直接的谎言，串在一起乍一看像是流畅的叙事。”
GPT-3在一些输出上也会犯一些带有偏向性的低级错误。比如有人在通过GPT-3与虚拟的乔布斯谈话中，在问到乔帮主现在身处何处，GPT-3给出的答案是“苹果总部”，并且还报了地名。不过，大家都知道这个答案并不正确，回答说乔帮主现在活在我们心中，都比上面检索来的答案更靠谱。
此外，OpenAI对GPT-3带有偏见内容的输出上更为小心谨慎，因为GPT-2就有先例，在生成一篇文章中，就有冒犯黑人女性的歧视性描述。这可能源自于训练数据中本身含有的各类歧视内容。但如果考虑到在整理数据中剔除这些内容，需要大量的人力成本，实际上既没有操作性，也无必要性。最终只能在输出端，对GPT-3的这类结果进行优化改进。
这些低级的、误导性、偏见性的错误，仍然会让企业的商业应用顾虑重重。如果一旦全权交给AI来行使工作沟通、客服等工作，难免会造成企业的利益损失，或者增加诸如审核之类的经营成本。
GPT-3商业化更重要的一个难关是在性价比上面。如果GPT-3可以实现的一些自动化文本生成任务可以由更便宜、但专业性更好的AI软件也可以办到，那么GPT-3的商业价值将大打折扣。也就是，如果人们尝试用GPT-3来替代谷歌的关键词搜索，但总是无法得到更全面的信息，那人们为何不用回免费的谷歌和维基百科呢?
虽然GPT-3在通用性上面的能力表现出“大力出奇迹”的良好特性，但其如何能够更有效地发挥商业价值，OPenAI还任重道远，这需要在此后的模型优化中“慢工出细活”。
现在，在接受微软的10亿美元的投资之后，OpenAI的商业化进程已经提升比较急迫的日程了。依托巨大算力资源才能跑起来的AI模型必须推进商业化的脚步。
所以，GPT-3首当其冲。
总体来说，GPT-3的商业化开放有着非常积极的意义。由于这样巨型的模型训练是一般小企业和个人用户根本无力承担的，那么API的开放可以使得这些用户用比较少的成本付费使用AI的功能。不过从另一个角度来看，AI领域的科研垄断也正在形成。当年在操作系统、搜索引擎等领域形成垄断的巨头，如今又通过算力霸权占据了AI领域的数据富矿的基础开采权。
我们看到，GPT-3一开始的商业化过程并不会那么顺利。但是这样的基础性工程，无论本身的结果如何，其在完成项目的过程中，OpenAI所取得的技术经验和技术能力，其实是更重要的一笔财富。关键是GPT-3仍然是目前AI正确的前进方向。
当年，美国在阿波罗登月计划的时候，也耗费了无数的人力和财富，其结果不过是在与当时苏联的“星球大战”中赢得一个头筹而已。不过这些浩大工程的一些副产品，诸如空间通信、材料科学、自动控制、集成电路、计算机科学方面，至今让美国的科技和商业受益匪浅。