pg电子(中国)有限公司

集团 业(ye)务(wu)

当前位置:
集团业务 >行业动态

陆奇说了什么

2023-05-12 17:05

作者 | 张小珺

来源 | 腾讯pg电子

(ID:qqtech)

就连(lian)陆(lu)(lu)奇都说(shuo)他(ta)跟(gen)不上(shang)大模(mo)型时代(dai)的狂飙(biao)速度了(le)。他(ta)让下属做(zuo)“大模(mo)型日报”,一(yi)方面便于他(ta)跟(gen)上(shang)论(lun)文和信息更(geng)新,另(ling)一(yi)方面给奇绩生态创业者共享(xiang)。他(ta)用了(le)三个“实(shi)在”表达这一(yi)点(dian)。“我实(shi)在不行了(le),论(lun)文实(shi)在是跟(gen)不上(shang),代(dai)码实(shi)在是跟(gen)不上(shang)。Just too much(太多了(le))。”陆(lu)(lu)奇在近期(qi)一(yi)次(ci)分享(xiang)活动上(shang)说(shuo)。

这(zhei)样的(de)时刻还(hai)从没(mei)有过。奇绩创(chuang)坛(tan)创(chuang)始人(ren)(ren)兼CEO陆(lu)奇是(shi)中国(guo)(guo)AI布道(dao)人(ren)(ren),也是(shi)中国(guo)(guo)针对大模型最(zui)有发(fa)言权的(de)人(ren)(ren)之(zhi)一。他(ta)曾(ceng)在全球巨头身居要职(zhi),先后任职(zhi)于IBM、雅虎(hu)、微软、百度,曾(ceng)是(shi)华(hua)人(ren)(ren)在美国(guo)(guo)pg电子公司最(zui)有权威的(de)高层人(ren)(ren)士(shi),位至(zhi)雅虎(hu)和微软执(zhi)行副总(zong)裁,回国(guo)(guo)加盟百度出任集团总(zong)裁兼COO。陆(lu)奇以(yi)勤(qin)勉的(de)工(gong)作为pg电子圈(quan)著(zhu)称——每天清晨4点起床,跑(pao)步5英里,6点准时到办(ban)公室。

同时(shi),他(ta)和OpenAI有着深(shen)厚渊源。陆(lu)奇(qi)所(suo)掌管的(de)(de)奇(qi)绩前身(shen)是(shi)YC中(zhong)国,是(shi)美(mei)国著名创业孵(fu)化器YC(Y Combinator)的(de)(de)中(zhong)国分支。他(ta)也是(shi)YC全球研究院院长(zhang)。而OpenAI首席执行官Sam Altman正是(shi)YC二代接班者、现任总裁。两人虽相差(cha)24岁(sui),却是(shi)忘年交,相识已逾18年。当初正是(shi)Sam Altman屡次(ci)力邀陆(lu)奇(qi)加盟YC。所(suo)以(yi),陆(lu)奇(qi)对YC、对Sam Altman和OpenAI都有长(zhang)期的(de)(de)近距离(li)观(guan)察。

2023年(nian)4月22日,陆(lu)奇在上海举行小规模演讲(jiang),腾讯新(xin)闻有幸参与(yu)了(le)旁听。陆(lu)奇希望帮(bang)助中国创(chuang)业者认清这(zhei)次(ci)历史性的(de)(de)拐(guai)点时(shi)刻,定位今天(tian)的(de)(de)时(shi)代坐标、找准自(zi)己(ji)的(de)(de)位置(zhi)。“这(zhei)个(ge)时(shi)代跟淘金时(shi)代很(hen)像,”他说道(dao),“如果你那个(ge)时(shi)候去加州(zhou)淘金,一大堆人(ren)会(hui)死掉。但是卖勺子、卖铲子的(de)(de)人(ren)永远可以赚钱。”

陆(lu)奇很反感蹭(ceng)热点,他一再警示(shi)创业者蹭(ceng)热点只会(hui)浪(lang)费机会(hui)。到(dao)现在(zai)为止,你几乎很难(nan)在(zai)公开渠道(dao)听(ting)到(dao)陆(lu)奇的观(guan)点。这也让本次演(yan)讲具有稀(xi)缺性。

事实上,在大(da)模型快速达成社(she)会共识之际,一(yi)(yi)部(bu)分人期待陆奇博士披甲上阵,做(zuo)“中国的(de)Sam Altman”——扮演可(ke)能比一(yi)(yi)名投资(zi)者、布道者更(geng)关键的(de)角(jiao)色。但据奇绩内部(bu)人说:“Qi目前100%时间(jian)花在奇绩。”

腾讯新(xin)闻作者将这场分享进行了完整的(de)整理——演讲涵盖他(ta)对大模(mo)型时(shi)代的(de)宏观思(si)考,包括拐点的(de)内在(zai)动因、技术(shu)演进、创业公司(si)结构性(xing)机会点以及给创业者的(de)建议。大家可以各取所需。

好了,让我们来看看陆奇怎么说。为了方(fang)便阅(yue)读,作(zuo)者做了一些字句修(xiu)改和(he)文本优化。

社会性拐点的核心

是(shi)一(yi)项大型成本从边际变成固定

我认识Sam Altman是(shi)2005年,他(ta)那时19岁不(bu)到,我已经40多岁了。

我们(men)俩(liang)是忘年交。他是一个很善(shan)良也很奇怪的小孩,今天很高(gao)兴他能这样改变世界。前不(bu)久,我春节在美国3个月(yue),也到(dao)OpenAI和Sam聊了一些。

首先,怎(zen)么理(li)解这个新范式?这张(zhang)图能(neng)把ChatGPT和OpenAI所带来的(de)一切讲清楚。之后,基(ji)于第一性原理(li),你自然(ran)会(hui)推演出所在赛道的(de)机会(hui)和挑战。

这张(zhang)图是(shi)“三位一(yi)体(ti)结构演(yan)化(hua)模式”,本质是(shi)讲任何复杂体(ti)系,包括一(yi)个人、一(yi)家(jia)公(gong)司(si)、一(yi)个社会,甚至数字(zi)化(hua)本身的(de)数字(zi)化(hua)体(ti)系,都是(shi)复杂体(ti)系。“三位一(yi)体(ti)”包括:

“信(xin)息”系统(subsystem of information),从环(huan)境当中获得信(xin)息;

“模型”系统(subsystem of model),对信息做一种表达,进行推(tui)理(li)和规划;

“行动”系统(tong)(subsystem of action),我们(men)最终和(he)环境做交互,达到人(ren)类想(xiang)达到的(de)目(mu)的(de)。

任何体系(xi)(xi),都是这三个体系(xi)(xi)的组合,数(shu)字化(hua)系(xi)(xi)统尤其如此。数(shu)字化(hua)和人分不开。人也一样,人要获得信息、表达信息、行动解(jie)决(jue)问(wen)题或(huo)满足(zu)需求。

基于此(ci),我们可以得出一(yi)(yi)个简(jian)单结论。今天大(da)部分(fen)数(shu)字化产品和公司,包(bao)括Google、微软、阿里(li)、字节(jie),本质是(shi)信息搬运公司。一(yi)(yi)定要(yao)记住,我们所(suo)做的(de)一(yi)(yi)切,一(yi)(yi)切的(de)一(yi)(yi)切,包(bao)括在(zai)座的(de)大(da)部分(fen)企(qi)业(ye)都在(zai)搬运信息。Nothing more than that,You just move bytes(仅此(ci)而已,你(ni)只是(shi)移动(dong)字节(jie))。但它已经足够好,改变了世界。

早在1995-1996年(nian),通过PC互联网迎(ying)来一个(ge)拐点(dian)(dian)。那时我刚从CMU(卡内基梅隆大学(xue))毕业。大量公(gong)司(si)层出不穷,其中诞生了一家伟大公(gong)司(si)叫Google。为(wei)(wei)什(shen)么(me)会有这(zhei)个(ge)拐点(dian)(dian)?为(wei)(wei)什(shen)么(me)会有爆炸式(shi)增长?把这(zhei)个(ge)观点(dian)(dian)讲清(qing)楚,就能把今(jin)天的拐点(dian)(dian)讲清(qing)楚。

原因是(shi),获取(qu)信息的边际(ji)成本开始变成固(gu)定成本。

一(yi)定(ding)要(yao)记住,任何改(gai)变社会、改(gai)变产业的(de),永(yong)远是结构性改(gai)变。这个结构性改(gai)变往往是一(yi)类大型成(cheng)本,从边际成(cheng)本变成(cheng)固定(ding)成(cheng)本。

举个(ge)例子,我在CMU念书(shu)开车离(li)开匹茨堡出去,一张地图3美(mei)元(yuan),获(huo)取(qu)信息很贵。今(jin)天我要地图,还是(shi)有(you)价钱,但都(dou)变成(cheng)固定(ding)价格。Google平(ping)均(jun)一年付10亿美(mei)元(yuan)做一张地图,但每个(ge)用户要获(huo)得地图的信息,基本上代价是(shi)0。也就(jiu)是(shi)说,获(huo)取(qu)信息成(cheng)本变0的时候,它一定(ding)改变了(le)所有(you)产业。这就(jiu)是(shi)过(guo)去20年发生的,今(jin)天基本是(shi)free information everywhere(免费的信息无处不在)。

Google为什么伟(wei)大(da)?它把边际成(cheng)本(ben)变成(cheng)固(gu)定成(cheng)本(ben)。Google固(gu)定成(cheng)本(ben)很(hen)高,但它有(you)个(ge)简单(dan)商业模(mo)式叫广告,它是世(shi)界上高盈利、改变世(shi)界的公(gong)司,这是拐点关(guan)键。

今天(tian)2022-2023年的拐(guai)点是(shi)(shi)什么?它不(bu)可(ke)阻(zu)挡、势不(bu)可(ke)挡,原因是(shi)(shi)什么?一模一样。模型的成本从边(bian)际(ji)走(zou)向固(gu)定,因为有件(jian)事(shi)叫(jiao)大模型。

模(mo)型(xing)(xing)的成(cheng)本开(kai)始从边际(ji)走向固定,大模(mo)型(xing)(xing)是技术(shu)核心、产业化基础。OpenAI搭(da)好了(le),发展速度(du)爬升会很快。为(wei)什么模(mo)型(xing)(xing)这(zhei)(zhei)么重要、这(zhei)(zhei)个(ge)拐点(dian)这(zhei)(zhei)么重要,因为(wei)模(mo)型(xing)(xing)和人有内在关系。我们每个(ge)人都是模(mo)型(xing)(xing)的组(zu)合。人有三(san)种模(mo)型(xing)(xing):

1.认(ren)知模(mo)型,我(wo)们(men)能(neng)看、能(neng)听、能(neng)思考、能(neng)规划;

2.任务模型(xing),我们能爬楼梯、搬椅子(zi)剥鸡蛋;

3.领域(yu)模型,我们有些人(ren)是医(yi)生,有些人(ren)是律师,有些人(ren)是码(ma)农。

That’s all。我(wo)们对社会所有贡(gong)献都是(shi)(shi)这三种模型的组合。每个人不是(shi)(shi)靠(kao)手和腿的力(li)量赚钱,而(er)是(shi)(shi)靠(kao)脑(nao)袋活。

简(jian)单想一想,如果你(ni)没有多大见解,你(ni)的模(mo)(mo)型(xing)(xing)能(neng)力大模(mo)(mo)型(xing)(xing)都有,或者大模(mo)(mo)型(xing)(xing)会逐(zhu)步学会你(ni)所有的模(mo)(mo)型(xing)(xing),那会怎(zen)样?——未(wei)来,唯一有价(jia)值的是你(ni)有多大见解。

人(ren)类社会(hui)是技术驱动(dong)(dong)(dong)。从农业(ye)时(shi)代(dai),人(ren)用工(gong)具做简单劳(lao)动(dong)(dong)(dong),最大(da)问题是人(ren)和土地绑定,人(ren)缺(que)少流通性,没有自由(you)。工(gong)业(ye)发(fa)展对人(ren)最大(da)变化是人(ren)可以(yi)动(dong)(dong)(dong)了,可以(yi)到城市(shi)和工(gong)厂。早期工(gong)业(ye)体(ti)系以(yi)体(ti)力(li)劳(lao)动(dong)(dong)(dong)为(wei)主、脑(nao)力(li)劳(lao)动(dong)(dong)(dong)为(wei)辅,但随(sui)着机械化、电气化、电子化,人(ren)的体(ti)力(li)劳(lao)动(dong)(dong)(dong)下降。信息化时(shi)代(dai)以(yi)后,人(ren)以(yi)脑(nao)力(li)劳(lao)动(dong)(dong)(dong)为(wei)主,经(jing)济从商品(pin)经(jing)济转向服务经(jing)济——码农、设计(ji)师、分(fen)析师成(cheng)为(wei)我们时(shi)代(dai)的典型职业(ye)。

这一次大模型(xing)拐(guai)点会让(rang)所有服务(wu)经济中(zhong)的人、蓝领基本都受影(ying)响,因为他们是(shi)(shi)模型(xing),除非有独到见解,否则你今天所从事的服务(wu)大模型(xing)都有。下(xia)一时代(dai)典(dian)型(xing)的职业(ye),我们认为是(shi)(shi)创业(ye)者(zhe)和科学家。

所以(yi),这(zhei)次变革影(ying)响每个(ge)人(ren)。它(ta)影(ying)响整个(ge)社会。

我所看到的三个拐点

下个拐点是什么?

下个拐点将是(shi)组合:“行(xing)动(dong)(dong)(dong)(dong)”无处(chu)不在(自动(dong)(dong)(dong)(dong)驾驶(shi)、机器(qi)人(ren)、空间(jian)计算)。也(ye)就是(shi)人(ren)需要(yao)在物理空间(jian)里行(xing)动(dong)(dong)(dong)(dong),它的(de)代价也(ye)从边际走向固(gu)定。20年后,这个房子里所有一切都有机械臂,都有自动(dong)(dong)(dong)(dong)化的(de)东西。我需要(yao)的(de)任何东西,按个按钮,软件可以动(dong)(dong)(dong)(dong),今(jin)天还(hai)需要(yao)找人(ren)。

那么,哪些公司能走到(dao)下个(ge)拐(guai)点、站(zhan)住下个(ge)拐(guai)点?我(wo)认(ren)为特斯拉有很(hen)高概率,它的(de)自动驾驶、机器(qi)人(ren)现在很(hen)厉害。微软今天(tian)跟着OpenAI爬(pa)坡,但怎么站(zhan)住下个(ge)拐(guai)点?

接下(xia)来讲一下(xia)我们看(kan)到的(de)三个拐点:

① 今(jin)天信息已经无处不(bu)(bu)在(zai)了,接下来(lai)(lai)15-20年(nian),模型就(jiu)是知识(shi),将无处不(bu)(bu)在(zai)。以后手(shou)机上打开(kai),任何联网,模型就(jiu)过来(lai)(lai)了。它教你(ni)怎么去解答法(fa)律(lv)问题,怎么去做医学(xue)检(jian)验(yan)。不(bu)(bu)管什么样的(de)模型都(dou)可以无处不(bu)(bu)在(zai)。

② 在(zai)未来,自动化、自主(zhu)化的动作可(ke)以无处不在(zai)。

③ 人和数字化的技术(shu)共同(tong)进(jin)化。Sam最近(jin)经常讲,它必(bi)须要共同(tong)进(jin)化,才能达到(dao)通(tong)用(yong)(yong)智能(AGI)。通(tong)用(yong)(yong)智能四(si)大要素(su)是:涌现(emergence)+代理(agency)+功能可见(jian)性(affordence)+具象(embodiment)。

总结来(lai)说(shuo),我们(men)从(cong)根本性的(de)三(san)位一体(ti)结构分析未(wei)来(lai),从(cong)过去的(de)历史拐点(dian)能(neng)清晰(xi)看(kan)到今天所面临的(de)拐点(dian),本质是(shi)模型成本从(cong)边际走(zou)向固定,将有(you)一家甚至多家伟(wei)大公(gong)司诞(dan)生。毫无疑问,OpenAI处(chu)于(yu)领先。

虽然讲(jiang)得(de)有点早,但我个人认为,OpenAI未来肯定比Google大。只不过是大1倍(bei)、5倍(bei)还是10倍(bei)。

OpenAI核心就坚信两件事

发展速度连(lian)Sam本人(ren)都惊讶

下(xia)面我从技术(shu)角度讲OpenAI大事迹,它怎么把大模型时代带来的?

为什么讲(jiang)(jiang)(jiang)OpenAI,不讲(jiang)(jiang)(jiang)Google、微(wei)软。讲(jiang)(jiang)(jiang)真心话,因为我知(zhi)道,微(wei)软好几千(qian)人(ren)也(ye)做这个,但不如(ru)OpenAI。一(yi)开始比尔·盖茨(ci)根本不相信OpenAI,大概6个月(yue)前他(ta)还不相信。4个月(yue)前看到GPT-4的demo(产品原型),目瞪口呆。他(ta)写了(le)文章说:It’s a shock,this thing is amazing(这太(tai)令(ling)人(ren)震惊了(le),这东(dong)西(xi)太(tai)神奇了(le))。谷歌内部也(ye)目瞪口呆。

OpenAI一路走(zou)下来的关(guan)键技术:

1.GPT-1是第一次使(shi)用预训练方法来实(shi)现高效(xiao)语言理解的训练;

2.GPT-2主要采用了迁移(yi)学习技(ji)术,能在多种(zhong)任务中(zhong)高效应用预训练信息,并(bing)进一步提高语言理解(jie)能力;

3.DALL·E是走到(dao)另外一个模(mo)态(tai);

4.GPT-3主(zhu)要注(zhu)重泛化(hua)能力(li),few-shot(小(xiao)样本(ben))的(de)泛化(hua);

5.GPT-3.5 instruction following(指令(ling)遵循)和tuning(微调)是最大突破(po);

6.GPT-4 已经开始实现工程化。

7.2023年(nian)3月(yue)的Plugin是生态化。

OpenAI的融资结(jie)构为什么这么设计?和(he)Sam早(zao)期目(mu)标和(he)对未来的判(pan)断分(fen)不(bu)(bu)开。他(ta)知道要(yao)(yao)融很多钱,但(dan)股权设计有(you)(you)一个很大挑战——容易把回(hui)报和(he)控制混在一起——所以他(ta)要(yao)(yao)设计一个结(jie)构,让它(ta)不(bu)(bu)受任(ren)何股东的制约。于是(shi)(shi),OpenAI的投资者没有(you)(you)控制权,他(ta)们的协(xie)议(yi)是(shi)(shi)一种(zhong)债的结(jie)构。如果(guo)赚完2万亿,接(jie)下来是(shi)(shi)non-profit(不(bu)(bu)再(zai)盈(ying)利了(le)),一切回(hui)归(gui)社会(hui)。这个时代需要(yao)(yao)新(xin)的结(jie)构。

它势不可挡。Sam Altman自己都(dou)surprise,连(lian)他都(dou)没想到会那么快。

如果(guo)大家(jia)对技术感(gan)兴趣,Ilya Sutskever(OpenAI联合(he)创始人兼首席科学家(jia))很(hen)重要,他(ta)坚信两件事。

第一(yi)是模型架构(gou)。它要足(zu)够(gou)深(shen),只(zhi)要到了一(yi)定深(shen)度,bigness is betterness(大就是好(hao))。只(zhi)要有(you)算(suan)力,只(zhi)要有(you)数据(ju),越大越好(hao)。他(ta)们一(yi)开始是LSTM(long short term memory),后来看(kan)到Transformer就用Transformer。



image.png

第二个(ge)OpenAI相信的是,任何范式、改(gai)变一切的范式永远有个(ge)引擎(qing),这个(ge)引擎(qing)能不断(duan)前(qian)进、不断(duan)产生价(jia)值。

这个引擎基(ji)本(ben)是(shi)(shi)(shi)一个模型(xing)(xing)体系(model system),它(ta)的(de)核(he)心(xin)是(shi)(shi)(shi)模型(xing)(xing)架构Transformer,就(jiu)是(shi)(shi)(shi)sequence model(序列模型(xing)(xing)):sequence in、sequence out、encode、decode后(hou)者(zhe)decode only。但最终的(de)核(he)心(xin)是(shi)(shi)(shi)GPT,也就(jiu)是(shi)(shi)(shi)预训练之后(hou)的(de)Transformer,它(ta)可(ke)以把(ba)信(xin)息(xi)高(gao)度(du)压(ya)缩。Ilya有个信(xin)念:如果你能高(gao)效压(ya)缩信(xin)息(xi),你一定已(yi)经(jing)得(de)到知(zhi)识(shi),不然你没法压(ya)缩信(xin)息(xi)。所以,你把(ba)信(xin)息(xi)高(gao)效压(ya)缩的(de)话,you got to have some knowledge(你得(de)有一些知(zhi)识(shi))。

Ilya坚信(xin)GPT3、3. 5,当(dang)然GPT-4更是(shi),它已经有一(yi)个世界(jie)模(mo)型在里面。虽然你做(zuo)的(de)事是(shi)predict next word(预测下(xia)一(yi)个关键词(ci)),这只不过(guo)是(shi)优化手段(duan),它已经表达了世界(jie)的(de)信(xin)息,而且它能(neng)持(chi)续地提高模(mo)型能(neng)力(li),尤其是(shi)目(mu)前(qian)研究比较多(duo)的(de)在子概念空间当(dang)中做(zuo)泛化。知识(shi)(shi)图(tu)谱(pu)真(zhen)的(de)不行。如果哪个同学(xue)做(zuo)知识(shi)(shi)图(tu)谱(pu),我认真(zhen)跟你讲,你不要用(yong)知识(shi)(shi)图(tu)谱(pu)。我自(zi)己(ji)也做(zuo)知识(shi)(shi)图(tu)谱(pu)20多(duo)年,just don’t do that。Just pretty bad。It does not work at all。You should use Transformer。(不要那样做(zuo)。很糟糕。它根本不起(qi)作用(yong)。你应该使(shi)用(yong)Transformer。)

更(geng)重要的(de)是用(yong)增强学习,加上人的(de)反馈,与人的(de)价(jia)值对齐。因为GPT已经做了(le)4年多,知识已经封装在里面了(le),过去真的(de)是用(yong)不起来,也(ye)很难用(yong)。

最(zui)大的是对(dui)(dui)齐(qi)(alignment engineering),尤(you)其是instruction following和自然语言对(dui)(dui)齐(qi)。当然也可以(yi)跟代码、表格、图表对(dui)(dui)齐(qi)。

做大模型是(shi)很难(nan)(nan)的(de)(de)(de),很大难(nan)(nan)度(du)是(shi)infra(基(ji)础设施)。我(wo)在(zai)微软的(de)(de)(de)时候,我(wo)们每个(ge)服务(wu)器(qi)都(dou)不用网(wang)卡,都(dou)放了FPGA。网(wang)络(luo)的(de)(de)(de)IO的(de)(de)(de)带(dai)宽速度(du)都(dou)是(shi)无(wu)限带(dai)宽技术(Infiniband),服务(wu)器(qi)和(he)服务(wu)器(qi)之间(jian)是(shi)直接(jie)访问内(nei)存。为(wei)什么?因为(wei)Transformer是(shi)密度(du)模型,它不光(guang)是(shi)算力问题,对带(dai)宽要求极高,你就想(xiang)GPT-4需要24000张(zhang)到25000张(zhang)卡训(xun)练,试想(xiang)世界(jie)上(shang)多少(shao)人(ren)能做这种系统(tong)。所有数据、data center网(wang)络(luo)架(jia)构都(dou)不一样(yang)。它不是(shi)一个(ge)三层的(de)(de)(de)架(jia)构,必须是(shi)东西向(xiang)的(de)(de)(de)网(wang)络(luo)架(jia)构。所以这里要做大量的(de)(de)(de)工作。

Token很重要。全世(shi)界可能(neng)有40-50个确定的(de)token,就是语言的(de)token和模(mo)(mo)态,现(xian)在有更多的(de)token化。当然现(xian)在更多的(de)模(mo)(mo)型的(de)参数小(xiao)型化、本(ben)地化,任务领域的(de)专业知识可以融(rong)入这些大模(mo)(mo)型当中。它的(de)可操(cao)纵性(xing)主(zhu)要是靠(kao)提示和调(diao)试(shi)(shi),尤其是根据指令来调(diao),或者对齐来调(diao)试(shi)(shi),或者in-context learning(上下文学习),这个已(yi)经贯(guan)彻(che)比较清晰了。它的(de)可操(cao)作性(xing)是越(yue)来越(yue)强(qiang)。可拓(tuo)展性(xing)基(ji)本(ben)上也(ye)足够。

加在一起,这个引(yin)擎并不完美。足够(gou)好、足够(gou)强的引(yin)擎,我没从没有过。

以(yi)上是(shi)引擎,拐点(dian)是(shi)怎么到的?ChatGPT能(neng)在历史上第一(yi)次两个月1亿活跃(yue)用(yong)户,挡(dang)都挡(dang)不(bu)住,为什(shen)么?

① 它封装了(le)世界上所(suo)有(you)知(zhi)识(shi)。

② 它有足够强的学习和(he)推理能(neng)(neng)力,GPT-3能(neng)(neng)力在(zai)高中(zhong)生和(he)大学生之间,GPT-4不光(guang)是(shi)进斯坦福,而(er)且(qie)是(shi)斯坦福排名很靠前的人。

③ 它的领域(yu)足够(gou)宽,知识足够(gou)深,又(you)足够(gou)好用。自然语言最大的突破(po)是好用。扩展(zhan)性也(ye)(ye)足够(gou)好。当然还是很贵,像2万多张卡,训练几(ji)(ji)个月这么大的工程。不过也(ye)(ye)没贵到(dao)那么离谱——Google可(ke)以做(zuo),微软可(ke)以做(zuo),中国几(ji)(ji)个大公司(si)(si)能(neng)做(zuo),创业公司(si)(si)融(rong)钱也(ye)(ye)能(neng)做(zuo)。

加在一起,范式的临界(jie)点到了。拐点已经到来。

稍(shao)微啰嗦几句(ju)(ju)。我做自(zi)然(ran)语(yu)言20多年(nian),原来(lai)的(de)自(zi)然(ran)语(yu)言处理有14种(zhong)任务,我能(neng)够把动词(ci)找(zhao)出(chu)来(lai)、名词(ci)找(zhao)出(chu)来(lai)、句(ju)(ju)子(zi)分析(xi)清(qing)楚。即使分析(xi)清(qing)楚,你知道这是(shi)(shi)形(xing)容(rong)词(ci),这是(shi)(shi)动词(ci),这是(shi)(shi)名词(ci)——那(nei)这个名词(ci)是(shi)(shi)包(bao)香烟?还(hai)是(shi)(shi)你的(de)舅舅?还(hai)是(shi)(shi)一(yi)个坟墓?还(hai)是(shi)(shi)个电影?No idea(不(bu)知道)。你需要的(de)是(shi)(shi)知识。自(zi)然(ran)语(yu)言处理没(mei)有知识永远(yuan)没(mei)用。

The only way to make natural language work is you have knowledge(让自然语(yu)言处理有效的唯一路径是你有知识)。正好Transformer把这(zhei)(zhei)么(me)多(duo)知识压缩在一起了,这(zhei)(zhei)是它(ta)的最大突破。

未来是(shi)一(yi)个模型无处(chu)不在的(de)时代

OpenAI未来2-3年要(yao)做(zuo)(zuo)的(de)(de)(de)——模(mo)(mo)型更稀疏一(yi)点(dian),现(xian)在它对带宽要(yao)求实在太(tai)高(gao),要(yao)把attention window拉长(zhang)一(yi)点(dian),或者(zhe)是recursion causality推理的(de)(de)(de)功能,包括(kuo)(kuo)brainstorming等一(yi)些(xie)工作要(yao)做(zuo)(zuo)。当然有一(yi)些(xie)grounding的(de)(de)(de)东西(xi),包括(kuo)(kuo)亚符号、子概(gai)念(nian)的(de)(de)(de)都(dou)可以做(zuo)(zuo)。更多(duo)的(de)(de)(de)模(mo)(mo)态,更多(duo)的(de)(de)(de)token空间(jian),更多(duo)的(de)(de)(de)模(mo)(mo)型稳定(ding)性,更多(duo)的(de)(de)(de)潜在空间(jian)(例如(ru)Latent Space对齐),更多(duo)的(de)(de)(de)计算,更多(duo)的(de)(de)(de)基础(chu)架构工具。2-3年基本(ben)排满。也就是说,我们大(da)概(gai)知道需要(yao)什么去把这(zhei)个引擎继续做(zuo)(zuo)大(da)。

不(bu)过这个飞轮启动,主要是资本大量进(jin)来(lai)。美国(guo)2023年1月(yue)(yue)到(dao)3月(yue)(yue),挡(dang)(dang)也挡(dang)(dang)不(bu)住(zhu),钱全进(jin)去了,每个月(yue)(yue)都在(zai)(zai)比上(shang)个月(yue)(yue)增长。中国(guo)基本也一(yi)样,商业模(mo)式、盈(ying)利模(mo)式有(you)初(chu)(chu)步规模(mo),基础设施、平台应(ying)用(yong)、生(sheng)态在(zai)(zai)加(jia)速开发,初(chu)(chu)创(chuang)公司、大型企业都在(zai)(zai)进(jin)入。

当然社会(hui)(hui)的(de)安全、监管,一大堆问题(ti)——现在(zai)这(zhei)些是OpenAI最头痛(tong)的(de)——Sam在(zai)美国花大量精力让社会(hui)(hui)认(ren)可这(zhei)个技术。现在(zai)OpenAI核(he)心(xin)做的(de)是,把推进速度(du)变慢,每推进新(xin)版(ban)本,都有(you)足够(gou)时间(jian)让用户(hu)给(ji)他(ta)们足够(gou)反馈(kui),找到潜在(zai)风险点,有(you)足够(gou)时间(jian)弥补。但(dan)加在(zai)一起(qi),增长飞轮的(de)雏形基本上起(qi)来了(le)。

有了飞轮,我(wo)认为(wei)发展路径核心是模型(xing)的(de)可延伸性和未来(lai)模型(xing)的(de)生态。是一个模型(xing)无(wu)处不在的(de)时代。

未来的(de)(de)(de)模(mo)型世界会(hui)(hui)怎么(me)发展(zhan)?首先是将有更(geng)(geng)多大模(mo)型会(hui)(hui)出(chu)来。更(geng)(geng)多更(geng)(geng)完(wan)整的(de)(de)(de)模(mo)态和(he)(he)更(geng)(geng)完(wan)整的(de)(de)(de)世界知识(shi)在这(zhei)里。你(ni)有大量的(de)(de)(de)知识(shi)、更(geng)(geng)多的(de)(de)(de)模(mo)态,学习(xi)能力、泛化(hua)能力和(he)(he)泛化(hua)机制一定会(hui)(hui)加(jia)强。

此外,会有(you)更多(duo)的对齐(qi)工作要做。OpenAI目前会关(guan)注什么呢(ni)?今天(tian)对齐(qi)基(ji)本(ben)上是做到,有(you)一(yi)部(bu)分人能接受(shou)但(dan)你也得(de)罪很多(duo)人,很多(duo)人每天(tian)骂GPT。他们想要做到是足(zu)够宽(kuan)的一(yi)个对齐(qi),希望有(you)个像美(mei)国(guo)宪章这(zhei)样一(yi)个结(jie)果,虽然(ran)ChatGPT不是大(da)家(jia)都能够认可,但(dan)它足(zu)够平稳、综合,大(da)部(bu)分人能接受(shou),这(zhei)是对齐(qi)工程。自然(ran)语言也好(hao),代码也好(hao),数学公(gong)式也好(hao),表单也好(hao),有(you)大(da)量对齐(qi)工作要做。

还有更(geng)多(duo)的(de)(de)模(mo)(mo)(mo)态(tai)(tai)对(dui)齐。这(zhei)里先讲human scale的(de)(de)模(mo)(mo)(mo)态(tai)(tai),它(ta)主(zhu)(zhu)要(yao)是(shi)(shi)对(dui)人(ren)的(de)(de)描(miao)述,以人(ren)的(de)(de)语言为主(zhu)(zhu),它(ta)的(de)(de)模(mo)(mo)(mo)态(tai)(tai)目前是(shi)(shi)语言和图形,以后(hou)有更(geng)多(duo)的(de)(de)模(mo)(mo)(mo)态(tai)(tai)会接入。这(zhei)是(shi)(shi)大(da)模(mo)(mo)(mo)型(xing)层面(mian)。

在大模(mo)型之上建立的(de)模(mo)型更多(duo)了(le)。我判(pan)断主要是有(you)两类模(mo)型和(he)他们(men)的(de)组合(he)。第一是事情的(de)模(mo)型,人类每一类需求(qiu)都有(you)领域/工作模(mo)型,其中(zhong)有(you)结构模(mo)型、流程模(mo)型、需求(qiu)模(mo)型和(he)任务模(mo)型,尤(you)其是记忆和(he)先验。

第二,人(ren)的(de)模(mo)(mo)型(xing),包括认(ren)知(zhi)/任(ren)务(wu)模(mo)(mo)型(xing),它是个体的(de),其(qi)中有专业模(mo)(mo)型(xing),有认(ren)知(zhi)模(mo)(mo)型(xing)、运动模(mo)(mo)型(xing)和(he)人(ren)的(de)记忆先验。人(ren)基本是这几类模(mo)(mo)型(xing)的(de)组合(he),律师也好,医生也好,大(da)量领域(yu)会(hui)有大(da)量模(mo)(mo)型(xing)往前走。

人的(de)(de)模型和学(xue)的(de)(de)模型有本质区别(bie),这是我(wo)过去(qu)1-2个(ge)(ge)月个(ge)(ge)人收获较多的(de)(de)。

首先,人(ren)(ren)(ren)一直在建立模型(xing)。人(ren)(ren)(ren)的(de)(de)模型(xing)好(hao)处是(shi)泛化(hua)(hua)的(de)(de)时(shi)候更深、更专业,基本是(shi)用(yong)符号(hao)(例如(ru)数学公式(shi))或结构(例如(ru)画流程图(tu))。它(ta)具体用(yong),说实话(hua)都(dou)(dou)不好(hao)用(yong)。人(ren)(ren)(ren)的(de)(de)模型(xing)要么像物(wu)理公式(shi)解(jie)(jie)决很(hen)宏(hong)观的(de)(de)问题,要么解(jie)(jie)决很(hen)微(wei)观的(de)(de)问题。我(wo)们(men)日常生(sheng)活的(de)(de)问题,物(wu)理一点(dian)用(yong)都(dou)(dou)没有——没法(fa)告诉我(wo)这(zhei)个树(shu)的(de)(de)叶子(zi)的(de)(de)形状,狗的(de)(de)猫的(de)(de)颜色为(wei)什么是(shi)这(zhei)样(yang)子(zi)?没有任何(he)模型(xing)可以(yi)解(jie)(jie)这(zhei)个。很(hen)大问题是(shi)它(ta)的(de)(de)模型(xing)是(shi)静态的(de)(de),不会场景(jing)变化(hua)(hua)。

今天有(you)很(hen)多模型(xing),比方说(shuo)数字孪生,很(hen)难(nan)用(yong)(yong)。因为物理世界(jie)一(yi)直在变(bian),这个模型(xing)僵硬、不(bu)变(bian),就(jiu)用(yong)(yong)不(bu)起来。尤(you)其是(shi)用(yong)(yong)知(zhi)识(shi)图(tu)谱建的模型(xing),我(wo)做了几(ji)十年,超级难(nan)算,函(han)数结构(gou)差(cha)得一(yi)塌糊涂。所以人的模型(xing)有(you)好处(chu),专业性强,但(dan)有(you)很(hen)大缺点。

学出来的(de)(de)(de)(de)(de)模(mo)型,首先(xian),它(ta)本质是(shi)(shi)场(chang)景(jing)(jing)化(hua)的(de)(de)(de)(de)(de),因为它(ta)的(de)(de)(de)(de)(de)token是(shi)(shi)场(chang)景(jing)(jing)化(hua)的(de)(de)(de)(de)(de)。其次,它(ta)适应性(xing)(xing)(xing)很强(qiang),环境变了,token也变了,模(mo)型自然会(hui)随(sui)着环境变;第三,它(ta)的(de)(de)(de)(de)(de)泛化(hua)拓(tuo)展(zhan)性(xing)(xing)(xing)有大量(liang)理论工作要做,但是(shi)(shi)目前子概念空间的(de)(de)(de)(de)(de)泛化(hua),看来是(shi)(shi)很有潜在发展(zhan)空间的(de)(de)(de)(de)(de)这样(yang)一种模(mo)型的(de)(de)(de)(de)(de)特性(xing)(xing)(xing)。它(ta)好用,因为它(ta)可以对齐人的(de)(de)(de)(de)(de)使用倾向或人的(de)(de)(de)(de)(de)自然语言、表格等(deng)等(deng)。它(ta)的(de)(de)(de)(de)(de)计(ji)算性(xing)(xing)(xing)内在是(shi)(shi)过(guo)程性(xing)(xing)(xing)的(de)(de)(de)(de)(de)。这里(li)有大的(de)(de)(de)(de)(de)问(wen)题(ti)(ti),就是(shi)(shi)人表达知(zhi)识(shi)倾向运用结构,但真正能解决问(wen)题(ti)(ti)的(de)(de)(de)(de)(de)是(shi)(shi)过(guo)程,人不适合(he)用过(guo)程来表达。

ChatGPT代(dai)表的(de)(de)(de)模型(xing)(xing)跟人(ren)的(de)(de)(de)模型(xing)(xing)相(xiang)辅(fu)相(xiang)成(cheng)(cheng),长期可(ke)以(yi)融在一起(qi)。我们(men)看到的(de)(de)(de)未来是(shi)更多模型(xing)(xing)的(de)(de)(de)生态,新(xin)(xin)的(de)(de)(de)领(ling)域(yu)、新(xin)(xin)的(de)(de)(de)专业、新(xin)(xin)的(de)(de)(de)结构、新(xin)(xin)的(de)(de)(de)场景、新(xin)(xin)的(de)(de)(de)适应能(neng)力(li),形成(cheng)(cheng)闭环,不(bu)断加强(qiang)认(ren)知和(he)推理能(neng)力(li)。当(dang)然,最终(zhong)还是(shi)要所谓叫grounding,跟感知要ground,和(he)接入行动的(de)(de)(de)能(neng)力(li),形成(cheng)(cheng)真正的(de)(de)(de)智能(neng)。

某种意义上20-30年后,这个(ge)模型(xing)世(shi)(shi)界(jie)(jie)跟生物(wu)世(shi)(shi)界(jie)(jie)有很多类似的(de)地方。大模型(xing)我(wo)觉得像基因,有不(bu)同的(de)种类,然后进化。我(wo)们目前能看到未来(lai)核心技(ji)术模型(xing)世(shi)(shi)界(jie)(jie),它是用(yong)这个(ge)方法(fa)来(lai)向前驱(qu)动。

我们基本对这个(ge)时(shi)代的(de)范式(shi)有了结构性(xing)的(de)理(li)解。那么接(jie)下来,我们如何拥抱这个(ge)时(shi)代?

对每个(ge)人、每个(ge)行业都有结构性影响

我(wo)(wo)个(ge)人过去10个(ge)月,每天看东西是挺多的,但最近(jin)(jin)实在受不了。就真的是跟(gen)(gen)(gen)不上。发(fa)展速度(du)非常(chang)非常(chang)快。最近(jin)(jin)我(wo)(wo)们(men)开始发(fa)行“大模(mo)型日(ri)报”,是我(wo)(wo)实在不行了,论文实在是跟(gen)(gen)(gen)不上,代码实在是跟(gen)(gen)(gen)不上——just too much(太(tai)多了)

世界在哗哗哗地变。我(wo)曾经说(shuo)1995-1996年有这种感觉,但这个比1995-1996年还(hai)要(yao)强。为什么?模型(xing)的成(cheng)本从(cong)边际转(zhuan)向固定(ding),知识(shi)创造就是模型(xing)和知识(shi)的获取,它结(jie)构性做演变了(le)。

生产(chan)资(zi)本从两个(ge)(ge)层次全面提高(gao)。第一(yi),所(suo)有(you)动脑(nao)筋的(de)(de)(de)工(gong)作,可以降低(di)成本、提升产(chan)能。我们目前有(you)一(yi)个(ge)(ge)基本假设(she),码农成本会(hui)降低(di),但(dan)对码农的(de)(de)(de)需求会(hui)大量增加,码农不用担心。因为(wei)对软(ruan)件(jian)的(de)(de)(de)需求会(hui)大量增加,就是这个(ge)(ge)东西便宜了,都(dou)买嘛。软(ruan)件(jian)永远(yuan)可以解决(jue)更多(duo)问题,但(dan)有(you)些行业未必。这是生产(chan)资(zi)本的(de)(de)(de)广泛提高(gao)。

第二,生产(chan)资(zi)本(ben)(ben)深(shen)(shen)层提(ti)升。有一(yi)些行(xing)业(ye)(ye)(ye)的(de)(de)(de)生产(chan)资(zi)本(ben)(ben)本(ben)(ben)质是(shi)模(mo)(mo)(mo)型(xing)(xing)驱(qu)动(dong),比如医(yi)疗就是(shi)一(yi)个(ge)模(mo)(mo)(mo)型(xing)(xing)行(xing)业(ye)(ye)(ye),一(yi)个(ge)好医(yi)生是(shi)一(yi)个(ge)好模(mo)(mo)(mo)型(xing)(xing),一(yi)个(ge)好护士是(shi)一(yi)种好模(mo)(mo)(mo)型(xing)(xing)。医(yi)疗这种产(chan)业(ye)(ye)(ye),本(ben)(ben)质是(shi)强模(mo)(mo)(mo)型(xing)(xing)驱(qu)动(dong)。现(xian)在模(mo)(mo)(mo)型(xing)(xing)提(ti)高(gao)了,科(ke)学(xue)也随(sui)之提(ti)高(gao)。在游戏(xi)核心产(chan)业(ye)(ye)(ye),我们(men)的(de)(de)(de)产(chan)能将本(ben)(ben)质性(xing)、深(shen)(shen)度提(ti)高(gao)。产(chan)业(ye)(ye)(ye)的(de)(de)(de)发(fa)展速度会加快(kuai),因(yin)为科(ke)学(xue)的(de)(de)(de)发(fa)展速度加快(kuai)了,开发(fa)的(de)(de)(de)速度加快(kuai)了,每个(ge)行(xing)业(ye)(ye)(ye)的(de)(de)(de)心跳都会加快(kuai)。因(yin)此,我们(men)认为下个(ge)拐点会加速。用大模(mo)(mo)(mo)型(xing)(xing)做机器人、自动(dong)化(hua)、自动(dong)驾驶,挡也挡不住。

它对每(mei)个(ge)(ge)(ge)人都将产(chan)生深远和系(xi)统性(xing)影响。我们的假设是(shi)(shi)每(mei)个(ge)(ge)(ge)人很快将有(you)副(fu)驾(jia)(jia)驶员,不光是(shi)(shi)1个(ge)(ge)(ge),可(ke)能5个(ge)(ge)(ge)、6个(ge)(ge)(ge)。有(you)些副(fu)驾(jia)(jia)驶员足够强,变(bian)成正驾(jia)(jia)驶员,他自(zi)动可(ke)以(yi)去帮(bang)你做事。更长(zhang)期,我们每(mei)个(ge)(ge)(ge)人都有(you)一个(ge)(ge)(ge)驾(jia)(jia)驶员团队服务。未来的人类组(zu)织(zhi)是(shi)(shi)真人,加上他的副(fu)驾(jia)(jia)驶员和真驾(jia)(jia)驶员一起协(xie)同(tong)。

毫无疑问(wen),每个行业也会(hui)有(you)结构性影响,会(hui)系统性重组。这里有(you)一个简单公式。今天(tian)动脑筋(jin)的人一天(tian)平(ping)均(jun)工资多少(shao)小时?减掉(diao)ChatGPT现在大概平(ping)均(jun)是15美(mei)(mei)元(yuan)/小时,再过3年可(ke)能不到(dao)1美(mei)(mei)元(yuan),再过5年可(ke)能几(ji)十美(mei)(mei)分。然后就乘一下有(you)多少(shao)数量。降本或者增效,让(rang)码农能变成super码农,医(yi)生(sheng)变成super医(yi)生(sheng)。

大家可以按这(zhei)个公式(shi)算一算。如果你是华尔(er)街的对冲基金(jin),你可以做(zuo)空一大堆行业。

举个简(jian)单(dan)例子,律师在(zai)美国平均(jun)1500美元/小时(shi),我在(zai)网上已(yi)经(jing)看到每天有这种信息——如果(guo)你(ni)想(xiang)离婚(hun),不要找(zhao)离婚(hun)律师,ChatGPT离婚(hun)很便(bian)宜啊!(全场笑)

开发(fa)人员(yuan)、设计师、码农、研究人员(yuan)都一(yi)样,有些是更多需求,有些是成本下降。尤其(qi)是核心产业,科(ke)学、教育、医疗,这是OpenAI长期(qi)最关注的3个行业,也是整个社会最根本的。

尤其是(shi)医疗。在中国,需求远远大于供给(ji)。而(er)且,中国是(shi)大政府(fu)驱动的市场经(jing)济,政府(fu)可以(yi)扮演(yan)更大角色,因(yin)为固定成本政府(fu)可以(yi)承担。

最为重要(yao)的(de)是(shi)(shi)教育。如果你(ni)是(shi)(shi)大学(xue),你(ni)第一(yi)担心的(de)是(shi)(shi),考试怎(zen)么(me)考?没法考了(le)。他一(yi)问ChatGPT,什么(me)都(dou)知道。更(geng)重要(yao)的(de)是(shi)(shi),以后怎(zen)么(me)定义是(shi)(shi)好(hao)的(de)大学(xue)生呢?假定说有个大学(xue)生什么(me)都(dou)不懂(dong)(dong),物理也(ye)不懂(dong)(dong)、化学(xue)也(ye)不懂(dong)(dong),但(dan)他懂(dong)(dong)怎(zen)么(me)问ChatGPT,他算(suan)不算(suan)一(yi)个好(hao)的(de)大学(xue)生?机会与挑战并存。

总结一下(xia),整个这个时代在高速地进行(xing),速度越来越快。它是结构上决定的。势不可挡。

大模型的淘金时代

对机(ji)会点进行结构性拆解

现在,我(wo)(wo)给大(da)家(jia)一(yi)个(ge)结(jie)构化(hua)思维框架。某种意义(yi)上你可以对(dui)号入座,知道(dao)我(wo)(wo)在这里,我(wo)(wo)怎么(me)思考今天的机会(hui)点。

image.png

这(zhei)张图是整个人类技术驱(qu)动的(de)创(chuang)业创(chuang)新,所有事情的(de)机会(hui)都在这(zhei)张图上。

首先(xian),底层是数字化(hua)的(de)(de)(de)技术,因为数字化(hua)是人的(de)(de)(de)延伸。数字化(hua)的(de)(de)(de)基(ji)(ji)础里有(you)平(ping)台(tai),有(you)发展基(ji)(ji)础,包括(kuo)开(kai)源(yuan)的(de)(de)(de)代码、开(kai)源(yuan)的(de)(de)(de)设计、开(kai)源(yuan)的(de)(de)(de)数据;平(ping)台(tai)有(you)前端、后端等(deng)。这里有(you)大(da)量机会。

第(di)二,波是用(yong)数字化的(de)(de)能力去解决人的(de)(de)需(xu)求。我们(men)把数字化应用(yong)完(wan)整放在(zai)这张(zhang)表上。

1)C端(duan),是(shi)(shi)(shi)把所有(you)的(de)人(ren)(ren)分成人(ren)(ren)群(qun),每种人(ren)(ren)群(qun)24小时,他花(hua)时间干什么(me)?有(you)通讯、社交、内容、游(you)戏消费、旅(lv)游(you)、健身……C端(duan)有(you)一(yi)类特殊的(de)人(ren)(ren),这类人(ren)(ren)是(shi)(shi)(shi)改变世界的(de),是(shi)(shi)(shi)码农(nong)、设计师、研究员。他们创造未来(lai)。微软(ruan)这么(me)大的(de)公司,是(shi)(shi)(shi)基于一(yi)个简单理念:微软(ruan)我们就是(shi)(shi)(shi)要写更多软(ruan)件(jian)、帮别人(ren)(ren)写更多软(ruan)件(jian),因为写软(ruan)件(jian)是(shi)(shi)(shi)未来(lai)。

2)B端(duan),企业(ye)需求也一样,降(jiang)本增效。它要生产(chan),有(you)供应链(lian)、销售、客服(fu)……有(you)了这些需求之后,数字化看(kan)得见的(de)体(ti)验结构有(you)6种:给(ji)你信(xin)息的(de),二维就(jiu)够;给(ji)你三维交(jiao)互体(ti)验,在游(you)戏、元宇宙;人(ren)和人(ren)之间抽象(xiang)的(de)关(guan)系(xi),包(bao)括信(xin)任关(guan)系(xi)、Web 3;人(ren)在物理(li)世界环中自动驾驶(shi)、机(ji)器人(ren)等;人(ren)的(de)内在的(de)用碳机(ji)植入(ru)到里面,今(jin)天是(shi)脑机(ji)接口,以后有(you)更多,以后是(shi)可以用硅基;最后是(shi)给(ji)你模型。

最后,人类是(shi)挺奇怪的物种,不光要(yao)满足这些需(xu)(xu)求(qiu),还(hai)要(yao)改(gai)变世界(jie),我们在满足世界(jie)时,也(ye)要(yao)获得更(geng)多能(neng)源(yuan),所以需(xu)(xu)要(yao)有能(neng)源(yuan)pg电子;需(xu)(xu)要(yao)转(zhuan)化(hua)(hua)能(neng)源(yuan),用生命科学的形式,biological process转(zhuan)化(hua)(hua)能(neng)源(yuan)或(huo)者(zhe)(zhe)使用mechanical process,材料(liao)结构来(lai)转(zhuan)化(hua)(hua)能(neng)源(yuan),或(huo)者(zhe)(zhe)是(shi)新的空间。这是(shi)第三波。

所(suo)以(yi)创业公司基本上(shang)有三类(lei):数(shu)字化基础,用数(shu)字化去(qu)解决人的需(xu)求,去(qu)改(gai)变(bian)物理世界。有了这个(ge)大的框架,我们可以(yi)系统(tong)性地来(lai)看对号入座:我在(zai)哪个(ge)位置(zhi)?如果我在(zai)这个(ge)位置(zhi),需(xu)要关注哪些(xie)点?

image.png


首先讲数字化(hua)基(ji)础,它有一(yi)个稳定结(jie)构(gou),不管(guan)再(zai)怎么发展,结(jie)构(gou)永远(yuan)是(shi)这(zhei)(zhei)样。过去30多(duo)年,大(da)部分系(xi)统(tong)或多(duo)或少我都碰(peng)过,这(zhei)(zhei)个结(jie)构(gou)确(que)实相当稳定。

核心是前(qian)端(duan)和后(hou)端(duan)——前(qian)端(duan)是完整(zheng)可延(yan)伸的(de)体验,后(hou)端(duan)是完整(zheng)可延(yan)伸的(de)能(neng)力(li),有设备端(duan),比(bi)方说电脑、手机、眼镜、汽车等(deng)等(deng),设备端(duan)里面是芯片、模组加上操作系(xi)统。万亿美(mei)元(yuan)的(de)公(gong)司(si)都在这(zhei)一(yi)层。

其次是体验的容(rong)器,二维的容(rong)器,三维的容(rong)器,内在嵌入的容(rong)器。

容(rong)器之上,写代码都知道画(hua)布,画(hua)布可(ke)以是文(wen)档,可(ke)以是聊天,可(ke)以是代码,可(ke)以是空间(jian),可(ke)以是世(shi)界(jie),可(ke)以是数字人,也(ye)可(ke)以是碳基里的蛋白(bai)质等等。这是前(qian)端。

后端也(ye)一样,底层式设备,服务器(qi)、交换机(ji)、数据中心(xin)等(deng)等(deng),也(ye)是(shi)芯(xin)片、模组、操作系统。

中(zhong)间这一层非(fei)常重要,网络数据堆栈,分布式系统,区块(kuai)链等等。

最上面是(shi)(shi)云,是(shi)(shi)能力(li)的供(gong)给(ji)(ji)。能力(li)供(gong)给(ji)(ji)像自然水源,打开就(jiu)是(shi)(shi)算力(li),有存储(chu)和通讯能力(li)。今(jin)天的模(mo)(mo)型时(shi)代,打开就(jiu)是(shi)(shi)模(mo)(mo)型。

下(xia)面(mian)是数字化基(ji)础。符号计(ji)算(suan),或者所谓(wei)的(de)(de)深(shen)度学习,叠(die)加(jia)向量(liang)的(de)(de)浮点(dian)计(ji)算(suan),硅基(ji)的(de)(de),碳(tan)基(ji)的(de)(de)。

如果你是这里(li)的创业者,机会(hui)点(dian)在(zai)哪里(li)?

image.png


① 首先搬运(yun)信息,这(zhei)个时代还有很多可以做。

② 如果你是做(zuo)模(mo)(mo)型的(de)(de),我现在判断什么都要(yao)重做(zuo)一遍。大模(mo)(mo)型为先。很多设备也(ye)要(yao)重做(zuo),你要(yao)支持大模(mo)(mo)型,容器要(yao)重做(zuo),这(zhei)些都有机会(hui)。云(yun)、中间的(de)(de)基础(chu)设施、底(di)层的(de)(de)硬件,包括数字化发展核心的(de)(de)基础(chu),尤其是开(kai)源的(de)(de)体系,这(zhei)里是真正意义上是有大量机会(hui)。

③ 第三代系统,即(ji)已经开始做机器人(ren)、自(zi)(zi)动化、自(zi)(zi)主系统。孙正义今天all in。这(zhei)(zhei)个也能用大模(mo)型做。马斯克(ke)也看到这(zhei)(zhei)种机会。都是(shi)在第三代下一个拐点,创业公司完全(quan)可以把握的(de)机会。

④ 同时(shi)并行的(de),我把(ba)它称(cheng)作“第三代++系统”,是碳(tan)基的(de)生物计(ji)算,这一类公司有大量的(de)量子计(ji)算,有很多机(ji)会。元宇宙和Web 3今天点冷,但从历史长河角(jiao)度来(lai)讲,只是时(shi)间问题,因为这些(xie)技术都能(neng)真正意义上(shang)带来(lai)未来(lai)的(de)人类价值(zhi)。

所以如果是(shi)这个(ge)创业项目,基础层机(ji)会就在这里。这是(shi)最好(hao)的生意。为什么?这个(ge)时代(dai)跟淘(tao)金时代(dai)很像。如果你那个(ge)时候去加州淘(tao)金,一大堆人(ren)(ren)会死掉,但是(shi)卖勺子(zi)的人(ren)(ren)、卖铲子(zi)的人(ren)(ren)永(yong)远可(ke)以赚钱。所谓的shove and pick business。

大模(mo)(mo)型是平台型机会。按(an)照我们几天的(de)判断,以(yi)模(mo)(mo)型为先(xian)的(de)平台,将比(bi)以(yi)信(xin)息为先(xian)的(de)平台体量更(geng)大。平台有以(yi)下几个特(te)征:

① 它是开箱即用;

② 要有一个足够简单和好的商业模式,平(ping)台(tai)是(shi)开(kai)发者可以(yi)活(huo)在上面(mian),可以(yi)赚(zhuan)足够的钱、养活(huo)自己,不然不叫平(ping)台(tai);

③ 他有自己杀手级应用(yong)。ChatGPT本身(shen)是(shi)(shi)(shi)个杀手应用(yong),今天平(ping)台(tai)公(gong)司就是(shi)(shi)(shi)你(ni)在苹(ping)(ping)果(guo)生态上,你(ni)做(zuo)得再(zai)好(hao),只要做(zuo)大(da)苹(ping)(ping)果(guo)就把你(ni)没收了,因为它要用(yong)你(ni)底层的东西,所以你(ni)是(shi)(shi)(shi)平(ping)台(tai)。平(ping)台(tai)一般(ban)都有它的锚点,有很强(qiang)的支(zhi)撑(cheng)点,长(zhang)期OpenAI设备(bei)机(ji)会有很多——有可能这(zhei)是(shi)(shi)(shi)历史(shi)上第(di)一个10万亿美元的公(gong)司。

这是一场激烈的(de)竞(jing)争平台之战,未(wei)来一个体量很(hen)大(da)的(de)公(gong)司。在(zai)这个领域竞(jing)争是无比(bi)激烈。The price is too big(代价(jia)实在(zai)太大(da)),错过太可惜。再怎(zen)么也得试一试。

今(jin)天的模型(xing)鲁棒性、脆(cui)弱性,还(hai)是(shi)问题。用(yong)这个模型(xing),你一定(ding)要(yao)(yao)一开始稍微(wei)窄一点,限制要(yao)(yao)严(yan)一点,这样的话体验是(shi)稳定(ding)的,等(deng)到(dao)(dao)模型(xing)能力(li)越来(lai)越强(qiang)再把(ba)它放宽,找到(dao)(dao)适(shi)当(dang)的场景,循序渐进。质(zhi)量和宽度(du)之间的平衡(heng)很重要(yao)(yao)。另外发展路径(jing)上(shang)(shang),你要(yao)(yao)考虑今(jin)天产品要(yao)(yao)不要(yao)(yao)在(zai)这个上(shang)(shang)基(ji)础上(shang)(shang)改(gai),重启(qi)炉灶,还(hai)是(shi)齐头并进。把(ba)这个团(tuan)队给改(gai)了、重做,还(hai)到(dao)(dao)外面去(qu)买(mai)公司?

创(chuang)新(xin),尤其是(shi)(shi)创(chuang)业公司落地(di),它(ta)永远是(shi)(shi)技术(shu)推(tui)动和(he)需(xu)求(qiu)拉动的(de)组合(he)。在(zai)落地(di)的(de)过(guo)程中(zhong)(zhong),对(dui)需(xu)求(qiu)理解的(de)把控,掌握和(he)满足需(xu)求(qiu)的(de)方法是(shi)(shi)一(yi)切当中(zhong)(zhong)最(zui)重(zhong)要(yao)。长(zhang)期一(yi)定是(shi)(shi)技术(shu)驱动为主,但在(zai)落地(di)的(de)时候对(dui)需(xu)求(qiu)的(de)拆解、分析、梳理,把控好需(xu)求(qiu),是(shi)(shi)一(yi)切的(de)一(yi)切。

有一(yi)个机密大(da)家今天(tian)都(dou)知(zhi)道了——OpenAI是(shi)用GPT-4做GPT-5,每个码农都(dou)是(shi)放(fang)大(da)能(neng)力的码农。它规(gui)模(mo)效应不(bu)一(yi)样(yang),马太效应不(bu)一(yi)样(yang),从此壁(bi)垒和竞(jing)争格局(ju)不(bu)一(yi)样(yang),知(zhi)识产权结果(guo)不(bu)一(yi)样(yang),国际化(hua)的格局(ju)也(ye)不(bu)一(yi)样(yang)。中国显然有机会。

我对(dui)创业者有(you)几点建议

创业公司的内(nei)在结(jie)构是(shi)(shi)(shi)人(ren)和事的组合。人(ren),一开(kai)始(shi)是(shi)(shi)(shi)创始(shi)人(ren)/创始(shi)团队;他有初心,内(nei)在驱动(dong)力、外在驱动(dong)力;他能独立思考,判(pan)断未来;他能行动(dong)导向(xiang),解决问题;他能需求导向(xiang),找到(dao)价(jia)值(zhi)(zhi);最(zui)终通过沟通获得(de)资(zi)源。接下来是(shi)(shi)(shi)产品市(shi)场(chang)匹配,这部分就是(shi)(shi)(shi)研发技术、研发产品、交付(fu)产品。商业模式是(shi)(shi)(shi)收(shou)到(dao)钱、更多增(zeng)长、触(chu)(chu)达(da)更多客户、融更多钱、一直触(chu)(chu)达(da)到(dao)未来的价(jia)值(zhi)(zhi)。组织(zhi)上,通过系统建设,开(kai)拓面向(xiang)未来的人(ren)才、组织(zhi)结(jie)构和文化(hua)价(jia)值(zhi)(zhi)观等(deng)等(deng)。这一切就是(shi)(shi)(shi)一家(jia)公司的总和。


image.png


我(wo)们对每位同学的建议是,不要(yao)轻举(ju)妄动,首先(xian)要(yao)思考。

① 不(bu)要(yao)浮(fu)夸,不(bu)能蹭(ceng)热(re)。我个人最反对蹭(ceng)热(re),你要(yao)做大模型,想好到底做什么,大模型真正(zheng)是怎么回事,跟你的创业(ye)方(fang)向(xiang)在哪个或哪几个维度有本质关系(xi)。蹭(ceng)热(re)是最不(bu)好的行为,会(hui)浪费机会(hui)。

② 在(zai)这个阶段要勤于学习(xi)。新范(fan)式有(you)多个维度(du),有(you)蛮大(da)复杂性,该(gai)看(kan)(kan)到的(de)(de)论文要看(kan)(kan),尤其现在(zai)发展(zhan)实在(zai)太快,非(fei)确定(ding)性很大(da)。我的(de)(de)判断都(dou)有(you)一定(ding)灰(hui)度(du),不能(neng)说看(kan)(kan)得很清楚,但大(da)致是(shi)看(kan)(kan)到是(shi)这样的(de)(de)结果。学习(xi)花时间,我强烈推荐。

③ 想清楚(chu)之后(hou)要(yao)行(xing)动导(dao)向,要(yao)果断、有规(gui)划地采取行(xing)动。如(ru)果这(zhei)一次(ci)变革(ge)对你所在的(de)产(chan)业带(dai)来结构(gou)性影(ying)响(xiang),不进则退(tui)(tui)。你不往前(qian)走没退(tui)(tui)路的(de),今天的(de)位置守(shou)不住。如(ru)果你所在的(de)产(chan)业被直接(jie)影(ying)响(xiang)到,你只能采取行(xing)动。

接下来我想讲几(ji)个维(wei)度——每个公(gong)司是(shi)一组(zu)(zu)能力(li)的组(zu)(zu)合。

① 产(chan)品(pin)开发能(neng)力(li)方(fang)面,如(ru)(ru)果你的(de)(de)公司以软件为主,毫无(wu)疑问(wen)一(yi)定(ding)(ding)对你有影(ying)响,长期(qi)影(ying)响大得不得了。尤其(qi)是如(ru)(ru)果你是做(zuo)C端,用户体验(yan)的(de)(de)设计一(yi)定(ding)(ding)有影(ying)响,你今天就要认真考(kao)虑未来怎么办。

② 如果你(ni)的(de)(de)公司是自己研(yan)(yan)发(fa)(fa)技(ji)(ji)术(shu),短(duan)期(qi)有(you)局(ju)部和间接影(ying)(ying)(ying)响(xiang)(xiang),它(ta)可以帮(bang)助你(ni)思考技(ji)(ji)术(shu)的(de)(de)设(she)计(ji)。长期(qi)核(he)心技(ji)(ji)术(shu)的(de)(de)研(yan)(yan)发(fa)(fa)也(ye)会(hui)受影(ying)(ying)(ying)响(xiang)(xiang)。今(jin)天芯(xin)片的(de)(de)设(she)计(ji)是大(da)量(liang)的(de)(de)工具,以后大(da)模型一定会(hui)影(ying)(ying)(ying)响(xiang)(xiang)芯(xin)片研(yan)(yan)发(fa)(fa)。类似的(de)(de),蛋白(bai)质是蛋白(bai)质结构设(she)计(ji)。不管(guan)你(ni)做什么(me),未来的(de)(de)技(ji)(ji)术(shu)它(ta)都影(ying)(ying)(ying)响(xiang)(xiang)。短(duan)期(qi)不直接影(ying)(ying)(ying)响(xiang)(xiang),长期(qi)可能有(you)重大(da)影(ying)(ying)(ying)响(xiang)(xiang)。

③ 满足需(xu)求能力,满足需(xu)求基本就要触(chu)达用户,供应(ying)链(lian)(lian)或运(yun)维(wei)一定(ding)受影响。软件的运(yun)维(wei)可以用GPT帮(bang)你做,硬件的供应(ying)链(lian)(lian)未(wei)必(bi)。长期(qi)来看有变革机会,因为上(shang)下游结(jie)构会变。你要判断你在这个产(chan)业(ye)的结(jie)构会不(bu)会变。

④ 商业价(jia)值(zhi)的探索、触达用(yong)户(hu)、融资,这一(yi)切(qie)它可以(yi)帮你思考、迭代。

48.png


最后(hou)是关于人才和组织。

① 首先(xian)讲创(chuang)(chuang)始人(ren)。今天创(chuang)(chuang)始人(ren)技术(shu)能力(li)强,好像很牛、很重要,未(wei)来真的(de)不重要。技术(shu)ChatGPT以(yi)后都能帮你(ni)做(zuo)。你(ni)作为创(chuang)(chuang)始人(ren),越(yue)(yue)来越(yue)(yue)重要、越(yue)(yue)来越(yue)(yue)值钱(qian)的(de)是愿力(li)和(he)心力(li)。愿力(li)是对于(yu)未(wei)来的(de)独到的(de)判断和(he)信(xin)念,坚持、有强的(de)韧劲。这是未(wei)来的(de)创(chuang)(chuang)始人(ren)越(yue)(yue)来越(yue)(yue)重要的(de)核心素养。

② 对(dui)初创团队,工具能帮助探索方向,加速想法(fa)的迭代(dai)、产(chan)品的迭代(dai),甚(shen)至资源获取(qu)。

③ 对未来人才(cai)的培养,一方面学(xue)习工(gong)具,思考和探索机会,长期适当时候(hou)培养自己的prompt engineer(提示工(gong)程师)。

④ 最后讲到组织文化建设,要更深(shen)入(ru)思考(kao),及早做准备,把握时代的(de)机会。尤其(qi)是考(kao)虑有很多职能已经有副驾驶员,写代码(ma)也(ye)好,做设计也(ye)好,这(zhei)之间怎(zen)么(me)协同(tong)?

我们面临这样一个(ge)(ge)时代(dai)的(de)机会。它既是机会,也是挑(tiao)战。我们建议你就这个(ge)(ge)机会做全方位思(si)考。

右侧固定栏
返回顶部
给我留言

验证码:

看不清换一张