henry 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
為大模型開啟“下半場”的姚順雨,也開啟了個人AI的下半場。
就在最近,這位明星OpenAI華人研究員的動態(tài),開始被火熱關(guān)注。
之前有人說他出現(xiàn)在小扎的必挖名單上,也有人最近爆料他即將加盟其他的巨頭——而且是中國科技巨頭,“轉(zhuǎn)會費”也有了驚人傳聞。以及還有一種說法,姚順雨選擇個人創(chuàng)業(yè)……
姚順雨去哪兒?還不知道。
但姚順雨離職OpenAI,得到了不同渠道的證實,只差個人官宣。
他似乎就此要開啟個人AI的下半場了。
這個剛剛29歲的年輕人,合肥一中畢業(yè)、NOI奧賽銀牌、高考704分以安徽探花進入清華姚班,最后在普林斯頓獲得計算機博士(語言和強化學習方向),畢業(yè)就加入了OpenAI……
而且更早之前,姚順雨就有著突出而知名的科研成果,比如:
思維樹(Tree of Thoughts):讓LLM反復(fù)思考,大幅提高推理能力
SWE-bench:一個大模型能力評估數(shù)據(jù)集。
SWE-agent:一個開源AI程序員。
ReAct…
甚至還有超越年齡的哲思,一篇“AI下半場”的博文,在AI圈內(nèi)外洛陽紙貴。
所以姚順雨,究竟是一個怎樣的年輕人?
姚順雨成長之路
在2024年剛加入OpenAI不久,姚順雨在一次采訪中推薦了一本書——《哥德爾、艾舍爾、巴赫:集異璧之大成》。
這部由人工智能先驅(qū)侯世達撰寫的經(jīng)典著作,將哥德爾的不完備定理、艾舍爾的錯覺繪畫和巴赫的復(fù)調(diào)卡農(nóng)巧妙融匯,展現(xiàn)了這些看似無關(guān)的元素如何在計算機的通用遞歸系統(tǒng)中彼此呼應(yīng),并留下了一句意味深長的話:覓之,便有所獲。
正如這本書所啟發(fā)的那樣,跨學科的眼光與對復(fù)雜信息的開放態(tài)度,似乎貫穿著姚順雨的整個求學生涯,并逐漸形成一種個人的風格特質(zhì)。
和所有的學霸一樣,姚順雨初中就讀于合肥最好的學校之一——合肥45中(2009—2012),初中畢業(yè)后升入合肥市第一中學。
2014 年,他在全國信息學奧林匹克競賽(NOI)中以495分斬獲銀牌;次年高考以理科704分的成績位列安徽省第三,進入清華交叉信息研究院姚班,主修計算機科學。
而這看似“標準學霸”的開局背后,其實孕育著一顆不太一樣,甚至稍有反叛的氣質(zhì)。
△來自清小華
姚順雨在采訪中透露,相較其他清華姚班的同學專注于一點,不斷深挖的品質(zhì),他更愛看很多數(shù)學,歷史,乃至種各樣亂七八糟的東西。
而他對嘻哈音樂的熱愛,也早已不是什么新聞。
艾米納姆、蛋堡、熱狗、Jcole等說唱歌手伴隨著他的初高中,而在清華他還是清華大學學生說唱社聯(lián)合創(chuàng)始人。
值得一提的是,在清華大學2019年各類型自主選拔復(fù)試的開營儀式上,姚順雨就給未來的學弟學妹們甩出了一句堪稱“freestyle”的理由,解釋自己為什么選清華:
但是對于我來說,選擇清華、北大并不是問題,因為北大沒有我姓氏命名的班級。
除了擔任說唱社聯(lián)合創(chuàng)始人外,姚順雨還擔任清華的招生志愿者和姚班聯(lián)席會主席。在談及姚班對他的影響時,他提到:
姚班很注重理論基礎(chǔ)課程的學習,像操作系統(tǒng)或電路設(shè)計相關(guān)的課,看上去和科研好像沒有任何關(guān)系,但是現(xiàn)在看來還是有些幫助的。它能使你對計算機科學的全貌有基本了解。
△(姚班合影,清華招生公眾號)
這種兼容各類信息、涉獵不同學科并從中尋找樂趣的跨界氣質(zhì),在姚順雨身上表現(xiàn)得尤為明顯。用以賽亞·伯林的話來說,他更像是一只“狐貍”,而不是一只“刺猬”,而這也體現(xiàn)在他后續(xù)的研究中。
(注:柏林的“刺猬”比喻那些專注于單一核心理念的人,他們把所有經(jīng)驗都套用到這個中心觀點上;而“狐貍”則指那些涉獵廣泛、善于靈活應(yīng)對不同問題的人,更依賴多樣化的策略和視角)
讓人頗感驚訝的是,在大三下學期之前,姚順雨既沒有接觸過AI,甚至連科研也沒有做過。
一次交換的機會讓他去了MIT,在此之后,他才開始跟著吳佳俊做一些計算機、視覺以及認知科學的研究。
姚順雨表示,在跟隨吳佳俊和學長Jun-Yan Zhu學習時,他不僅掌握了實驗、匯報等研究入門的基本功,更受到思想上的深刻影響,他由此認識到心理學與人工智能的交叉,學會了從更高維度和整體框架去思考問題。
結(jié)束姚班四年的學習后,2019年,他正式前往普林斯頓攻讀博士,跨界氣質(zhì)再次顯現(xiàn)。
本科階段他主要研究計算機視覺,而博士階段,本來被計算機視覺方向錄取的他,卻因為興趣轉(zhuǎn)向,自行聯(lián)系了自然語言處理(NLP)領(lǐng)域的導(dǎo)師。最終,他因機緣巧合加入了Karthik Narasimhan的團隊,開始從事自然語言處理與強化學習的研究。
這等于是從視覺轉(zhuǎn)到了語言,但“覓之,便有所獲”。姚順雨在事后回想到,這種跨界也是他的幸運之處,因為彼時正逢GPT-2興起。因此,在博士的第一年,他就已經(jīng)開始想著如何讓language model變成Agent.
而對(通用)Agent的關(guān)注貫穿著他的研究。
姚順雨博士生涯的第一個工作叫CALM(2020),研究如何用語言模型來作為Agent來玩語言游戲。
在CALM 中,語言就像媒介:它把人類經(jīng)驗和語義模式轉(zhuǎn)化為可操作的動作候選,同時承載上下文信息,使智能體在龐大的動作空間中高效決策。
姚順雨表示,雖然這篇工作并不像swebench、ReAct或思維樹那么有名,但對他來說具有重要意義。
在張小珺的對談中,我們發(fā)現(xiàn)姚順雨對語言的關(guān)注早在這篇5年前的論文中就已萌芽。
語言是人為了實現(xiàn)泛化而發(fā)明出來的工具,這一點比其他東西更本質(zhì)。
換句話說,用語言來玩游戲是無限的,Agent可以憑借語言進行推理和組合,在不同的上下文中找到合適的動作,泛化就由此而來。
換句話說,Agent也需要具備“跨界”能力,而語言則是絕佳的媒介。
然而,姚順雨也意識到,如果沒有一個好的任務(wù)或環(huán)境,即使把“游戲”玩得再高分,也毫無意義。
基于這一思考,他的第二篇工作WebShop構(gòu)建了一個大規(guī)模模擬電商環(huán)境,使智能體通過理解復(fù)雜文本指令,在網(wǎng)頁中進行導(dǎo)航和操作,從而推動語言理解與決策能力在真實世界任務(wù)中的應(yīng)用與驗證。
同樣的,后來的經(jīng)典工作SWE-Bench和SWE-agent也是針對一個有意義的任務(wù)(現(xiàn)實編程)展開對Agent能力的驗證。
而當時間到了2022 年,GPT-3.5的出現(xiàn)改變了一切。
眾所周知,讓一張白紙反復(fù)試錯的效率極低,而在傳統(tǒng)強化學習中,這種低效嘗試卻屢見不鮮:智能體通常要么被限制只做單一任務(wù),比如下圍棋,要么在龐大的動作空間中盲目探索。
GPT-3.5 讓人們意識到,之前缺失的是先驗知識:通過強大的語言預(yù)訓(xùn)練,將常識和語言知識融入模型,再通過微調(diào),它才能成為具備跨界氣質(zhì)、擁有泛化能力的Agent。
正如姚順雨所說:如果你的Pre-Training(預(yù)訓(xùn)練)已經(jīng)包含了所有事情,那么RL(強化學習)只是激發(fā)出這些能力的skill(技能)。
在受到GPT-3.5的啟發(fā)后,姚順雨就做了ReAct(ReAct: Synergizing Reasoning and Acting in Language Models),讓大語言模型在與外部環(huán)境交互時,同時進行“推理”和“行動”。
姚順雨后來評價到這是他最喜歡的工作(也是他目前被引次數(shù)最高的工作)。基于此,他的研究逐漸轉(zhuǎn)向于兩個核心,一是怎么去做一些有價值、和現(xiàn)實世界更相關(guān)的任務(wù)和環(huán)境;二是怎么去做一些簡單、但又通用的方法。
不過,為了實現(xiàn)通用,泛化,必須學會推理。而語言模型剛好提供了一個足夠強的先驗(prior),這個先驗讓你可以推理,而推理又能在不同的環(huán)境間泛化。
于是,在GPT、思維鏈等工作的基礎(chǔ)上,思維樹(Tree of Thoughts, ToT)讓語言模型通過多路徑探索和自我評估,從而實現(xiàn)比傳統(tǒng)左到右推理更高效的復(fù)雜問題解決能力。
回顧姚順雨的求學與研究,不難發(fā)現(xiàn),無論是他對通用智能體的追求,還是對語言作為認知與決策媒介的熱忱,都是對跨界思維與泛化能力的持續(xù)探索。
28歲的九局下半
相比于熱狗的23歲,28歲博士畢業(yè)進入OpenAI的姚順雨,才真正迎來自己的的“九局下半”。
2024年8月1日,姚順雨宣布加入OpenAI,一時間,說是萬眾矚目也毫不為過。
PS:在說到姚順雨與OpenAI的淵源時,一個不太冷的冷知識是姚順雨的導(dǎo)師Karthik Narasimhan是GPT?1第二作者。
在加入OpenAI的一年多時間,姚順雨最出圈的莫過于今年4月發(fā)表的博文《The Second Half》,宣告AI主線程的游戲已進入下半場。
(是的,AI也迎來了自己的九局下半)
姚順雨表示:AI發(fā)展分為上下兩階段。上半場以模型和方法為中心,核心構(gòu)建了模型和訓(xùn)練方法;隨著AI技術(shù)成熟,下半場的重點轉(zhuǎn)向如何定義有現(xiàn)實意義的任務(wù)、如何有效評估AI系統(tǒng)的表現(xiàn)。
新的評估應(yīng)該貼近現(xiàn)實世界任務(wù)、優(yōu)化模型配方解決任務(wù),形成新的正向循環(huán)。
在這,我們不難看出姚順雨姿態(tài)的轉(zhuǎn)變:從專注求解的科研工作者,逐漸成長為善于發(fā)現(xiàn)需求的“產(chǎn)品經(jīng)理”。
據(jù)剛剛曝光的一次與張小珺的訪談中,姚順雨也談到了創(chuàng)業(yè)的底層邏輯:
畢業(yè)前我想得多的是,怎么創(chuàng)造一個愛因斯坦?我那時是比較academia(學院派)的人——你在普林斯頓,你的偶像是馮諾依曼、愛因斯坦——很自然,能想到最有意思的任務(wù)是,我能不能發(fā)現(xiàn)下一個相對論?這毫無疑問能標志,AGI或ASI(超人工智能)實現(xiàn)了。后來,我到了硅谷,到了加州,進入公司之后,我發(fā)現(xiàn)人類的組織也是一個有意思的事情。如果能創(chuàng)造一家新的公司,創(chuàng)造一個one trillion dollar(一萬億美元)、基于Agent的公司,是很有意思的。
而當談到是否會出去創(chuàng)業(yè)時,姚順雨更是坦率地表示:OpenAI大多數(shù)人都會考慮創(chuàng)業(yè)。他需要去做更有挑戰(zhàn)的事情,去創(chuàng)業(yè)是很自然的。當然,還是應(yīng)該找到一個好的事情。他喜歡把事情想得清楚一點再去做。
當然,從OpenAI離職也不一定非得創(chuàng)業(yè),比如姚順雨的導(dǎo)師Karthik Narasimhan,就在OpenAI呆了一年后,選擇了離開,并去普林斯頓繼續(xù)象牙塔科研了。
如今,姚順雨加入OpenAI也過了整整一個年頭。
有爆料說“姚順雨上億薪資入職騰訊”,但被騰訊官方對外辟謠否認了。
還有一家全新的創(chuàng)業(yè)公司剛剛被注冊,法人代表正是“姚順雨”——
但目前依然難以確定這個“姚順雨”是不是就是我們談?wù)摰囊樣辏吘菇小皥蛩从怼边@種好名字的,僅僅AI領(lǐng)域,不止一位…
總之,祝福姚順雨開啟下半場。
參考鏈接
[1]https://openreview.net/profile?id=~Shunyu_Yao1&utm_source=chatgpt.com
[2]https://ysymyth.github.io/?utm_source=chatgpt.com
[3]https://x.com/shunyuyao12?lang=en&utm_source=chatgpt.com
一鍵三連「點贊」「轉(zhuǎn)發(fā)」「小心心」
歡迎在評論區(qū)留下你的想法!
—?完?—
年度科技風向標「2025人工智能年度榜單」評選報名開啟啦!我們正在尋找AI+時代領(lǐng)航者?點擊了解詳情
????企業(yè)、產(chǎn)品、人物3大維度,共設(shè)立了5類獎項,歡迎企業(yè)報名參與
一鍵關(guān)注 點亮星標
科技前沿進展每日見