“AI Index”(AI指數(shù))近日重磅發(fā)布，這是斯坦福大學(xué)AI百年研究(AI 100)的一個項目，旨在追蹤人工智能的活動和進展。該報告列出了2017年人工智能在計算機視覺、自然語言理解等方向上的最新進展，分學(xué)術(shù)、產(chǎn)業(yè)多個角度盤點人工智能進度。
如果缺乏AI技術(shù)的相關(guān)數(shù)據(jù)，我們在有關(guān)AI的討論和決策中，基本上是“盲目的”。
近日“AI Index”(AI指數(shù))重磅發(fā)布，這是斯坦福大學(xué)AI百年研究(AI 100)的一個項目，旨在追蹤人工智能的活動和進展。該報告列出了2017年人工智能在計算機視覺、自然語言理解等方向上的最新進展，分學(xué)術(shù)、產(chǎn)業(yè)多個角度盤點人工智能進度。
報告還綜合學(xué)術(shù)論文數(shù)量、招生數(shù)量和VC投資數(shù)量，得出AI發(fā)展活力指數(shù)，數(shù)據(jù)顯示，最新一波AI浪潮在2015年活力最高，自那以后其實活力開始有小幅減弱。
報告總覽
報告的前半部分展示了AI Index團隊收集的數(shù)據(jù)。后半部分，我們討論了報告中沒有提到的一些關(guān)鍵領(lǐng)域、專家對報告中顯示的趨勢的評論，最后呼吁采取行動支持我們的數(shù)據(jù)收集工作，并加入關(guān)于AI技術(shù)的度量和交流進展的討論。
數(shù)據(jù)部分
本報告中的數(shù)據(jù)包括4個主要部分：
活動量
技術(shù)表現(xiàn)
衍生測量
人類水平表現(xiàn)?
活動量(Volume of Activity)部分有關(guān)這個領(lǐng)域的“多少”(how much)的方面，例如參加AI會議的人數(shù)、VC對開發(fā)AI系統(tǒng)的初創(chuàng)公司的投資等。技術(shù)表現(xiàn)的部分有關(guān)“how good”，例如計算機在理解圖像和證明數(shù)學(xué)定理方面已經(jīng)做到什么程度。在報告附錄中詳細描述了每個數(shù)據(jù)集的收集方法。
這兩組數(shù)據(jù)證實了實際上是公認的一個事實，即：所有的圖表都是“向上和向右的”，反映了AI的活動是不斷增加，AI技術(shù)是不斷進步的趨勢。在衍生測量(Derivative Measures)部分，我們調(diào)查了趨勢之間的關(guān)系。我們還引入了一個探索性的測量方法——AI活力指數(shù)(AI Vibrancy Index)，結(jié)合了學(xué)術(shù)界和工業(yè)界的趨勢，量化了AI作為一個領(lǐng)域的活力。
在衡量AI系統(tǒng)的表現(xiàn)時，很自然地會將其與人類的表現(xiàn)進行比較。在“人類水平表現(xiàn)”面這一節(jié)中，我們列出了一些值得注意的領(lǐng)域，其中AI系統(tǒng)在達到甚至超越人類水平方面取得了重大進展。我們還討論了進行這種比較時存在的困難，并提出了適當(dāng)?shù)木妗?/p>
討論部分
在報告了團隊收集的數(shù)據(jù)之后，我們將對報告中所強調(diào)的趨勢進行一些討論，并對該報告的重要領(lǐng)域進行全面的討論。
部分討論集中在報告的局限性上。這份報告的數(shù)據(jù)源傾向于以美國為中心，并且可能只通過跟蹤了定義良好的基準，因此可能高估了技術(shù)領(lǐng)域的進展。它還缺乏數(shù)據(jù)的人口統(tǒng)計數(shù)據(jù)，也不包含政府和企業(yè)對AI研發(fā)投資的信息。這些領(lǐng)域是非常重要的，我們打算在未來的報告中解決這些問題。
我們將進一步討論這些局限，以及其他一些在報告中缺失的部分。正如該報告的局限性所顯示的， AI Index 只是描繪了局部圖景。出于這個原因，這份報告也加入了各個領(lǐng)域的AI專家的主觀評論。專家評論部分補充了對數(shù)據(jù)背后的故事的生動解釋。
最后，我們將需要更多來自社區(qū)的反饋和參與來解決報告中顯示的局限，揭示我們遺漏的問題，并建立一個追蹤AI活動和進展的有效程序。
人工智能和機器學(xué)習(xí)全景式概覽
這份報告做了大量調(diào)查和統(tǒng)計，從學(xué)術(shù)(論文發(fā)表、會議參加、學(xué)生課程選修)、產(chǎn)業(yè)(創(chuàng)業(yè)、投資)、人才(招聘、職位空缺)、開源生態(tài)(Github AI和ML軟件包)、媒體報道等方面，比較全面地展現(xiàn)了AI和ML的圖景。
1、學(xué)術(shù)
首先，論文發(fā)表數(shù)量激增：自從1996年以來，每年發(fā)表的AI論文數(shù)量增加了9倍以上。
再看不同類別的學(xué)術(shù)論文的年度發(fā)表率與1996年的發(fā)表率相比較。下圖顯示了所有領(lǐng)域的論文、計算機科學(xué)領(lǐng)域的論文和計算機科學(xué)領(lǐng)域的AI論文的增長。數(shù)據(jù)表明，人工智能發(fā)表論文數(shù)量增多，不僅受計算機科學(xué)領(lǐng)域升溫所致。
具體而言，自1996年以來，計算機科學(xué)一般領(lǐng)域的論文數(shù)量增長了6倍，同期，每年的人工智能論文數(shù)量增長了9倍以上。
斯坦福大學(xué)入學(xué)選修人工智能和機器學(xué)習(xí)入門課程的學(xué)生人數(shù)，自從1996年以來增長了11倍以上。報告指出，由于其他大學(xué)的數(shù)據(jù)掌握有限，因此突出了斯坦福的數(shù)據(jù)。
但是，有理由認為，其他大學(xué)的情況應(yīng)該類似。同時，報告表示這只代表了高等教育圖景的一個具體細節(jié)，不一定代表更廣的趨勢。
會議出席情況。業(yè)內(nèi)人士都知道，在計算機科學(xué)領(lǐng)域，各種學(xué)術(shù)會議十分重要。
這些出席人數(shù)表明，研究重點已經(jīng)從符號推理轉(zhuǎn)向了機器學(xué)習(xí)和深度學(xué)習(xí)。
再來看小一些的會議的情況。盡管研究重點有所轉(zhuǎn)換，但是在小一些的研究社區(qū)，仍然在符號推理方面穩(wěn)步進展。
2、產(chǎn)業(yè)
現(xiàn)在將目光轉(zhuǎn)向產(chǎn)業(yè)界。下圖展示了在美國，有資本支持的AI創(chuàng)業(yè)公司數(shù)量，從2000年以來增加了14倍：
在美國投資AI創(chuàng)業(yè)的基金數(shù)量也在增長，從2000年以來，每年投入AI創(chuàng)業(yè)的資本額增加了6倍：
根據(jù)兩個在線求職平臺Indeed和Monster的數(shù)據(jù)，人工智能相關(guān)崗位需求也在增長。下圖展示了Indeed.com平臺上，從2013年1月份起，對AI技術(shù)相關(guān)工作崗位的份額的增長。
而在美國，需要AI技術(shù)的工作崗位，在職業(yè)市場所占份額，從2013年到現(xiàn)在，有了4.5倍的增長。
按國家看，加拿大和英國的AI人才招聘市場規(guī)模也增長迅速。不過，Indeed.com報告指出，兩者的絕對值仍然是美國AI招聘市場的5%和27%。
Monster平臺上，按具體要求的技能細分，給定年份人工智能職位空缺的總數(shù)量：
再來看自動化應(yīng)用的情況，下圖展示了北美和全球工業(yè)機器人的購買以及購買增幅。工業(yè)機器人的使用正在增加。
3、開源生態(tài)
最后看開源軟件使用和生態(tài)。下圖展示了TensorFlow和Scikit-Learn軟件包在GitHub上加星標(biāo)的次數(shù)。
這張圖展示了Github上其他AI和ML軟件包的星標(biāo)情況。
4、公眾認知 / 媒體報道
包含術(shù)語“人工智能”的主流媒體文章占所有報道的比例，按照正面情緒(藍線)、負面情緒(紫線)分類：
技術(shù)表現(xiàn)
1. 視覺
物體識別
大規(guī)模視覺識別挑戰(zhàn)賽(LSVRC)比賽中AI系統(tǒng)對物體檢測任務(wù)的性能
圖像標(biāo)簽的錯誤率從2010年的28.5%下降到了2.5%。
視覺問答
人工智能系統(tǒng)在完成回答有關(guān)圖像的開放式問題任務(wù)上的表現(xiàn)。截止2017年8月，最好的AI系統(tǒng)準確率還不到70%，而人類水平在85%左右。
2. 自然語言理解
詞語解析
人工智能系統(tǒng)在確定句子句法結(jié)構(gòu)上的表現(xiàn)。
人工智能系統(tǒng)在翻譯英文和德文的任務(wù)上的表現(xiàn)。
人工智能系統(tǒng)在從文檔中找到既定問題答案任務(wù)的表現(xiàn)，已經(jīng)越來越接近人類。
語音識別
人工智能系統(tǒng)識別語音錄音的表現(xiàn)，2016已經(jīng)達到人類水平。
定理證明
自動定理證明指的是一大組定理證明問題的平均易處理性。 “可追蹤性”用來測量可以解決問題中最先進的自動定理證明器的一部分。
SAT Solving
具有競爭力的SAT解決者在行業(yè)應(yīng)用問題上的平均表現(xiàn)。
另一種衡量方法：AI活力指數(shù)
通過檢查各種趨勢之間的關(guān)系，我們可以從前面部分衡量的標(biāo)準中獲得額外的洞見。下面這一部分的內(nèi)容展示了AI指數(shù)所搜集到的數(shù)據(jù)如何被用于進一步分析和推動對AI發(fā)展和整個原始標(biāo)準的再定義。
正如一個案例研究所展示的那樣，我們通過研究學(xué)術(shù)和產(chǎn)業(yè)界的趨勢，來探索他們的動能。進一步地，我們將這些標(biāo)準綜合起來，形成一個AI 活力指數(shù)。
Academia-Industry Dynamics
為了探索學(xué)術(shù)和產(chǎn)業(yè)界AI相關(guān)活動的關(guān)系，我們首先從前面部分的內(nèi)容中選擇了一些有代表性的衡量指標(biāo)。值得一提的是，我們調(diào)查了AI論文的發(fā)表情況，結(jié)合斯坦福大學(xué)入門級 AI 和ML課程的報名情況、VC對AI相關(guān)初創(chuàng)企業(yè)的投資。這些衡量標(biāo)準數(shù)據(jù)是不能直接被拿來比較的：論文發(fā)表情況、學(xué)生報名情況、投資數(shù)額。為了分析這些趨勢之間的關(guān)系，我們將歷史追溯到2000年，這能讓我們衡量標(biāo)準是如何隨著時間發(fā)生變化的。
數(shù)據(jù)顯示，最初，學(xué)術(shù)活動(論文發(fā)表和招生)驅(qū)動穩(wěn)步前進。 2010年前后，投資者開始注意到這一趨勢，這成為2013年投資者總體活動急劇增加的驅(qū)動因素。再后來，學(xué)術(shù)界逐漸趕上了工業(yè)的繁榮。
AI活力指數(shù)
AI活力指數(shù)(AI Vibrancy Index)匯集了對學(xué)術(shù)和產(chǎn)業(yè)的衡量標(biāo)準(研究成果的發(fā)表、招生和VC投資)以對AI領(lǐng)域進行量化。為了計算AI活力指數(shù)，我們不斷地對研究成果發(fā)表數(shù)量、招生、投資的標(biāo)準取平均數(shù)。
達到人類水平表現(xiàn)的AI
很自然地，我們會在同一個任務(wù)上將AI系統(tǒng)和人類的表現(xiàn)進行比較。顯然，在某些任務(wù)中，計算機比人類要優(yōu)秀得多，例如，1970年代的小計算器就可以比人類更好地完成算術(shù)運算。
但是，AI系統(tǒng)在處理諸如回答問題、玩游戲和進行醫(yī)學(xué)診斷等更通用的任務(wù)時更加困難。
AI系統(tǒng)的任務(wù)往往是在非常窄的背景下進行的，這樣能在特定的問題或應(yīng)用上取得進展。 雖然機器在特定的任務(wù)上可能表現(xiàn)出卓越的性能，但是如果任務(wù)稍微有所改動，系統(tǒng)性能可能會大大降低。
例如，一個能讀懂漢字的人能夠理解中國人的言論，了解中國文化，或者在中國餐館無障礙點餐。相比之下，這些任務(wù)中的每一項都需要不同的AI系統(tǒng)來完成。
盡管將人類和AI系統(tǒng)進行比較不是件容易的事情，但列舉那些聲稱計算機已達到或超過人類表現(xiàn)的那些成就很有意思。
不過，需要說明的是，這些成就沒有說明這些系統(tǒng)具有推廣能力。我們還注意到下面的列表包含許多游戲上的成就。游戲是一個相對簡單，可控的實驗環(huán)境，因此經(jīng)常用于AI研究。
歷史進程中的里程碑
黑白棋
在20世紀80年代，李開復(fù)和Sanjoy Mahajan開發(fā)了一個人工智能系統(tǒng)BILL，這是一個玩“黑白棋”(Othello)游戲的貝葉斯學(xué)習(xí)系統(tǒng)。1989年這個系統(tǒng)拿了全美冠軍，并以56-8擊敗了排名最高的美國玩家Brian Rose。在1997年，一個名為Logistello的黑白棋程序以6-0占戰(zhàn)勝當(dāng)時的冠軍棋手。
跳棋
1952年，Arthur Samuel 設(shè)計了一系列玩西洋跳棋的程序，并通過自我對弈進行改進。但是，直到1995年，才出現(xiàn)一個擊敗人類世界冠軍的跳棋程序Chinook。
國際象棋
上世紀50年代的一些計算機科學(xué)家預(yù)測，到1967年，計算機將擊敗人類象棋冠軍。但直到1997年，IBM的“深藍”系統(tǒng)才擊敗當(dāng)時的國際象棋冠軍Gary Kasparov。如今，在智能手機上運行的國際象棋程序可以表現(xiàn)出大師級的水平。
Jeopardy!
2011年，IBM的Watson計算機系統(tǒng)在流行電視節(jié)目“Jeopardy!”參與挑戰(zhàn)，贏了前冠軍Brad Rutter和Ken Jennings。
雅達利游戲
2015年，谷歌DeepMind的一個團隊使用強化學(xué)習(xí)系統(tǒng)來學(xué)習(xí)如何玩49個Atari游戲。該系統(tǒng)在大多數(shù)游戲中都能達到人類水平的表現(xiàn)(例如Breakout打磚塊游戲，雖然也有些仍然無法達到人類水平(例如，蒙特祖瑪?shù)膹?fù)仇)。
ImageNet對象檢測
2016年，ImageNet自動標(biāo)注任務(wù)的錯誤率從2010年的28%下降到低于3%。人類的表現(xiàn)大約是5%的錯誤率。
圍棋
2016年3月，谷歌DeepMind團隊開發(fā)的AlphaGo系統(tǒng)擊敗了圍棋冠軍李世乭。DeepMind后來發(fā)布了AlphaGo Master，在2017年3月?lián)魯×伺琶谝坏目聺崱?017年10月，DeepMind發(fā)表在Nature的論文詳細介紹了AlphaGo的另一個新版本——AlphaGo Zero，它以100-0擊敗了最初的AlphaGo系統(tǒng)。
皮膚癌分類
在2017年的一篇Nature論文文章中，Esteva等人描述了一個AI系統(tǒng)，該系統(tǒng)在包含2032種不同疾病的129450張臨床圖像組成的數(shù)據(jù)集上訓(xùn)練，研究者將AI系統(tǒng)的診斷結(jié)果與21位皮膚科醫(yī)生的結(jié)果進行比較，他們發(fā)現(xiàn)AI系統(tǒng)在分類皮膚癌任務(wù)上達到與人類皮膚科醫(yī)生相當(dāng)?shù)乃健?/p>
Switchboard 語音識別
在2017年，微軟和IBM都在Switchboard語音識別基準測試中實現(xiàn)了“人類同等水平”的語音識別詞錯率。
撲克
2017年1月，來自CMU的一個名為Libratus的AI系統(tǒng)在一場包含12萬局游戲的雙人無限注德州撲克比賽中擊敗了四名頂尖的人類選手。 2017年2月，來自阿爾伯塔大學(xué)的一個名為DeepStack的系統(tǒng)與11名專業(yè)玩家分別比賽超過3000局，勝率10/11。
吃豆人
Maluuba是微軟收購的一個深度學(xué)習(xí)團隊，他們創(chuàng)建了一個AI系統(tǒng)，該系統(tǒng)學(xué)會了在Atari 2600上玩吃豆人游戲打出999900的最高分。
