?　　人工智能：機(jī)遇挑戰(zhàn)和安全風(fēng)險(xiǎn)并存

　　在科技發(fā)展史上，技術(shù)的進(jìn)步和變革都會(huì)帶來“雙刃劍”效應(yīng)。從人工智能概念的提出，到人工智能應(yīng)用的落地，已經(jīng)影響到社會(huì)發(fā)展的諸多方面，而人工智能技術(shù)本身的安全問題和與此相關(guān)的安全威脅，同樣不容忽視。在各國出臺(tái)國家戰(zhàn)略、政策法規(guī)、制度措施等助力人工智能發(fā)展的同時(shí)，人工智能的安全、風(fēng)險(xiǎn)、法律與倫理等問題，值得關(guān)注。

　　隨著人工智能和網(wǎng)絡(luò)空間安全技術(shù)的飛速發(fā)展，這兩個(gè)領(lǐng)域逐步交織融合。一方面，人工智能技術(shù)越來越成為網(wǎng)絡(luò)空間安全技術(shù)難題的重要解決手段，網(wǎng)絡(luò)安全領(lǐng)域的專家采用人工智能技術(shù)應(yīng)對(duì)越來越復(fù)雜的網(wǎng)絡(luò)攻擊手段；另一方面，人工智能技術(shù)本身具有一定脆弱性，帶來諸如對(duì)抗樣本攻擊等新的漏洞，甚至由于缺乏必要的約束機(jī)制，引發(fā)了人工智能技術(shù)威脅人類的擔(dān)憂。習(xí)近平總書記指出：“沒有網(wǎng)絡(luò)安全，就沒有國家安全。”近年來，人工智能也逐漸被提升到國家戰(zhàn)略的高度。2017年，人工智能首次將被寫入政府工作報(bào)告，提出要加快人工智能等技術(shù)的研發(fā)和轉(zhuǎn)化。對(duì)這兩個(gè)領(lǐng)域交融發(fā)展的梳理，有助于發(fā)現(xiàn)一些解決問題的新思路，更好地推動(dòng)國家戰(zhàn)略的實(shí)施。

　　基于人工智能的新型網(wǎng)絡(luò)安全技術(shù)

　　近年來，網(wǎng)絡(luò)空間安全威脅擴(kuò)展到一些新的領(lǐng)域，形成了泛在的網(wǎng)絡(luò)安全威脅，網(wǎng)絡(luò)攻擊手段空前復(fù)雜。

　　美國東部時(shí)間2016年10月21日7點(diǎn)10分-17點(diǎn)（北京時(shí)間21日19點(diǎn)10分-22日5點(diǎn)），黑客操控?cái)?shù)百萬網(wǎng)絡(luò)攝像頭及相關(guān)數(shù)字視頻錄像機(jī)（DVR）作為“肉雞”，通過未來（Mirai）僵尸網(wǎng)絡(luò)以分布式拒絕服務(wù)攻擊（DDoS）劫持攻擊方式癱瘓了美國主要域名服務(wù)器（DNS）供應(yīng)商Dyn公司的服務(wù)器，導(dǎo)致包括推特（Twitter）、貝寶（Paypal）、聲田（Spotify）、奈飛（Netflix）、愛彼迎（Airbnb）、極特軟件源代碼托管服務(wù)平臺(tái)（Github）, 以及紅迪網(wǎng)（Reddit）和《紐約時(shí)報(bào)》等在內(nèi)的美國知名網(wǎng)站無法訪問，半個(gè)美國陷入斷網(wǎng)狀態(tài)。

　　2017年，“想哭”（WannaCry）勒索軟件對(duì)各個(gè)行業(yè)造成了巨大影響。它通過社會(huì)工程學(xué)嘗試感染目標(biāo)組織的環(huán)境，通常為帶有惡意宏的Office文檔附件的釣魚郵件。一旦感染環(huán)境中的一臺(tái)計(jì)算機(jī)后，該變種會(huì)嘗試?yán)梦④浽贛S17-010中修復(fù)的SMBv1的漏洞在內(nèi)網(wǎng)主動(dòng)傳播。這一蠕蟲行為，是真正讓這一變種帶來如此巨大影響的原因。

　　網(wǎng)絡(luò)空間威脅朝泛化和復(fù)雜化的趨勢發(fā)展，各類網(wǎng)絡(luò)攻擊也更加具有持續(xù)性和隱蔽性。傳統(tǒng)的安全防護(hù)僅僅依靠部署于邊界或特殊節(jié)點(diǎn)的防火墻、入侵檢測系統(tǒng)、入侵防御系統(tǒng)（IPS）等安全設(shè)備進(jìn)行的靜態(tài)控制被動(dòng)式防御已不再適用于高級(jí)持續(xù)威脅（advanced persist threat，APT）、零日（0day）攻擊等新型網(wǎng)絡(luò)安全威脅的防護(hù)，亟需對(duì)傳統(tǒng)的安全防御方式進(jìn)行優(yōu)化和改進(jìn)，形成智能化的防御體系，應(yīng)對(duì)多樣化和持續(xù)化威脅。

　　人工智能技術(shù)被網(wǎng)絡(luò)安全領(lǐng)域的專家用來應(yīng)對(duì)越來越復(fù)雜的網(wǎng)絡(luò)攻擊手段。人工智能是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種能以人類智能相似的方式作出反應(yīng)的智能機(jī)器。該領(lǐng)域的研究包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等。人工智能是對(duì)人的意識(shí)、思維的信息過程的模擬。人工智能不是人的智能，但是，能像人那樣思考，也可能超過人的智能。人工智能涉及計(jì)算機(jī)、通信、數(shù)學(xué)、認(rèn)知、心理等交叉學(xué)科。從終端、網(wǎng)絡(luò)到云端，人工智能推動(dòng)了各類軟件硬件技術(shù)架構(gòu)的革新，催生了眾多新興應(yīng)用和服務(wù)。

　　人工智能可以被用于用戶行為分析、網(wǎng)絡(luò)流量分析和入侵檢測、網(wǎng)絡(luò)終端反惡意軟件、Web 應(yīng)用防火墻或數(shù)據(jù)庫防火墻、以及商業(yè)流程反欺詐檢測等。人工智能成為網(wǎng)絡(luò)安全人員的輔助工具，基于人工智能技術(shù)的網(wǎng)絡(luò)安全自動(dòng)化分析能夠在海量信息中篩選出有價(jià)值的信息，極大降低安全人員的工作壓力，提高其工作效率?；谌斯ぶ悄艿穆┒赐诰蚣夹g(shù)，同樣也可以被用于軟件的惡意攻擊過程，還可以實(shí)現(xiàn)漏洞修復(fù)與攻防對(duì)抗。

　　人工智能在網(wǎng)絡(luò)安全領(lǐng)域得到應(yīng)用，并且取得很多成功的案例。英國網(wǎng)絡(luò)安全服務(wù)提供商旺德拉（Wandera）被認(rèn)為是移動(dòng)威脅檢測和防御市場的領(lǐng)導(dǎo)者。旺德拉于2017年發(fā)布了它的威脅檢測引擎米藍(lán)（MI:RIAM）。據(jù)報(bào)道，它檢測到400多種針對(duì)企業(yè)移動(dòng)車隊(duì)的重新包裝的司洛克（SLocker）勒索軟件。麻省理工學(xué)院的計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室（CSAIL）于2016年開發(fā)了一個(gè)稱為AI2的系統(tǒng)，這是一個(gè)自適應(yīng)機(jī)器學(xué)習(xí)的安全平臺(tái)，幫助分析師做那些類似“大海撈針”的工作。AI2每天檢查數(shù)百萬次登錄，系統(tǒng)能夠過濾數(shù)據(jù)并將其傳遞給人類分析師，從而將警報(bào)降低至每天大約100次。由計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室CSAIL和初創(chuàng)公司PatternEx進(jìn)行的實(shí)驗(yàn)表明，攻擊檢測率升至85％，誤報(bào)率降低5倍。

　　人工智能面臨的安全問題

　　人工智能技術(shù)在很多領(lǐng)域取得了成功，但是，也引發(fā)了人們的擔(dān)憂。2017年5月，阿爾法狗（AlphaGo，或譯“阿爾法圍棋”）的出現(xiàn)讓人工智能成為公眾熱議的話題。在與圍棋世界冠軍柯潔歷經(jīng)了約3個(gè)半小時(shí)的對(duì)弈后，執(zhí)黑的阿爾法中盤獲勝，而柯潔投子認(rèn)輸。盡管柯潔當(dāng)時(shí)等級(jí)分世界第一，比賽中的表現(xiàn)也相當(dāng)精彩，但是，在人機(jī)大戰(zhàn)中仍處于絕對(duì)弱勢。阿爾法狗的獲勝，引發(fā)了大家對(duì)人工智能的好奇，同時(shí)，也增加了對(duì)人工智能發(fā)展的擔(dān)憂與恐懼。

　　人工智能自身存在脆弱性和不完整性，傳感器欺騙、軟件缺陷、數(shù)據(jù)投毒、系統(tǒng)安全、網(wǎng)絡(luò)安全都會(huì)給人工智能在應(yīng)用過程中造成不可逆的安全威脅。人工智能的算法也存在安全風(fēng)險(xiǎn)，主要表現(xiàn)在：算法設(shè)計(jì)或者實(shí)施有誤，如算法目標(biāo)函數(shù)有誤、目標(biāo)函數(shù)計(jì)算成本過高或者算法模型表達(dá)能力有限；算法對(duì)數(shù)據(jù)的依賴，例如，算法模型性能對(duì)訓(xùn)練數(shù)據(jù)與質(zhì)量存在較強(qiáng)依賴性、含有噪聲或偏差的訓(xùn)練數(shù)據(jù)可影響算法模型準(zhǔn)確性；對(duì)抗樣本攻擊可誘使算法識(shí)別出現(xiàn)誤判漏判，產(chǎn)生錯(cuò)誤結(jié)果，包括逃避攻擊和模擬攻擊；算法潛藏偏見和歧視，決策結(jié)果可能存在不公，例如，算法設(shè)計(jì)者價(jià)值觀影響或者訓(xùn)練數(shù)據(jù)本身帶有歧視性；算法黑箱造成監(jiān)管困境和決策爭議，例如，算法擁有者不愿公開、社會(huì)公眾不能理解或者開發(fā)者也無法解釋。

　　對(duì)抗樣本是人工智能應(yīng)用受到的主要威脅之一。對(duì)抗樣本是通過對(duì)被檢測樣本進(jìn)行微小的改動(dòng)從而欺騙人工智能識(shí)別的技術(shù)。從網(wǎng)絡(luò)安全領(lǐng)域看，通過對(duì)惡意代碼插入混淆操作就有可能對(duì)人工智能產(chǎn)生欺騙。網(wǎng)絡(luò)犯罪分子采用各種手段，例如，對(duì)代碼采取各種混淆或加密，甚至利用現(xiàn)有人工智能的缺陷生成對(duì)抗樣本進(jìn)行攻擊。由于目前的人工智能技術(shù)仍然處于黑箱狀態(tài)，并不能從理論上杜絕對(duì)抗樣本的攻擊。

　　2017年，密歇根州華盛頓大學(xué)以及加州大學(xué)伯克利分校的研究人員表示，通過進(jìn)行小幅調(diào)整停止標(biāo)志，他們可以使自動(dòng)駕駛汽車的計(jì)算機(jī)視覺算法不可見。這意味著，黑客可以強(qiáng)迫自動(dòng)駕駛汽車以危險(xiǎn)的方式行事并可能導(dǎo)致事故。人類駕駛員會(huì)注意到“被黑”的停車標(biāo)志，但是，神經(jīng)網(wǎng)絡(luò)可能完全失明。這意味著，黑客可以強(qiáng)迫自動(dòng)駕駛汽車以危險(xiǎn)的方式行駛并可能導(dǎo)致事故。

　　人工智能算法的漏洞可以被惡意利用，從而使人工智能應(yīng)用偏離原先的設(shè)計(jì)。微軟的智能聊天機(jī)器人Tay，最初被設(shè)定為一個(gè)年齡19歲的少女，具有一些幽默機(jī)制，適合和18至24歲的用戶聊天。萬萬沒有想到的是，Tay在 Twitter 上線沒幾天就“誤入歧途”甚至出現(xiàn)偏激言論，而這正是源自一些不良網(wǎng)民利用人工智能系統(tǒng)的漏洞而進(jìn)行的一場惡搞。此次這個(gè)學(xué)習(xí)漏洞在于“Repeat After Me”機(jī)制，只要對(duì)Tay提到這句話，Tay就會(huì)將對(duì)方的話進(jìn)行重復(fù)，因此，不管是何種偏激的種族主義語言，都會(huì)被Tay重復(fù)，這個(gè)狀況像滾雪球一樣大量出現(xiàn)在Tay的Twitter上，由于偏激言論不斷出現(xiàn)，最終導(dǎo)致微軟關(guān)閉了Tay。

　　作為人工智能發(fā)展核心的算法和數(shù)據(jù)都存在潛在的安全問題，會(huì)導(dǎo)致人工智能決策的風(fēng)險(xiǎn)。從編程的角度看，任何的代碼都是由人編寫，因此，無法確保程序完全安全、可靠、可控和可信。從數(shù)據(jù)角度看，人工智能依賴大數(shù)據(jù)，同時(shí)，數(shù)據(jù)的質(zhì)量也會(huì)影響算法的判斷。軍事數(shù)據(jù)獲取、加工、存儲(chǔ)和使用等環(huán)節(jié)都存在一定的數(shù)據(jù)質(zhì)量和安全風(fēng)險(xiǎn)，從而增加軍事領(lǐng)域使用人工智能的安全風(fēng)險(xiǎn)。伴隨著人工智能武器的開發(fā)，國際社會(huì)面臨的另一大難題就是反擴(kuò)散問題，恐怖主義組織以及不負(fù)責(zé)任的國家獲取人工智能武器并威脅國際安全和平。人工智能從某種意義上而言，也是一種程序和軟件，因此，它面臨的擴(kuò)散風(fēng)險(xiǎn)要遠(yuǎn)遠(yuǎn)大于常規(guī)武器。類似于美國國家安全局的網(wǎng)絡(luò)武器庫被黑客攻擊，并且在暗網(wǎng)交易，最后被黑客開發(fā)為勒索病毒的案例，也有可能在人工智能武器領(lǐng)域重現(xiàn)。

　　針對(duì)人工智能的安全性問題，需要構(gòu)建安全的機(jī)器學(xué)習(xí)方法。目前，已經(jīng)有很多這方面的安全機(jī)器學(xué)習(xí)算法被提出，包括使用多個(gè)分類器的技術(shù)、使用具有隱私保護(hù)能力的機(jī)器學(xué)習(xí)算法、博弈論理論在數(shù)據(jù)挖掘中的應(yīng)用等。最典型的例子，就是搜索引擎的排名算法。過去，這個(gè)算法常常被搜索結(jié)果優(yōu)化服務(wù)商所欺騙，甚至形成了一個(gè)具有規(guī)模的產(chǎn)業(yè)；現(xiàn)在，搜索引擎的排名算法已經(jīng)考慮了這方面的問題，對(duì)抗相關(guān)排名優(yōu)化的機(jī)制能力比以前強(qiáng)得多。在網(wǎng)絡(luò)安全領(lǐng)域，更安全的機(jī)器學(xué)習(xí)算法，將會(huì)很快得到廣泛的應(yīng)用。

　　對(duì)人工智能和網(wǎng)絡(luò)空間安全交融發(fā)展的思考

　　人類歷史上每一次重要的飛躍式發(fā)展都由顛覆式創(chuàng)新技術(shù)引領(lǐng)，像蒸汽機(jī)、電力、信息化等。人工智能所帶來的智能化將會(huì)引領(lǐng)下一次變革。為了更好地推動(dòng)和實(shí)施國家戰(zhàn)略，抓住新技術(shù)帶來的機(jī)遇，必須要加強(qiáng)跨領(lǐng)域的技術(shù)革新。人工智能和網(wǎng)絡(luò)信息安全兩大領(lǐng)域的交叉融合發(fā)展，有利于推動(dòng)相關(guān)前沿科技和產(chǎn)業(yè)的加速發(fā)展。

　　第一，用人工智能構(gòu)建“智慧”安全解決方案。在網(wǎng)絡(luò)空間威脅朝泛化、復(fù)雜化的發(fā)展趨勢下，各類網(wǎng)絡(luò)攻擊手段更加具有持續(xù)性和隱蔽性，網(wǎng)絡(luò)空間安全亟需智能化的安全技術(shù)。在這方面，人工智能可被用于用戶行為分析、入侵檢測、反欺詐活動(dòng)、威脅情報(bào)處理等過程。深度學(xué)習(xí)等人工智能技術(shù)可以用來構(gòu)建網(wǎng)絡(luò)安全智能模型，以實(shí)現(xiàn)惡意軟件分類、入侵檢測和攻擊智能感知。

　　第二，人工智能所帶來的新問題要靠人工智能自身解決。人工智能算法目前所遭受的對(duì)抗樣本攻擊，主要還是由于算法本身的脆弱性和不完整性造成的。人工智能算法在很多單一方面已經(jīng)超過人類，不太可能在人工智能之外找到解決人工智能領(lǐng)域問題的手段。人工智能模型需要特定的網(wǎng)絡(luò)安全防御和保護(hù)技術(shù)，以對(duì)抗敵對(duì)的機(jī)器學(xué)習(xí)，同時(shí)，保護(hù)機(jī)器學(xué)習(xí)中的隱私、保障聯(lián)合學(xué)習(xí)的安全等。