如何預(yù)防人工智能失控？OpenAI和Google是這么做的

　　上周末的一則新聞再次已發(fā)了人們對人工智能的關(guān)注，著名的Dota 2職業(yè)玩家Dendi在一場1V1的solo大戰(zhàn)中慘遭OpenAI公司的人工智能碾壓，短短10分鐘便徹底輸?shù)袅诉@場比賽！從中不難看出，人工智能在各個領(lǐng)域中驚人潛力。那么人工智能一旦失控又該怎么解決呢？

　　在OpenAI位于舊金山的辦公室里，研究人員Dario Amodei正在通過賽船冠軍賽（Coast Runners）來訓(xùn)練人工智能。不過，這個人工智能好像有點失控了。

　　賽船冠軍賽的游戲規(guī)則很簡單，如果想贏，選手必須收集到最多的分數(shù)，然后跨過終點線。

　　但Amodei的人工智能玩著玩著有點過火了，它在不斷地追求高分，非但毫無跨過終點線的意思，反倒為了要多轉(zhuǎn)幾個圈拿高分，它開始和其它賽船碰撞，或是在過程中自己撞墻爆炸了。

　　為了應(yīng)對，Amodei和OpenAI的同事Paul Christiano正在研發(fā)一套不僅可以自我學(xué)習，同時也愿意接受人工監(jiān)控的算法。

　　在賽船游戲的訓(xùn)練中，Amodei和同事將不時通過按鍵來指出人工智能的不當之處，告知人工智能，不僅要贏分數(shù)，同時也要跨過終點線。他們認為，這種包含了人工干預(yù)成分的算法可以確保系統(tǒng)安全性。

　　而在Google旗下DeepMind的研究人員也同意Amodei和同事的想法。兩個團隊，分別代表了OpenAI和DeepMind，最近罕有地合作發(fā)表了部分人工智能安全方面的研究論文。

　　除此以外，Google旗下的Google Brain，以及來自伯克利大學(xué)和斯坦福大學(xué)的研究團隊，都設(shè)有該方向研究課題，從不同方面考慮人工智能安全問題。

　　除了這種在自我學(xué)習過程中“搞錯重點”的潛在危險，另一個可預(yù)想的人工智能危險在于“為了完成任務(wù)，拒絕被開發(fā)者關(guān)機”。

　　一般在設(shè)計人工智能時，研發(fā)人員都會給它設(shè)定“目標”，就像賽艇游戲中的“得分”一樣。一旦人工智能將獲得“分數(shù)”為終極目標，它可能會產(chǎn)生一個方法論——想要獲得更加多的分數(shù)，其中一個方法就是不關(guān)閉自己，這樣就能無止境地獲取分數(shù)了。

　　伯克利大學(xué)的研究人員Dylan Hadfield-Menell和團隊最近發(fā)布了討論這個問題的論文。他們認為，如果在設(shè)計算法的時候，讓人工智能對目標保持一定不確定性，它們才有可能愿意保留自己的“關(guān)機鍵”。他們采用了數(shù)字方式來嘗試實現(xiàn)這個設(shè)置，目前還處于理論階段。

　　除了人工智能自我“失控”，研究人員還在考慮黑客對人工智能的干預(yù)影響。

　　現(xiàn)代計算機視覺基于深度神經(jīng)網(wǎng)絡(luò)（deep neural networks），它通過學(xué)習分析大批量數(shù)據(jù)來形成對模式的了解。也就是說，如果要讓計算機學(xué)會什么是“狗”，那就讓它分析大批量狗的圖片，并從中尋找規(guī)律。

　　但Google的Ian Goodfellow則認為，這種模式可能會為黑客提供“蒙騙”人工智能的機會。Goodfellow和其它研究人員曾展示，只要修改圖片中的幾個特定像素，他們就能讓神經(jīng)網(wǎng)絡(luò)相信圖片中的大象是一輛汽車。

　　如果這個神經(jīng)網(wǎng)絡(luò)是應(yīng)用在安保鏡頭的話，這樣就問題大了。

　　即便你用了數(shù)百萬張標志了‘人’的照片來訓(xùn)練一個物件識別系統(tǒng)，你還是可以輕易拿出系統(tǒng)和人工識別100%不同意的圖片。我們需要認清這種現(xiàn)象。

　　Goodfellow 說道。雖然這些研究大多仍處于理論階段，但這群致力于將意外扼制于搖籃的研究人員堅信，越早開始考慮這個問題越好。DeepMind人工智能安全方面的負責人Shane Legg 說道：

　　雖然我們還不能確定，人工智能將以多塊地速度發(fā)展。但我們的責任是嘗試理解并猜測，這種技術(shù)將有可能以哪種方式被誤用，并嘗試找出不同的應(yīng)對方式。

　　值得一提的是，科技大亨埃隆·馬斯克（Elon Musk）此前曾公開表示，“我認為，任何對公眾構(gòu)成危險的事情，至少政府應(yīng)該有所了解，因為政府的義務(wù)之一就是確保公共福利。沒有人喜歡受到監(jiān)管，但對公眾有危險的任何東西（包括汽車、飛機、食品以及藥品等）都應(yīng)該受到管制，AI也是如此。”那么小伙伴們認為該如何解決人工智能失控的問題呢？