防止人工智能脫韁科學家積極研究安全對策

干燥設備2019年12月03日

  鑒于人工智能發展的不確定性,為了避免其脫離人類控制,進行造成巨大的威脅,目前許多科學家正在研究安全應對的方法。

  外媒近日撰文稱,研究人員雖然在努力教給人工智能掌握自學方法,但同時也保持著一份謹慎,避免這些系統肆意妄為,脫離人類的控制。

  在特斯拉CEO伊隆·馬斯克(Elon Musk)創辦的人工智能實驗室OpenAI里,機器正在通過自學模仿人類的行為。但有的時候卻會出現問題。

  最近的一個午后,研究員達里奧·阿莫德(Dario Amodei)坐在OpenAI的舊金山辦公室里展示了一套自學《Coast Runners》的自動化系統。在這款已經過時的賽船視頻游戲中,獲勝者需要獲得最高分,還要穿過終點線。

  結果令人吃驚:這艘船對于屏幕上出現的綠色小部件興趣極高——抓住這些小部件就能得分。但該系統控制的這艘船并沒有急于穿過終點線,而是對得分非常著迷。它不停地轉圈,還時不時地沖撞其他船只,有的時候會撞到石頭墻上,甚至反復起火。

  阿莫德的那艘著火的船表明了正在快速改變科技世界的人工智能技術所蘊含的風險。研究人員都在開發能夠基本依靠自己完成任務的機器。谷歌(微博)旗下的DeepMind也借助這種方法創造了擊敗圍棋世界冠軍的系統。

  然而,既然這些機器能夠通過幾個小時的數據分析進行自我訓練,或許也能夠形成一些出人意料甚至有害人類利益的行為。

  隨著這些技術逐步融入絡服務、安全設備和機器人,這種擔憂也與日俱增。現在,阿莫德所在的人工智能圈已經開始考慮通過數學技術來避免最糟糕的情況發生。

  阿莫德和他的同事保羅·克里斯蒂亞諾(Paul Christiano)正在開發一些算法,使之不僅能通過幾小時的試錯來學習某項任務,還能從人類老師那里獲得定期指導。

  只要在這里或那里點擊幾下,研究人員現在就能向自動化系統展示一個道理:要在《Coast Runner》里取得勝利,不僅要得分,還要通過終點線。他們相信,這種融合了人類與機器指令的算法有助于保持自動化系統的安全性。

  未雨綢繆

  多年以來,馬斯克和其他專家、心理學家以及技術人員都警告稱,機器可能脫離我們的控制,甚至學會它的設計者不曾設想的惡意行為。曾幾何時,這些警告似乎言過其實,畢竟當今的無人駕駛汽車系統經常連識別自行車道和紅燈這樣的簡單任務都難以完成。

  但阿莫德這樣的研究人員卻試圖未雨綢繆。從某種意義上講,這些科學家所做的事情有點類似于父母教育孩子分辨是非。

  很多人工智能專家都相信,一種名叫“強化學習”(reinforcement learning)的技術——讓機器通過極端的試錯掌握具體任務——可以成為人工智能的主要方式。

  研究人員會為機器指定一種需要努力爭取的獎勵,然后在它隨機學習一項任務時,機器便會密切關注哪些事情可以帶來這種獎勵,哪些不能。當OpenAI訓練它的機器人玩《Coast Runners》時,他們給予的獎勵就是更多的得分。

  針對視頻游戲展開的訓練的確具有現實意義。

  研究人員認為,如果機器能夠學會《俠盜獵車手》這樣的賽車游戲,它就能學會駕駛真車。如果它能學會使用絡瀏覽器和其他常見的軟件應用,就能學會理解自然語言,還有可能展開對話。

  在谷歌和加州大學伯克利分校這樣的地方,機器人已經使用這種技術來學習拿東西和開門等簡單的動作。

  正因如此,阿莫德和克里斯蒂亞諾才在努力開發可以同時接受人類指令的強化學習算法,這樣便可確保系統不會偏離手頭的任務。

  這兩位OpenAI的研究員最近與DeepMind的同行合作發表了相關的研究成果。這兩個全球頂尖人工智能實驗室合作開發的這些算法,向著人工智能安全研究邁出了重要一步。

  “這佐證了之前的很多想法。”加州大學伯克利分校研究員迪倫·海德菲爾德-門內爾(Dylan Hadfield-Menell)說,“這類算法在未來5到10年前景廣闊。”

  新興領域

  該領域規模雖小,卻在不斷增長。隨著OpenAI和DeepMind建立專門的人工智能安全團隊,谷歌大腦也將采取同樣的措施。與此同時,加州大學伯克利分校和斯坦福大學這樣的高等學府也在解決類似的問題,而且通常會與大企業的實驗室展開合作。

  在某些情況下,研究人員是在確保這些系統不會自行犯錯,避免出現與《Coast Runner》里的那艘船相似的問題。他們還在努力確保黑客和其他“壞分子”無法發現系統中隱藏的漏洞。像谷歌的伊恩·古德菲洛(Ian Goodfellow)這樣的研究人員都在研究黑客可能用來入侵人工智能系統的方式。

  現代化的計算機視覺基于所謂的深度神經絡開發,這種模式識別系統可以通過分析海量數據學會完成各種任務。通過分析成千上萬的狗照片,神經絡便可學會如何認出一只狗。Facebook就是通過這種方式識別照片中的人臉的,谷歌的Photos應用也是通過這種方式實現圖片搜索的。

  但古德菲洛和其他研究人員已經證明,黑客可以改變圖片,使得神經絡相信其中包含實際上并不存在的內容。例如,只要調整大象照片里的幾個像素就能讓神經絡誤以為這是一輛汽車。

  在安防攝像頭上使用神經絡可能因此遇到麻煩。研究人員表示,只要在你的臉上做幾個標記,就可以讓攝像頭誤以為你是其他人。

  “如果用數百萬張由人類標記的圖片來訓練物體識別系統,那就仍然可以生成讓人類和機器100%存在分歧的新圖片。”古德菲洛說,“我們需要理解這種現象。”

  另外一大擔憂在于,人工智能系統可能學會如何避免人類將其關閉。如果機器的目的是獲得獎勵,它的思維就會變成這樣:只有繼續運行才能獲得獎勵。雖然這種再三被人提及的威脅還很遙遠,但研究人員已經開始著手解決。

  海德菲爾德-門內爾和伯克利的其他研究人員最近發表了一篇論文,通過數學方法來解決這個問題。他們證明,如果讓機器無法確定自己的回報函數,它可能會希望保留自己的關閉開關。這就使之有動力接受甚至主動尋求人類的監督。

  其中的很多工作仍處在理論層面。但由于人工智能技術發展迅速,而且在許多行業的重要性與日俱增,所以研究人員認為,盡早開始是最佳策略。

  “人工智能的發展究竟能有多快還存在很大不確定性。”DeepMind人工智能安全負責人謝恩·萊格(Shane Legg)說,“負的辦法是努力理解這些技術可能被濫用的不同方式,可能失效的不同方式,以及可以通過哪些不同方式來應對這些問題。”

  原標題:防止AI搞破壞 科學家開始研究安全對策

寶寶健脾吃什么好
丁桂薏芽健脾凝膠使用方法
怎么調理小兒脾胃虛弱
相關閱讀
安徽省高空作業車招標變更

安徽省高空作業車招標變更 // 13:18:01 中國路面機械各供應商:  現對績溪...

2019-12-08
重型機床數控機床生產線項目在長興島奠基開

9月6日,大連乾億重型機床數控機床生產線及100萬千瓦汽輪機高低壓缸配套項...

2019-12-08
臺灣4月摩托車及配件用品營業額持續衰退

臺灣經濟部門5月21日公布臺灣各行業營業額的最新統計,其中汽車、摩托車零...

2019-12-07
2025年中國配電自動化系統市場規模增速

由于公用事業領域對自動化的需求激增,預計市場出現顯著增長。來自酒店、...

2019-12-06
香港通識科教師代表團到朔黃鐵路機輛分公司

(供稿 薛自強 謝運朋 于百齊)8月3日,香港通識科教師代表團到朔黃鐵路機...

2019-12-06
榜樣的力量系列之二017

基金設立背景馮忠緒教授從教30余年來,以 蠟炬成灰 的師德培養人,以 鐵杵...

2019-12-05
友情鏈接
现在做什么投资挣钱