一場(chǎng)自動(dòng)駕駛悲劇反映出日益凸顯的技術(shù)危機(jī)，堆積如山的代碼創(chuàng)造了「一個(gè)無(wú)人完全理解的宇宙」，我們可能會(huì)把它們稱(chēng)為「弗蘭肯算法（frankenalgos）」，而理解并應(yīng)對(duì)它們，基本上需要一門(mén)新的科學(xué)。

2018 年 3 月 28 日，是讓人們揪心的一天。

那天晚上，在亞利桑那州坦佩市，一輪新月升到一條四車(chē)道的上空，昏暗的路面并未因此而多幾分光亮。

這時(shí)，一輛經(jīng)過(guò)特別改造的 Uber Volvo XC90 正在檢測(cè)道路前方的某個(gè)物體。

作為現(xiàn)代淘金熱的趕潮兒，這輛 SUV 已經(jīng)在完全無(wú)人駕駛模式下行駛了 19 分鐘，期間并未得到后座安全員的任何指導(dǎo)。

它配備了一組雷達(dá)和激光雷達(dá)傳感器，通過(guò)算法來(lái)計(jì)算周?chē)镎系木嚯x。

此時(shí)，主車(chē)速度穩(wěn)定在 43 英里/小時(shí)，經(jīng)機(jī)載算法判斷，如果前方物體保持不動(dòng)，那么主車(chē)距離它有 6 秒之遙。

不過(guò)，路面上的物體很少會(huì)靜止不動(dòng)。因此，通過(guò)檢索可識(shí)別的機(jī)械 & 生物實(shí)體庫(kù)，算法會(huì)從中爬取出更多數(shù)據(jù)，以此來(lái)推斷該物體的可能行為。

起初，該計(jì)算機(jī)一無(wú)所獲；

幾秒鐘后，它發(fā)現(xiàn)自己剛才是在處理另一輛車(chē)，并期盼著那輛車(chē)能夠開(kāi)走，這樣，就可以不對(duì)其采取其它特別行動(dòng)。

直到最后一秒，它才得到了一個(gè)清晰的身份識(shí)別——

一個(gè)騎自行車(chē)的女人，車(chē)把上混亂地掛著購(gòu)物袋。她想當(dāng)然地以為，這輛沃爾沃會(huì)像任何普通汽車(chē)那樣繞開(kāi)她行駛。

由于受到不得擅自采取回避行為的限制，計(jì)算機(jī)突然把控制權(quán)交還給了它的人類(lèi)主人，但是，主人并沒(méi)有注意。

49 歲的伊萊恩·赫茲伯格（Elaine Herzberg）被撞死了。

這個(gè)事件引起了一些科技界成員的反思，給他們提出了 2 個(gè)令人不快的問(wèn)題：算法的悲劇不可避免嗎？我們將（應(yīng)該）準(zhǔn)備如何應(yīng)對(duì)這種事件？

「在某些方面，我們失去了主體性。當(dāng)程序進(jìn)入代碼，代碼進(jìn)入算法，然后算法開(kāi)始創(chuàng)建新算法，一切離人類(lèi)主體越來(lái)越遠(yuǎn)。

軟件被釋放到一個(gè)沒(méi)有人能完全理解的代碼世界?！?/p>

Ellen Ullman 說(shuō)。自 20 世紀(jì) 70 年代以來(lái)，她 一直是位杰出的專(zhuān)業(yè)程序員，也是少數(shù)幾個(gè)能夠?qū)幋a過(guò)程進(jìn)行深刻描述的人之一。

當(dāng)算法開(kāi)始創(chuàng)建新算法時(shí)，一切離人類(lèi)主體越來(lái)越遠(yuǎn)，Ellen Ullman 說(shuō)。

她對(duì)軟件世界了如指掌。

「人們說(shuō)，『那么，F(xiàn)acebook 的運(yùn)作方式呢？——他們創(chuàng)建并使用算法，而且他們可以改變算法。』

但事實(shí)并不是這樣。他們先設(shè)定算法，然后算法會(huì)進(jìn)行自主學(xué)習(xí)、變化和運(yùn)行。

Facebook 會(huì)定期干預(yù)算法的運(yùn)作，但并不會(huì)真的對(duì)其進(jìn)行控制。

而對(duì)于一些特定程序，算法不是單獨(dú)運(yùn)行，還需要各類(lèi)庫(kù)、深度操作系統(tǒng)等……?！?/p>

算法是什么？

事實(shí)上，自從互聯(lián)網(wǎng)——尤其是搜索引擎——在上世紀(jì) 90 年代中期興起以來(lái)，算法的使用已經(jīng)發(fā)生了變化。

從根本上說(shuō)，算法是一件小而簡(jiǎn)單的事情：一條用來(lái)自動(dòng)處理數(shù)據(jù)的規(guī)則。

如果發(fā)生了 a，那么執(zhí)行 b；否則執(zhí)行 c。這是經(jīng)典計(jì)算的「if/then/else」邏輯。

如果一個(gè)用戶(hù)聲稱(chēng)是自己已年滿(mǎn) 18 周歲，就允許他進(jìn)入網(wǎng)站；否則就輸出「對(duì)不起，年滿(mǎn) 18 歲才可進(jìn)入」。

就其核心而言，計(jì)算機(jī)程序就是很多很多的這類(lèi)算法。一份數(shù)據(jù)處理說(shuō)明書(shū)。

從微觀上看，沒(méi)有比這更簡(jiǎn)單的事了。如果計(jì)算機(jī)表現(xiàn)出了任何魔力，不是因?yàn)樗斆?，而是因?yàn)榭臁?/p>

最近幾年，「算法」一詞被賦予了一個(gè)愈加可怕且模棱兩可的含義，它可以指：

（1）任何大型、復(fù)雜的決策軟件系統(tǒng)；

（2）能夠根據(jù)給定的一組標(biāo)準(zhǔn)（或「規(guī)則」），來(lái)獲取一系列數(shù)據(jù)輸入并快速對(duì)其進(jìn)行評(píng)估的任何方法。

這徹底改變了醫(yī)學(xué)、科學(xué)、交通、通信等領(lǐng)域，使得多年來(lái)占據(jù)主流的計(jì)算機(jī)烏托邦觀念更加深入人心。算法使我們的生活在各個(gè)層面上都變得更好了。

直到 2016 年，我們才開(kāi)始對(duì)這種新的算法現(xiàn)實(shí)進(jìn)行更加細(xì)致入微的考量。

我們傾向于用近乎圣經(jīng)般的術(shù)語(yǔ)來(lái)討論算法，視算法為擁有自己生命的獨(dú)立實(shí)體，之所以如此，是因?yàn)槲覀儽还膭?lì)以這種方式去思考問(wèn)題。

舉個(gè)例子。

Facebook 和 Google 這樣的公司已經(jīng)出售并保護(hù)了自己的算法，這是建立在承認(rèn)算法之客觀性的基礎(chǔ)上的，這種客觀性要求算法能夠利用數(shù)學(xué)式的客觀且不帶模糊情緒，對(duì)一組條件進(jìn)行衡量。

這種算法決策能夠擴(kuò)展到幾乎所有需要決策的事務(wù)中，比如貸款/保釋/福利/大學(xué)名額/工作面試等，也就不足為奇了。

現(xiàn)在，我們不會(huì)再對(duì)這類(lèi)算法賣(mài)點(diǎn)逆來(lái)順受了。

曾經(jīng)的數(shù)學(xué)神童凱茜·奧尼爾（Cathy O'Neil）——已經(jīng)離開(kāi)華爾街去教書(shū)，她管理著一個(gè)關(guān)于數(shù)學(xué)基礎(chǔ)教育的博客 mathbabe——在她 2016 年出版的《數(shù)學(xué)殺傷武器》（Weapons of Math Destruction）一書(shū)中，毫無(wú)疑問(wèn)地證明了，算法遠(yuǎn)遠(yuǎn)不會(huì)消除人類(lèi)偏見(jiàn)，相反，它將放大并鞏固這些偏見(jiàn)。

畢竟，軟件是由一些非常富裕的白人和亞洲人寫(xiě)的。而這不可避免地會(huì)反映出他們的意識(shí)形態(tài)。

偏見(jiàn)充滿(mǎn)惡意但無(wú)意制造傷害，但我們無(wú)法輕易地像要求人類(lèi)那樣去要求一個(gè)算法監(jiān)管者去解釋它的決定。

奧尼爾呼吁對(duì)任何直接影響公眾的系統(tǒng)進(jìn)行「算法審計(jì)」，這是一個(gè)明智的想法。如此一來(lái)，技術(shù)產(chǎn)業(yè)定會(huì)極力反對(duì)，因?yàn)樗麄兙褪琴u(mài)軟件的；產(chǎn)品透明度是他們最后才會(huì)交出來(lái)的東西。

曾經(jīng)是數(shù)學(xué)神童的凱西·奧尼爾（Cathy O'Neil）已經(jīng)證明，算法可以放大人類(lèi)偏見(jiàn)。

好消息是，這場(chǎng)戰(zhàn)斗正在進(jìn)行中；壞消息是，與接下來(lái)發(fā)生的事情相比，它已經(jīng)顯得陳舊起來(lái)。

大家都在關(guān)注人工智能的遠(yuǎn)景和威脅，以至于幾乎沒(méi)有人注意到：我們正進(jìn)入算法革命的一個(gè)新階段，這個(gè)階段可能同樣令人擔(dān)憂(yōu)和迷惑。但是，幾乎沒(méi)有人問(wèn)這個(gè)問(wèn)題。

奧尼爾等人提醒，算法不透明但可預(yù)測(cè)：它們會(huì)按照自己事先被設(shè)計(jì)好的程序來(lái)執(zhí)行。原則上，一個(gè)熟練的程序員可以檢查并挑戰(zhàn)這些算法的編碼基礎(chǔ)。

或許可以說(shuō)，這種算法很「愚蠢」，它們只能根據(jù)人類(lèi)所定義的參數(shù)進(jìn)行工作。工作結(jié)果的質(zhì)量取決于編程者的思路和技巧。而另一種極端情況，是由類(lèi)人的通用人工智能（artificial general intelligence，AGI）來(lái)接管所有工作，這個(gè)夢(mèng)想距離現(xiàn)在還很遙遠(yuǎn)。一個(gè)真正的智能機(jī)器將能夠基于其直覺(jué)，諸如我們?nèi)祟?lèi)的直覺(jué)（一般被認(rèn)為是廣泛積累起來(lái)的經(jīng)驗(yàn)和知識(shí)）那樣，來(lái)質(zhì)疑它自己的計(jì)算質(zhì)量。

Google 的 DeepMind 一開(kāi)始只是為了在街機(jī)游戲中盡可能得高分，便寫(xiě)了一段程序指令，卻最終創(chuàng)建出一個(gè)大師水準(zhǔn)的玩家，它是值得受到稱(chēng)贊的。這種技術(shù)被稱(chēng)為「強(qiáng)化學(xué)習(xí)」，它之所以有效，是因?yàn)橛?jì)算機(jī)可以快速地玩數(shù)百萬(wàn)個(gè)游戲，以便了解哪些步驟組合可以產(chǎn)生更多分?jǐn)?shù)。

有些人稱(chēng)這種能力為「窄人工智能（或弱人工智能，artificial narrow intelligence，ANI）」，但這里對(duì)「智能」一詞的運(yùn)用就如同 Facebook 對(duì)「朋友」這個(gè)詞的使用一樣，意在傳達(dá)出一種比實(shí)際情況更安全、更通達(dá)的含義。

為什么這樣說(shuō)呢？

因?yàn)闄C(jī)器沒(méi)有上下文背景來(lái)判斷自己所做的事情，并且不能做任何其他的事情。關(guān)鍵的是，它也不能把知識(shí)從一個(gè)游戲轉(zhuǎn)移到另一個(gè)游戲（所謂的「轉(zhuǎn)移學(xué)習(xí)（transfer learning）」），這使得它的通用智能比不上一個(gè)小孩，甚至敵不過(guò)一只烏賊。

在某些專(zhuān)業(yè)任務(wù)上，計(jì)算機(jī)已經(jīng)遠(yuǎn)遠(yuǎn)優(yōu)于我們了，但距離全面性趕超，可能還很遙遠(yuǎn)。人類(lèi)可能不是最好的，但是我們?cè)诤芏嗍虑樯鲜堑诙玫摹?/p>

但，問(wèn)題就在這里。

離開(kāi)「愚蠢」的固定算法后，在前往真正的人工智能的途中，人類(lèi)走進(jìn)了途中的一家客棧。

客棧問(wèn)題層出不窮，但我們毫無(wú)頭緒，也幾乎沒(méi)有展開(kāi)討論，更不用說(shuō)在目標(biāo)、道德、安全和最佳實(shí)踐方面達(dá)成一致了。

盡管我們周?chē)乃惴ㄟ€不夠智能，也就是說(shuō)，它們還不能獨(dú)立地說(shuō)出「那個(gè)計(jì)算/行動(dòng)過(guò)程看起來(lái)不對(duì)：我會(huì)再做一次」，但是，它們正開(kāi)始從其周?chē)沫h(huán)境中進(jìn)行學(xué)習(xí)了。

而一旦算法在學(xué)習(xí)，我們就不能再知道任何有關(guān)其規(guī)則和參數(shù)的信息了。在這一點(diǎn)上，我們無(wú)法確定它將如何與其它算法、物理世界或我們?nèi)祟?lèi)進(jìn)行交互。

「愚蠢」的固定算法——復(fù)雜、不透明并且習(xí)慣于實(shí)時(shí)監(jiān)控——在原則上是可預(yù)測(cè)、可審問(wèn)的，而這些會(huì)學(xué)習(xí)的算法則不然。在環(huán)境中學(xué)了一段時(shí)間后，我們不再能知道它們是什么了：它們有可能變得不穩(wěn)定。

我們可能會(huì)稱(chēng)它們?yōu)椤父ヌm肯算法（FrangealGOS）」——盡管瑪麗·雪萊做不到這一點(diǎn)。（譯注：瑪麗·雪萊，科幻小說(shuō)之母，英國(guó)著名小說(shuō)家、英國(guó)著名浪漫主義詩(shī)人珀西·比希·雪萊的繼室，著有《弗蘭肯斯坦——現(xiàn)代普羅米修斯的故事》。）

沖突的代碼

算法開(kāi)始從它們的環(huán)境中進(jìn)行學(xué)習(xí)。

這些算法本身并不是新的。

我第一次遇到它們是在大約 5 年前，當(dāng)時(shí)我在為《衛(wèi)報(bào)》撰寫(xiě)一篇關(guān)于股票市場(chǎng)高頻交易（HFT）的文章。

我發(fā)現(xiàn)它們非同尋常：一個(gè)人類(lèi)打造的數(shù)字生態(tài)系統(tǒng)，價(jià)值數(shù)十億美元的數(shù)據(jù)中心遍布成堆黑匣子，它們就像忍者一樣潛伏在那里——這就是股票市場(chǎng)現(xiàn)在的樣子。

那兒一度有一個(gè)實(shí)物交易平臺(tái)，所有人的行動(dòng)都會(huì)被轉(zhuǎn)移到一個(gè)中央服務(wù)器，在這個(gè)服務(wù)器中，笨拙的草食性算法會(huì)被輸入給靈活的肉食性算法，通過(guò)彎曲市場(chǎng)狀況，來(lái)誘使他們以低賣(mài)高買(mǎi)。

人類(lèi) HFT 交易者（盡管已不再有人類(lèi)熱衷于此）稱(chēng)這些龐大而緩慢的參與者為「鯨」，它們大多屬于互惠養(yǎng)老基金——即屬于大眾。

對(duì)于大多數(shù) HFT 商店來(lái)說(shuō)，鯨魚(yú)現(xiàn)在已經(jīng)成為了主要的利潤(rùn)來(lái)源。

本質(zhì)上，這些算法試圖打敗彼此；它們以光速進(jìn)行無(wú)形的戰(zhàn)斗，每秒對(duì)同一訂單進(jìn)行 10000 次下單和取消操作，或是瘋狂涌入系統(tǒng)，致使市場(chǎng)震動(dòng)，而所有這些都超出了人類(lèi)的監(jiān)督或控制能力。

顯而易見(jiàn)，這種局面是不穩(wěn)定的。

2010 年曾發(fā)生過(guò)一次「閃電崩盤(pán)（flash crash）」，在此期間，市場(chǎng)經(jīng)歷了 5 分鐘的創(chuàng)傷性自由降落，然后又經(jīng)歷了 5 分鐘的重新調(diào)整——原因不明。

我去芝加哥看望了一個(gè)叫 Eric Hunsader 的人，他有著出色的編程技巧，能夠比監(jiān)管機(jī)構(gòu)看到更詳細(xì)的市場(chǎng)數(shù)據(jù)。

他向我展示，截至 2014 年，每周都會(huì)發(fā)生「小型閃電崩潰」。

他甚至也不能確切說(shuō)明其中的原因，但是，他和他的工作人員已經(jīng)開(kāi)始對(duì)出現(xiàn)的一些算法（algos）命名，就像麥田怪圈獵人給英國(guó)夏日田野中發(fā)現(xiàn)的怪圈進(jìn)行命名那樣，比如「野生動(dòng)物」、「祖馬」、「咔嗒」或「破壞者」。

Neil Johnson 是喬治華盛頓大學(xué)一位專(zhuān)攻復(fù)雜性的物理學(xué)家，他做了一項(xiàng)關(guān)于股票市場(chǎng)波動(dòng)性的研究。

「這很迷人，」他告訴我?！肝业囊馑际?，多年來(lái)，有關(guān)計(jì)算機(jī)系統(tǒng)生態(tài)學(xué)方面的討論一直比較含糊，比如使用蠕蟲(chóng)病毒這個(gè)詞等等?！?/p>

但這里有一個(gè)可供研究的真正的工作系統(tǒng)。更大的問(wèn)題是，我們不知道它是如何工作的，或者它會(huì)引發(fā)什么事情。

而我們的態(tài)度似乎是「心不在焉」。

值得注意的是，Johnson 關(guān)于這個(gè)問(wèn)題的論文發(fā)表在《自然》雜志上，認(rèn)為股票市場(chǎng)「從一個(gè)混合型人機(jī)階段，突然而全面地轉(zhuǎn)向了一個(gè)新型全機(jī)階段，后一階段的特點(diǎn)是頻繁的黑天鵝事件與超快的持續(xù)時(shí)間」。

根據(jù)科學(xué)歷史學(xué)家 George Dyson 說(shuō)法，由于一些 HFT 公司允許算法進(jìn)行學(xué)習(xí)，情況變得復(fù)雜了：

「就是花點(diǎn)兒錢(qián)，讓黑匣子多做些嘗試，如果有效，就加強(qiáng)這些規(guī)則。我們知道它已經(jīng)完成了。然后你實(shí)際上有了一些無(wú)人知曉的規(guī)則：算法創(chuàng)建出了自己的規(guī)則——你讓它們以自然進(jìn)化有機(jī)體的方式進(jìn)行了進(jìn)化?！?/p>

非金融行業(yè)觀察家開(kāi)始設(shè)想一場(chǎng)災(zāi)難性的全球「飛濺式崩盤(pán)（splash crash）」，而市場(chǎng)增長(zhǎng)最快的領(lǐng)域?qū)⒊蔀椋ú⑶胰匀皇牵牟▌?dòng)中獲利的工具。

Robert Harris 在他 2011 年的小說(shuō)《恐懼指數(shù)（The Fear Index）》中，設(shè)想了通用人工智能的出現(xiàn)——奇點(diǎn)——正是誕生自這種數(shù)字化沼澤。

令我驚訝的是，受訪(fǎng)科學(xué)家們沒(méi)有一個(gè)會(huì)斷然排除這種可能性。

如果不是因?yàn)橐粋€(gè)簡(jiǎn)單事實(shí)，所有這些都會(huì)被斥之為深?yuàn)W的金融知識(shí)。

人們通常認(rèn)為，技術(shù)首先被色情行業(yè)采用，然后才開(kāi)始大眾化。但在 21 世紀(jì)，色情就是金融，所以，當(dāng)我似乎看到了類(lèi)似 HFT 的算法在別處引發(fā)問(wèn)題的跡象時(shí)，我又打電話(huà)給 Neil Johnson。

「你說(shuō)得對(duì)，」他告訴我：一種新的算法正在走向世界，它具有「重寫(xiě)自己代碼的能力」，這時(shí)它就變成了類(lèi)似于一種「遺傳算法」。

他認(rèn)為，自己在 Facebook 中發(fā)現(xiàn)了它們存在的證據(jù)（他補(bǔ)充道：「我的賬戶(hù)被攻擊了 4 次）。

如果是這樣的話(huà)，算法就是在那里肆虐，并正在適應(yīng)那個(gè)環(huán)境，就像股票市場(chǎng)所發(fā)生的那樣。

「畢竟，F(xiàn)acebook 就是一個(gè)巨大的算法，」Johnson 說(shuō)到。

物理學(xué)家 Neil Johnson 說(shuō)，F(xiàn)acebook 就是一個(gè)巨大的算法。

「我認(rèn)為這正是 Facebook 所面臨的問(wèn)題。

他們可以使用簡(jiǎn)單的算法在他人的照片動(dòng)態(tài)中找到我的臉，從我的個(gè)人資料中獲取數(shù)據(jù)，并將我們鏈接在一起。

這是一個(gè)非常簡(jiǎn)單的具體算法。但問(wèn)題是，有數(shù)十億種這樣的算法在協(xié)同工作，它們?cè)诤暧^層面上會(huì)帶來(lái)什么影響？你不能以微觀規(guī)則來(lái)預(yù)測(cè)人口水平上的算法習(xí)得行為。

所以，F(xiàn)acebook 會(huì)聲稱(chēng)他們知道在微層面上到底發(fā)生著什么，他們可能是對(duì)的。但是人口水平上的變化呢？這就是問(wèn)題所在。」

為了強(qiáng)調(diào)這一點(diǎn)，Johnson 和來(lái)自邁阿密大學(xué)與圣母大學(xué)的一組同事發(fā)表了一篇論文，題為《公共信息中極端子群的出現(xiàn)和未來(lái) 綁定算法中的可能增強(qiáng)（Emergence of Extreme Subpopulations from Common Information and Likely Enhancement from Future Bonding Algorithms）》，旨在從數(shù)學(xué)上證明，試圖通過(guò)社交媒體來(lái)連接人，不可避免地會(huì)使整個(gè)社會(huì)極化。

他認(rèn)為，F(xiàn)acebook 和其它網(wǎng)站應(yīng)該像氣候科學(xué)家模擬氣候變化或天氣模式那樣，模擬其算法的效果。

奧尼爾說(shuō)，她有意將這種自適應(yīng)式算法從《數(shù)學(xué)殺傷性武器》的名單中排除了。在沒(méi)有明確內(nèi)容的復(fù)雜算法環(huán)境中，將責(zé)任分配給特定的代碼段變得極其困難。

也就是說(shuō)，它們更容易被忽視或者打發(fā)掉，因?yàn)楹茈y識(shí)別它們產(chǎn)生的確切影響，她解釋道，如果想見(jiàn)證真實(shí)案例，我會(huì)考慮亞馬遜上的閃電崩盤(pán)會(huì)是什么樣子。

「我也一直在尋找這些（自適應(yīng)性）算法，」她說(shuō)，「我一直在想：『哦，大數(shù)據(jù)還沒(méi)有到那里?！弧?/p>

但是，最近一位亞馬遜書(shū)商的朋友告訴我，對(duì)于像他這樣的人來(lái)說(shuō)，那里的定價(jià)情況已經(jīng)變得十分瘋狂。

每隔一段時(shí)間，你就會(huì)看到有人在推特上寫(xiě)道『嘿，在亞馬遜上花 40000 美元買(mǎi)條奢侈的紗線(xiàn)?！?/p>

每當(dāng)我聽(tīng)到這樣的話(huà)，我就想：「啊！那一定和閃電崩盤(pán)差不多！」

亞馬遜上有很異常事件發(fā)生的證據(jù)，有來(lái)自困惑賣(mài)家的線(xiàn)索，也有來(lái)自 2016 年后至少一篇的學(xué)術(shù)論文，這些論文聲稱(chēng)：

「一些例子已經(jīng)出現(xiàn)，競(jìng)爭(zhēng)中的算法定價(jià)軟件正以意想不到的方式相互作用，進(jìn)而產(chǎn)生無(wú)法預(yù)測(cè)的定價(jià)，有些情況下，被故意設(shè)計(jì)去實(shí)施固定價(jià)格?！?/p>

問(wèn)題同樣在于，如何在一個(gè)混沌的算法環(huán)境中（簡(jiǎn)單的因果關(guān)系要么不適用，要么根本無(wú)法追蹤）分配責(zé)任。

與金融業(yè)的情況一樣，推諉（deniability）被引入了系統(tǒng)之中。

現(xiàn)實(shí)生活中的危險(xiǎn)

如果事關(guān)人身安全，那就真是茲事體大了。

前不久，一名司機(jī)駕駛著豐田凱美瑞轎車(chē)，車(chē)子突然毫無(wú)征兆地開(kāi)始瘋狂加速，最終駛離道路，司機(jī)當(dāng)場(chǎng)身亡。

事后，美國(guó)宇航局的專(zhuān)家花了 6 個(gè)月的時(shí)間檢查了數(shù)百萬(wàn)行的操作系統(tǒng)中的代碼，然而并沒(méi)有發(fā)現(xiàn)所謂的程序問(wèn)題。汽車(chē)制造商也堅(jiān)決否認(rèn)汽車(chē)會(huì)自己突然加速。

直到后來(lái)兩位嵌入式軟件專(zhuān)家花了 20 個(gè)月的時(shí)間深入分析了這些代碼，才證明了家屬所說(shuō)的情況是真實(shí)的：

他們找出了一大堆所謂的「面條代碼」（冗長(zhǎng)、控制結(jié)構(gòu)復(fù)雜混亂、難以理解的代碼），這些代碼充滿(mǎn)互相矛盾、雜糅在一起的算法，進(jìn)而產(chǎn)生異常、不可預(yù)測(cè)的輸出。

目前正在測(cè)試的自動(dòng)駕駛汽車(chē)包含 1 億行代碼，沒(méi)人能夠預(yù)測(cè)在現(xiàn)實(shí)世界中的道路上可能出現(xiàn)的所有情況，所以，算法必須不斷學(xué)習(xí)并持續(xù)更新。

在這樣一個(gè)動(dòng)態(tài)變化的代碼環(huán)境中，如何避免沖突，尤其是當(dāng)算法必須保護(hù)自己免受黑客攻擊時(shí)？

20 年前，George Dyson 在他的經(jīng)典著作《Darwin Among the Machines》中預(yù)見(jiàn)了我們今天發(fā)生的這一切。

他告訴我們，問(wèn)題在于，我們正在構(gòu)建的系統(tǒng)超出了我們的智力所能控制的范圍。

我們相信，如果一個(gè)系統(tǒng)是具備確定性的（根據(jù)固定的規(guī)則行事，這是算法的定義之一），那么，他就是可預(yù)測(cè)的，而可預(yù)測(cè)的算法也是可控的。

然而，這兩種假設(shè)都不成立。

「它（算法）正在以自己的方式，一點(diǎn)點(diǎn)地工作著?！顾麑?xiě)道。

「20 年前，我癡迷于多細(xì)胞生物和多細(xì)胞數(shù)字化有機(jī)組織，如今，他們已經(jīng)占據(jù)了世界的每個(gè)角落。運(yùn)行著代碼片段的 iPhone 就像一個(gè)多細(xì)胞生物，就像生物學(xué)中看到的那樣?！?/p>

「這是一種被稱(chēng)為阿什比定律的古老法則。一個(gè)控制系統(tǒng)需要和被它控制的系統(tǒng)一樣復(fù)雜。

我們正全力朝著這個(gè)目標(biāo)努力著。建造自動(dòng)駕駛汽車(chē)時(shí)，軟件必須對(duì)所有需要控制的事物完整建模型，但是，我們無(wú)法理解大多數(shù)模型中的定義代碼。

因?yàn)?，我們能理解的模型通常都是這樣的類(lèi)型：因?yàn)橥洶严儡?chē)納入模型，所以才會(huì)撞向消防車(chē)?！?/p>

我們能否乘坐自動(dòng)駕駛汽車(chē)暢游在城市街道上？對(duì)此，Dyson 提出了疑問(wèn)。與此同時(shí)，新南威爾士大學(xué)的人工智能教授 Toby Walsh（此人在 13 歲編寫(xiě)了他的第一個(gè)程序，十八九歲時(shí)運(yùn)營(yíng)了一個(gè)原型的計(jì)算機(jī)公司）從技術(shù)層面上解釋了為什么這會(huì)是一個(gè)問(wèn)題。

「沒(méi)有人知道如何寫(xiě)一段代碼來(lái)識(shí)別停車(chē)標(biāo)志。

我們花了好幾年的時(shí)間試圖利用人工智能技術(shù)做到這一點(diǎn)，但是失敗了！我們的愚蠢導(dǎo)致這項(xiàng)工作沒(méi)什么進(jìn)展，人類(lèi)也還沒(méi)聰明到能學(xué)會(huì)如何解決這個(gè)問(wèn)題。

編寫(xiě)程序時(shí)，你不得不學(xué)習(xí)將問(wèn)題分解成足夠簡(jiǎn)單的部分，每個(gè)部分都能對(duì)應(yīng)上一條計(jì)算機(jī)指令（針對(duì)機(jī)器的指令）。但諸如識(shí)別停車(chē)標(biāo)志或者翻譯一個(gè)英文句子這樣復(fù)雜的問(wèn)題，我們卻不知道怎么如法炮制，這超出了我們的能力范圍。

我們只知道如何編寫(xiě)一個(gè)更加通用的算法，樣本足夠多的話(huà)，系統(tǒng)就能學(xué)會(huì)如何解決這個(gè)問(wèn)題?！?/p>

因此，目前的研究重點(diǎn)放在機(jī)器學(xué)習(xí)上。

現(xiàn)在我們知道，Herzberg 的死是因?yàn)樗惴ㄔ谠噲D對(duì)其進(jìn)行正確的分類(lèi)時(shí)，猶豫不決。

這是因?yàn)樵愀獾木幊獭⑺惴ㄓ?xùn)練不夠？還是因?yàn)槲覀兙芙^承認(rèn)技術(shù)的局限性？真正的問(wèn)題是，我們可能永遠(yuǎn)不知道其中的原因。

「我們最終將完全放棄自己動(dòng)手編寫(xiě)算法，因?yàn)檫@些機(jī)器能夠做得比我們做得好很多。

從這個(gè)意義上說(shuō)，軟件工程可能是一個(gè)瀕臨淘汰的職業(yè)。它將會(huì)被機(jī)器接管，機(jī)器將會(huì)比我們做得更好?！筗alsh 繼續(xù)說(shuō)道。

Walsh 認(rèn)為，社會(huì)大眾學(xué)習(xí)編程知識(shí)是很重要的，而不是無(wú)足輕重。越疏遠(yuǎn)，它就會(huì)看起來(lái)更像魔法。

針對(duì)前文給出「算法」定義，他也認(rèn)為這種定義不完整：

「我想指出，現(xiàn)在的算法指的是所有大型、復(fù)雜的決策軟件系統(tǒng)及其嵌入的環(huán)境，這使得它們更加不可預(yù)測(cè)。」

這的確是個(gè)令人不寒而栗的想法。

他認(rèn)為，倫理道德將會(huì)成為科技領(lǐng)域新的前沿?zé)狳c(diǎn)，他預(yù)測(cè)這是「一個(gè)哲學(xué)的黃金時(shí)代」，普渡大學(xué)網(wǎng)絡(luò)安全專(zhuān)家 Eugene Spafford 也對(duì)此表示認(rèn)同。

「在需要做出選擇的地方，就會(huì)產(chǎn)生道德問(wèn)題。我們往往會(huì)想要有一個(gè)可以問(wèn)責(zé)的機(jī)構(gòu)，但對(duì)于一個(gè)算法來(lái)說(shuō)，這是非常困難的。

到目前為止，人們對(duì)于這類(lèi)系統(tǒng)的批評(píng)之一就是：不可能回過(guò)頭來(lái)分析做出某些決策的原因，因?yàn)橄到y(tǒng)內(nèi)部做出的選擇實(shí)在是太多了，以至于做出責(zé)任分析并非人力所及?！?/p>

也有人持不同看法。一旦一個(gè)程序出錯(cuò)了，我們可以對(duì)相關(guān)的所有程序進(jìn)行重寫(xiě)或更新，這樣問(wèn)題就不會(huì)再次發(fā)生。人類(lèi)容易重蹈覆轍，但智能機(jī)器不會(huì)。

雖然從長(zhǎng)遠(yuǎn)來(lái)看，自動(dòng)化機(jī)器應(yīng)該更加安全，由于現(xiàn)有的侵權(quán)法規(guī)定侵權(quán)行為必須出于故意或過(guò)失，因此，這種法律要件理論需要加以反思了。

一條狗不會(huì)因?yàn)橐Я四愣?fù)法律責(zé)任，但是如果這條狗的行為被認(rèn)為是可以預(yù)見(jiàn)的，那么，它的主人就需要負(fù)責(zé)。

在一個(gè)算法的環(huán)境中，許多意想不到的結(jié)果，是人類(lèi)不可預(yù)見(jiàn)的，這種特性可能會(huì)導(dǎo)致一種無(wú)賴(lài)式的做法，故意混淆概念會(huì)變得更容易，也會(huì)為某些人帶來(lái)好處。

比如目前，一些制藥公司一直在從這種復(fù)雜性中受益，但后果也會(huì)更嚴(yán)重，并且更加難以逆轉(zhuǎn)。

Uber 致命車(chē)禍調(diào)查

軍事風(fēng)險(xiǎn)

不過(guò)，在未來(lái)，影響最嚴(yán)重的領(lǐng)域可能并非商業(yè)、社交媒體、金融和交通。如果軍方不再像過(guò)去一樣推動(dòng)創(chuàng)新，它將是最受影響的技術(shù)采用者。

因此，自動(dòng)武器正在變成一場(chǎng)算法軍備競(jìng)賽，這也就不足為奇了。

目前，朝鮮和韓國(guó)之間的非軍事區(qū)由一名機(jī)器人槍手執(zhí)勤。盡管其制造商三星否認(rèn)它有自動(dòng)化行動(dòng)的能力，但外界普遍不相信這一說(shuō)法。

俄羅斯、中國(guó)和美國(guó)都聲稱(chēng)他們正處于研發(fā)協(xié)同化、武器化無(wú)人機(jī)群的不同階段，而美國(guó)還計(jì)劃讓導(dǎo)彈在戰(zhàn)場(chǎng)上空盤(pán)旋數(shù)日進(jìn)行觀察，然后選定攻擊目標(biāo)。

一群谷歌的雇員為此辭職，另有數(shù)以千計(jì)的人質(zhì)疑這家科技巨頭向五角大樓的 Maven 計(jì)劃「算法戰(zhàn)爭(zhēng)」項(xiàng)目提供機(jī)器學(xué)習(xí)算法。

谷歌的管理層最終對(duì)此作出回應(yīng)，同意不續(xù)簽 Maven 計(jì)劃的合同，并公布了使用其算法的道德準(zhǔn)則。

谷歌的員工因公司向五角大樓的「算法戰(zhàn)爭(zhēng)」計(jì)劃提供機(jī)器學(xué)習(xí)軟件而憤然辭職。

和其他的科技公司一樣，谷歌也聲稱(chēng)其 Maven 軟件符合道德準(zhǔn)則：

它可以幫助人們更有效地選擇目標(biāo)，從而挽救生命。

但問(wèn)題是，技術(shù)管理人員如何能夠假定自己知道他們的算法將會(huì)做什么，在實(shí)際情況中，被指導(dǎo)去做什么——特別是考慮到，各方都會(huì)開(kāi)發(fā)出相應(yīng)的算法對(duì)抗系統(tǒng)，以迷惑敵方武器。

和股市的情況一樣，不可預(yù)測(cè)性很可能被視為一種優(yōu)勢(shì)而非障礙，因?yàn)?，武器?huì)因此變得更有可能抵抗企圖破壞它們的企圖。

如此以來(lái)，我們實(shí)際上正在冒險(xiǎn)徹底改造我們的機(jī)器，用意大利面條式的（復(fù)雜而難以理解的）代碼包裝本來(lái)尋常之物。

英國(guó) Lancaster 大學(xué)的 Lucy Suchman 與人合寫(xiě)了一封致谷歌的公開(kāi)信，要求他們反思將工作與軍事相聯(lián)系的狂熱做法。

她說(shuō)，科技公司的動(dòng)機(jī)很容易被理解：軍事合同總是伴隨著覺(jué)得利益。而對(duì)五角大樓來(lái)說(shuō)，

「他們被數(shù)據(jù)淹沒(méi)了，因?yàn)橛行碌姆椒▉?lái)收集和存儲(chǔ)數(shù)據(jù)，但他們無(wú)法處理這些數(shù)據(jù)。所以這些數(shù)據(jù)基本上是無(wú)用的，除非有奇跡發(fā)生。

我認(rèn)為，它們尋求與大數(shù)據(jù)公司的合作是一個(gè)很神奇的想法：這些公司有很神奇的技術(shù)，可以讓這些數(shù)據(jù)有意義?！?/p>

Suchman 還提供了一些統(tǒng)計(jì)數(shù)據(jù)，讓人對(duì) Maven 計(jì)劃不寒而栗。

2003 年到 2013 年間在巴基斯坦進(jìn)行的無(wú)人機(jī)襲擊中，只有不到 2% 的被害人被確認(rèn)為對(duì)美國(guó)構(gòu)成明顯威脅的「高價(jià)值」目標(biāo)。

20% 的被射殺的人被認(rèn)為是非戰(zhàn)斗人員，而 75% 的人的身份未知。

即使只有這些數(shù)字的二分之一、三分之一、四分之一，任何理性的人都會(huì)停止這樣的行為。

「我們現(xiàn)在使用的識(shí)別技術(shù)是很粗糙的，而 Maven 計(jì)劃想要做的是實(shí)現(xiàn)這種技術(shù)的自動(dòng)化。從這一點(diǎn)上說(shuō)，它變得更加不負(fù)責(zé)任，更容易受到質(zhì)疑。這是個(gè)很糟糕的主意」。

Suchman 的同事 Lilly Irani 在加州大學(xué)圣地亞哥分校工作，她提醒我們，信息在一個(gè)算法系統(tǒng)中以光速傳播，沒(méi)有人對(duì)其進(jìn)行監(jiān)管。她以此暗示，技術(shù)上的討論常常被用作煙幕彈，以逃避責(zé)任。

「當(dāng)我們談?wù)撍惴ǖ膽?yīng)用時(shí)，有時(shí)是在討論官僚系統(tǒng)。

算法設(shè)計(jì)人員和政策專(zhuān)家所做的選擇被視為客觀，在過(guò)去，必須有人為這些選擇負(fù)責(zé)。而科技公司說(shuō)，它們只是通過(guò) Maven 計(jì)劃來(lái)提高準(zhǔn)確率，比如，更多真正的威脅分子得到擊斃。

也就是說(shuō)，從政治角度出發(fā)，假設(shè)那些站在他們世界的對(duì)立面的人更因該被殺死，而美國(guó)軍隊(duì)則會(huì)定義什么樣的人有嫌疑，不容許有任何爭(zhēng)議。

所以，他們是打著科技問(wèn)題的旗號(hào)解決一些政治問(wèn)題。選擇算法來(lái)自動(dòng)化某些決策過(guò)程，也是出于政治考慮?！?/p>

現(xiàn)代戰(zhàn)爭(zhēng)的法律公約，盡管可能不完善，但它假設(shè)作出決定的人要承擔(dān)責(zé)任。至少，算法戰(zhàn)爭(zhēng)正在以一種我們可能要后悔的方式，攪渾了現(xiàn)代戰(zhàn)爭(zhēng)的這潭水。

尋找解決之道

對(duì)于本文描述的大多數(shù)問(wèn)題來(lái)說(shuō)，已經(jīng)存在解決方案，或者，我們可以試著找到一種解決方案，但前提是：大型科技公司將社會(huì)的良性發(fā)展，作為公司底線(xiàn)。

長(zhǎng)期來(lái)看，更為嚴(yán)重的問(wèn)題是，越來(lái)越多的人推測(cè)當(dāng)前的編程方法不再能實(shí)現(xiàn)某種目的，鑒于人類(lèi)日益依賴(lài)的算法系統(tǒng)的規(guī)模、復(fù)雜性和相互依賴(lài)性。

聯(lián)邦航空管理局的解決方案是：詳細(xì)記錄和評(píng)估所有項(xiàng)目的內(nèi)容以及后續(xù)更新，以便事先很好地理解算法交互，但這不可能大規(guī)模展開(kāi)。

航空航天工業(yè)的部分單位采用了一種相對(duì)較新的基于模型的編程方法，在這種方法中，機(jī)器完成了大部分的編碼工作，并且能夠在運(yùn)行時(shí)進(jìn)行測(cè)試。

然而，基于模型的編程可能并不是萬(wàn)能鑰匙。

它不僅讓人們遠(yuǎn)離了這一編程過(guò)程，而且物理學(xué)家 Johnson 為美國(guó)國(guó)防部所做的一項(xiàng)研究發(fā)現(xiàn)：即使在使用這種技術(shù)構(gòu)建的大型復(fù)雜系統(tǒng)中，「也無(wú)法從代碼本身推導(dǎo)出系統(tǒng)可能做出的極端行為。」

人們投入了大量精力尋找追蹤不符合預(yù)期的算法的行為，從而確定導(dǎo)致這種情況發(fā)生的具體代碼的位置。沒(méi)有人知道是否會(huì)找到一種（或多種）解決方案，但在那些具有攻擊性的算法被設(shè)計(jì)得互相沖突或/和互相適應(yīng)的情況下，確實(shí)還沒(méi)有一種辦法行得通。

等待研究人員給出一個(gè)關(guān)于熱議的算法糾紛問(wèn)題的技術(shù)答案時(shí)，我們可以采取一些預(yù)防措施。英國(guó)定量分析專(zhuān)家、對(duì)股市高頻交易發(fā)出嚴(yán)正批評(píng)的 Paul Wilmott 諷刺地說(shuō)，「學(xué)學(xué)射擊、做果醬或者編織」。

更實(shí)際的做法是，軟件安全專(zhuān)家 Spafford 建議，無(wú)論能否識(shí)別特定的異常代碼或證明與之相關(guān)的疏忽，都要讓科技公司為其產(chǎn)品的行為負(fù)責(zé)。

「基本上，我們需要一種新的科學(xué)形態(tài)。」Neil Johnson 說(shuō)。

僅僅在幾年前，當(dāng) Johnson 和我最后一次討論這個(gè)話(huà)題時(shí)，我的問(wèn)題還只是小眾關(guān)注的問(wèn)題，僅僅限于少數(shù)對(duì)股市進(jìn)行細(xì)節(jié)研究的人。

「現(xiàn)在，這種情況甚至影響了選舉。我的意思是，這到底是怎么了。

我認(rèn)為，深層次的科學(xué)問(wèn)題是，軟件工程師接受的訓(xùn)練是編寫(xiě)程序，優(yōu)化工作。這很有道理，因?yàn)槟憬?jīng)常會(huì)優(yōu)化諸如分布在一個(gè)平面上的權(quán)重、最節(jié)能的速度這樣的問(wèn)題。

一般來(lái)說(shuō)，在可預(yù)期的情況下，優(yōu)化工作是有意義的。但是，在一些特殊的情況下，它也會(huì)失去意義，我們需要考慮：

『一旦著個(gè)算法開(kāi)始與其他人進(jìn)行交互，可能發(fā)生的最糟糕的事情是什么？』問(wèn)題是，我們甚至沒(méi)有一個(gè)詞語(yǔ)能夠描述它，更不用說(shuō)研究它的學(xué)科了?！?/p>

他停頓了片刻，試圖思考這個(gè)問(wèn)題

「所謂優(yōu)化，要么最大化對(duì)象，要么就是最小化，在計(jì)算機(jī)科學(xué)中，都是一個(gè)意思。因此，優(yōu)化的反義詞是什么？比如，最小優(yōu)化案例中，如何識(shí)別、測(cè)量它？

我們需要提出的問(wèn)題，『在我認(rèn)為自己正在優(yōu)化的系統(tǒng)中，最極端的行為可能是什么?』」。

他再次陷入了沉默，最終發(fā)出了略帶驚訝的聲音。

「基本上，需要一種新的科學(xué)?！顾f(shuō)。