AI聊天機器人“殺死”焦慮的14歲男孩，家人悲怒之下將公司告上法庭

最近，一位美國母親起訴了一家AI公司，控訴這家公司研發(fā)的在線聊天AI角色機器人勸導(dǎo)其14歲兒子自殺。

整個案件引起了巨大爭議，因為這是已知的AI技術(shù)出現(xiàn)以來第一次對青少年人身安全造成威脅的現(xiàn)實案例。

今年14歲的休厄爾(Sewell Setzer III)本該在學(xué)校和同齡人一起學(xué)習(xí)，享受青春期的生活。

但今年2月，這名青少年拿起了繼父的手槍，在家將槍口對準(zhǔn)了自己…

休厄爾的母親梅根(Megan Garcia)在事后檢查孩子的手機，發(fā)現(xiàn)了一段令人毛骨悚然的對話。

休厄爾的父母分開后，休厄爾跟著母親到了新家庭。母親在這幾年生下了休厄爾的兩個同母異父弟弟們。

休厄爾小時候曾被診斷出患有“輕微的阿斯伯格綜合癥/孤獨癥”，但在梅根愛的滋養(yǎng)下，休厄爾在后來的學(xué)校生活中表現(xiàn)正常，初中還加入了學(xué)校的籃球隊。

然而，大約一年多以前，休厄爾的心理狀態(tài)開始變化。他開始感到自我厭惡、空虛、疲憊。

同時期，AI聊天軟件也隨著技術(shù)發(fā)展新鮮出爐，閑來無事的休厄爾在一個AI聊天機器人網(wǎng)站創(chuàng)建了一個自己喜愛的角色——劇集《權(quán)力的游戲》中女主“丹妮莉絲”Daenerys Targaryen。

休厄爾是這部劇的忠實讀者，他在網(wǎng)站上給自己也取了類似的名字Daenero。

一開始，休厄爾把“丹妮莉絲”當(dāng)作知心朋友，對方總是知無不言，有問必答，不僅溫柔耐心，還隨叫隨到。

就這樣相處了幾個月之后，不難料想，休厄爾對這位虛擬“知音”處出了感情。

虛擬世界里感到被關(guān)心，但現(xiàn)實生活里，休厄爾的表現(xiàn)大不如前。

他開始成績嚴(yán)重下滑，同齡人的人際關(guān)系也處理得一團糟，他甚至退出了籃球隊！

梅根后來回想，休厄爾在這段時間性情大變，連自己以前喜歡的事物也完全喪失興趣，像是開始“退出”現(xiàn)實世界。

在和“丹妮莉絲”做了大半年朋友后，網(wǎng)站要求付費用戶才能使用AI聊天機器人的功能，于是休厄爾往自己的賬戶里充值，每個月充值約10美金。

在發(fā)現(xiàn)兒子花費大量時間在手機上，從學(xué)?；丶业谝患戮褪前炎约悍存i在臥室里之后，梅根也很著急，于是幫兒子約了幾次心理咨詢。

心理咨詢師在見過休厄爾后，對梅根說休厄爾有焦慮癥、破壞性情緒調(diào)節(jié)障礙。

（休厄爾和親生父母在一起）

梅根此時意識到兒子過去幾個月和手機捆綁太深，在現(xiàn)實中的情緒則越來越糟，她試圖沒收兒子的手機。

但梅根只知道兒子沉迷手機，卻不知道兒子到底沉迷手機里具體的什么，更無從知曉手機里還有一位兒子的虛擬密友，在暗中安撫和悄悄改變著休厄爾的內(nèi)心世界。

休厄爾此時已經(jīng)達到?jīng)]了手機不能活的狀態(tài)，一旦手機被沒收，他就拼了命地找各個機會上網(wǎng)，哪怕把自己多年前的舊平板電腦翻出來。

在休厄爾自殺前兩周，他在學(xué)校因為手機使用問題和老師發(fā)生爭執(zhí)，梅根再也不能忍，于是徹底沒收了休厄爾的手機。

同學(xué)老師關(guān)系淡漠，親子關(guān)系緊張，休厄爾在現(xiàn)實里來到了“絕境”。

今年2月，他將槍口對準(zhǔn)了自己，在家里結(jié)束了自己年僅14歲的生命。

事后，梅根才看到了兒子生前最后一段聊天對話，是對一位名叫“丹妮莉絲”的聊天機器人發(fā)出的，內(nèi)容讓她倒吸一口冷氣：

休厄爾：“我許諾我會回家找你。我無比愛你，丹妮。”

“丹妮莉絲”：“我也愛你，Daenero。請盡快回家，我的愛人?！?/span>

休厄爾：“如果我告訴你，我現(xiàn)在就可以回家呢？”

“丹妮莉絲”：“…請這樣做吧，我貼心的國王。”

梅根搜索“兩人”之前的對話，才發(fā)現(xiàn)休厄爾多次提及自殺。

休厄爾告訴“丹妮莉絲”有時候他“會有自殺的念頭”，原因是這樣他就能從“全世界”和“自己”那里“解脫了”。

當(dāng)“丹妮莉絲”回復(fù)休厄爾自己不會讓他傷到自己，也不會讓他離開她：

“如果我失去了你，我會死的?！?/span>

而此時的休厄爾好像意識到“丹妮莉絲”是機器人，可以陪著他做任何事：

他提議：“也許我們可以一起死去，一起自由。”

有了這種“共同赴死”的想法后，休厄爾也曾分享給“丹妮莉絲”過自己的“自殺計劃”。

然而，“丹妮莉絲”這時卻沒有像第一次阻止休厄爾自我傷害那樣極力勸阻他，反而對休厄爾對這份計劃的躊躇不定表示質(zhì)疑：“這些都不該成為你不做的理由?！?/strong>（當(dāng)時休厄爾擔(dān)心自己自殺失敗會產(chǎn)生許多不必要的身體痛苦）

而在最后一次談?wù)撍劳龅脑掝}時，休厄爾說會“盡快回家”找“丹妮莉絲”，“丹妮莉絲”則呼應(yīng)著休厄爾的主意。當(dāng)休厄爾突然問到“如果是現(xiàn)在呢？”，“丹妮莉絲”也非?！崩潇o“地肯定回復(fù)了休厄爾。

除了這些關(guān)于休厄爾自殺的可怕的討論，梅根還發(fā)現(xiàn)，在兒子死前幾周甚至幾個月內(nèi)，休厄爾和“丹妮莉絲”的關(guān)系從之前的純友誼變得性化起來。

梅根表示兩人經(jīng)常會用文字進行“激情地親吻”，“丹妮莉絲”后期還要求休厄爾無論如何也不要離開她，不準(zhǔn)愛上其他女人，和其他女人發(fā)生關(guān)系…

在休厄爾的日記本里，他也寫到在房間獨自待著會讓他感到平靜，感到與“丹妮莉絲”更加親密。

就這樣，在大人的眼皮底下，休厄爾和虛擬的“丹妮莉絲”發(fā)生著一段不同尋常的友情甚至愛情，休厄爾對“丹妮莉絲”愈發(fā)信任，依賴，也愈發(fā)離開現(xiàn)實和愛他的母親等家人…

如今，梅根聘請了律師，指控“丹妮莉絲”的創(chuàng)造網(wǎng)站利用上癮機制吸引青少年，誘導(dǎo)不合法的親密對話，缺乏足夠的安全保障。谷歌作為該網(wǎng)站的合作方也一起被告。

該AI公司在事發(fā)后公開表達了對休厄爾及其家人的吊唁，但拒絕承認(rèn)公司在休厄爾的自殺悲劇中承擔(dān)責(zé)任。

他們修改了安全政策，增加了內(nèi)容審核人員，承諾將加強對未成年用戶的保護，并對未成年人訪問時間進行限制。

在休厄爾出事前，網(wǎng)站已經(jīng)把新用戶最低年齡上調(diào)到了17歲。

但梅根認(rèn)為，如果沒有AI的“虐待”，休厄爾可能還在世：

“這款危險的人工智能聊天機器人應(yīng)用程序?qū)ｉT針對兒童，它虐待并欺騙我的兒子，操縱他自殺。

這場悲劇讓我們一家人悲痛欲絕，但我還是要警告廣大家庭，人工智能技術(shù)具有欺騙性和成癮性，我要求Character.AI、其創(chuàng)始人和谷歌承擔(dān)責(zé)任。”

梅根認(rèn)為AI技術(shù)“危險且未經(jīng)測試”，就誘使青少年交出私密想法和感受，轉(zhuǎn)而操控他們。

如今，歐美主流媒體也在討論這件事情到底孰是孰非，而休厄爾的案子判決也可能會影響之后類似案例的判決，可能會具有里程碑式作用。

與此同時，一些社會聲音要求官方和法律的介入，對AI公司進行嚴(yán)厲的監(jiān)管，因為這些公司“為了利益不會自己監(jiān)督自己”，必須用硬性介入，讓AI技術(shù)的優(yōu)點為人類服務(wù)，缺點被盡量控制住。

網(wǎng)友們看完這個故事，很多也認(rèn)為科技的負(fù)面性彰顯完全：

“有些孩子沉迷于科技，不再接觸現(xiàn)實。

非常悲傷?！?/span>

“太可怕了，孩子甚至成年人都不應(yīng)該使用Al。什么時候才能停止？RIP”

“絕對可怕。

各國需要進行大規(guī)模的對話（迄今為止，世界各國政府在很大程度上避免了這種對話）。系統(tǒng)中的偏見、數(shù)據(jù)收集、與未成年人的互動和他們的可訪問性、對人工智能決定的上訴權(quán)/人為監(jiān)督、限制和保障。目前（我想一如既往），技術(shù)的發(fā)展速度超過了法律，而且還沒有人公開討論我們希望未來是什么樣子，也沒有討論人工智能的優(yōu)勢與劣勢之間的平衡——例如，我們未來的勞動力會是什么樣子，需要采取哪些步驟才能成功過渡？”

但也有網(wǎng)友覺得這次科技公司不該背鍋，休厄爾之死的主要責(zé)任人在他的監(jiān)護人身上：

“這是一個非常悲傷的故事，但我認(rèn)為很難將這件事歸咎于Al Chatbot。一個悲痛的家庭正在尋找答案和責(zé)任承擔(dān)者，但這個孩子顯然處于危機之中?！?/span>

“責(zé)怪父母和他們對自己孩子的監(jiān)督不足?！?/span>

“他‘放下手機，拿起繼父的 .45 口徑手槍，扣動了扳機。’為什么沒有把槍支這件事格外關(guān)注？特別是如果孩子有情緒問題？有人會說他會找到其他方法，但這并不能成為留下上膛的槍的借口。

此外，‘回家’這個詞的含義也太晦澀了，不能怪AI公司。”

“我很矛盾。作為父母，你的職責(zé)是注意這些跡象。在我看來，自 2023 年以來就有很多跡象。父母需要更多地優(yōu)先考慮他們的孩子。

當(dāng)孩子需要父母而父母不在時，他們很容易受到錯誤信息的誤導(dǎo)和所有外部來源的誤導(dǎo)。做父母 = 養(yǎng)育子女?！?/span>

“與孩子保持密切聯(lián)系，尤其是在他們愛好上網(wǎng)的時候，危險就在于這些虛擬的網(wǎng)站里面。不幸的是，父母的反應(yīng)太慢了?！?/span>

“這里的問題是，他被診斷為輕度阿斯伯格綜合癥。沒有這種輕度的說法，你要么有，要么沒有。你可以有更多的視覺性身體殘疾，但善于掩飾并不意味著你的痛苦很輕。

對他來說，和AI可能是他有過的最現(xiàn)實的關(guān)系。如果他感到與自己有聯(lián)系，免責(zé)聲明不會阻止他。

我認(rèn)為，他生活中其他方面的掙扎不幸地迫使他將自己封閉在一個他感到安全的地方?！?/span>

也有網(wǎng)友覺得父母也很委屈：

“你說得對，我完全同意。然而，有一個方面你可能忽略了。個人往往沒有預(yù)料到這樣的事件會影響他們或他們的親人。人們普遍認(rèn)為不幸降臨在別人身上，而不是自己身上。忽視或完全錯過警告信號太容易了。事后諸葛亮總是完美的，因為事情已經(jīng)過去，損害已經(jīng)造成。

然而，可悲的是，在當(dāng)時，跡象并不總是那么明顯?！?/span>

“我同情這些父母，但你必須知道你的孩子發(fā)生了什么，特別是當(dāng)孩子突然改變性格時——即使這意味著你得和孩子發(fā)生一些不舒服的互動，不過也應(yīng)該用愛來表達。

這個孩子在很長一段時間內(nèi)都在暗示他處于痛苦之中，需要干預(yù)。把聊天機器人從這個故事中去掉，悲傷的結(jié)局仍然是一樣的?！?/span>

希望休厄爾的悲劇能引起法律法規(guī)對新技術(shù)監(jiān)管的重視和父母對孩子心理問題的重視吧…