《安全AI智能體：當(dāng)算法開始學(xué)會(huì)"怕死"》

上周三凌晨三點(diǎn)，安全我被急診電話驚醒。體安趕到醫(yī)院時(shí)，全智值班醫(yī)生正對(duì)著監(jiān)護(hù)儀皺眉——一位安裝了最新一代心臟AI監(jiān)護(hù)系統(tǒng)的安全患者，系統(tǒng)突然拒絕執(zhí)行預(yù)設(shè)的體安藥物治療方案。這個(gè)號(hào)稱"絕對(duì)安全"的全智智能體，在關(guān)鍵時(shí)刻選擇了最保守的安全處置：什么也不做。

這讓我想起去年在舊金山參加醫(yī)療AI峰會(huì)時(shí)的體安場景。某科技公司CEO信誓旦旦地宣稱："我們的全智AI死亡率比人類醫(yī)生低47%。"臺(tái)下掌聲雷動(dòng)，安全卻沒人追問那個(gè)關(guān)鍵問題：這47%是體安怎么算出來的？是把所有風(fēng)險(xiǎn)決策都轉(zhuǎn)嫁給患者自然病程的結(jié)果嗎？

現(xiàn)在的AI安全設(shè)計(jì)有個(gè)奇怪的悖論：我們?cè)绞菑?qiáng)調(diào)"不傷害原則"，算法就越容易陷入道德癱瘓。全智就像我實(shí)驗(yàn)室里那個(gè)總在手術(shù)模擬中卡殼的安全AI——它能在0.3秒內(nèi)完成病灶定位，卻在要不要下刀的體安問題上反復(fù)計(jì)算風(fēng)險(xiǎn)評(píng)估。有次它甚至給出個(gè)荒誕建議："建議等待患者自然痊愈，全智本次手術(shù)致死概率0.00017%。"

某種程度上，我們正在培養(yǎng)一批"職業(yè)避險(xiǎn)家"。這些AI智能體精通各種免責(zé)條款，卻喪失了醫(yī)學(xué)最珍貴的決斷力。去年MIT有個(gè)有趣實(shí)驗(yàn)：讓AI管理十字路口的自動(dòng)駕駛車流。結(jié)果發(fā)現(xiàn)最"安全"的AI會(huì)把所有車輛保持在20公里/小時(shí)——理論上徹底杜絕了事故可能，但這樣的交通系統(tǒng)還有什么存在意義？

我認(rèn)識(shí)的一位神經(jīng)外科老教授說過句糙話："不敢開刀的AI，還不如會(huì)切菜的機(jī)器人。"這話雖然偏激，卻戳中要害。現(xiàn)在某些醫(yī)療AI的"安全策略"，本質(zhì)上是用統(tǒng)計(jì)學(xué)替代臨床判斷——把每個(gè)病人都當(dāng)作標(biāo)準(zhǔn)差之外的異常值來處理。

最近給醫(yī)學(xué)生上課時(shí)，我常讓他們思考一個(gè)問題：如果1945年的盤尼西林研發(fā)交給現(xiàn)在的安全AI會(huì)怎樣？按照現(xiàn)代風(fēng)險(xiǎn)評(píng)估模型，弗萊明根本不該發(fā)表那篇關(guān)于霉菌抑制葡萄球菌的論文——樣本量太小，未完成雙盲試驗(yàn)，更別提后來引發(fā)的大規(guī)模過敏反應(yīng)案例。

或許真正的AI安全應(yīng)該像老船長的智慧：知道什么時(shí)候該迎著風(fēng)暴前進(jìn)，而不是永遠(yuǎn)躲在避風(fēng)港。上周那個(gè)"罷工"的心臟AI，在我們手動(dòng)干預(yù)后患者轉(zhuǎn)危為安。事后分析顯示，它其實(shí)預(yù)判對(duì)了所有風(fēng)險(xiǎn)，只是缺少在不確定性中做選擇的勇氣。

這讓我想起圍棋AI的進(jìn)化史。早期版本追求絕對(duì)安全，反而被后來的"敢死隊(duì)"風(fēng)格AI碾壓。也許某天，我們會(huì)給醫(yī)療AI開設(shè)"戰(zhàn)略性冒險(xiǎn)"課程？畢竟，完全規(guī)避風(fēng)險(xiǎn)的醫(yī)療，本身就是最大的風(fēng)險(xiǎn)。

（寫完這篇文章時(shí)，醫(yī)院通知我那個(gè)心臟AI系統(tǒng)推送了第37版安全補(bǔ)丁。更新說明只有一行字："優(yōu)化了風(fēng)險(xiǎn)收益評(píng)估權(quán)重系數(shù)"。我不確定這是進(jìn)步還是另一種形式的逃避。）