全部商品分類
越來越多的ＡＩ工具被用于從敗血癥到中風等等一切疾病的預(yù)測，希望能夠及早提供護理，挽救生命。
但隨著時間的推移，有新的研究表明，這些預(yù)測模型很可能伴隨著其本身的成功而墮入深淵——由于預(yù)測成功，導致其表現(xiàn)急劇下降，并產(chǎn)生不準確的、潛在有害的結(jié)果。
這項新研究于近日發(fā)表在《內(nèi)科年鑒》上。西奈山伊坎醫(yī)學院數(shù)據(jù)驅(qū)動和數(shù)字醫(yī)學講師、這項新研究的作者Ａｋｈｉｌ Ｖａｉｄ說：“在測試模型時，沒有辦法解釋這一點。你不能進行驗證研究，不能進行外部驗證，不能進行臨床試驗，因為他們只會告訴你這個模型是有效的。一旦它開始工作，問題就會出現(xiàn)。”
Ｖａｉｄ 和他在西奈山的同事模擬了兩種模型的部署，預(yù)測患者在進入 ＩＣＵ 后五天內(nèi)死亡和急性腎損傷的風險。
他們的模擬中，假設(shè)這些模型做到了他們預(yù)期應(yīng)該做的事情，即通過識別患者進行早期干預(yù)來降低死亡和腎損傷。
但是，當患者開始好轉(zhuǎn)時，這些模型在預(yù)測腎衰竭和死亡率的可能性方面就變得不那么準確了。即便重新訓練模型，或是用其他方法來阻止預(yù)測能力的衰退，都無濟于事。
很少有醫(yī)療衛(wèi)生系統(tǒng)會隨著時間的推移去跟蹤ＡＩ模型的性能，上述新研究成為了一個警示，并且提出了問題——ＡＩ預(yù)測模型潛在的性能下降對患者意味著什么，特別是在部署了多個ＡＩ系統(tǒng)的環(huán)境中，這些系統(tǒng)可能會影響患者的治療效果，并且隨著時間的推移，它們彼此之間的性能表現(xiàn)也會互相影響。
去年，美國醫(yī)療媒體ＳＴＡＴ和麻省理工學院的一項調(diào)查，通過測試三種預(yù)測算法的性能，捕捉到了模型性能如何隨著時間的推移而下降。在過去的十年中，預(yù)測敗血癥、住院時間和死亡率的準確性確實存在明顯差異。導致這一問題的罪魁禍首是臨床變化的組合、醫(yī)院使用新的醫(yī)學編碼標準、以及來自新社區(qū)的患者大量涌入。
模型出現(xiàn)這樣的故障是由于“數(shù)據(jù)漂移”造成的。約翰·霍普金斯大學醫(yī)學院傳染病與健康信息學研究員Ｍａｔｔｈｅｗ Ｒｏｂｉｎｓｏｎ，也是西奈山研究的作者之一，他表示：“關(guān)于輸入數(shù)據(jù)如何隨著時間的推移而變化，并產(chǎn)生令人意想不到的輸出，人們進行了很多討論。”
這項新的研究發(fā)現(xiàn)了一個反常的問題，隨著時間的推移，預(yù)測模型的性能可能會下降。成功的預(yù)測模型卻創(chuàng)建了這樣一個反饋循環(huán)：隨著ＡＩ幫助推動干預(yù)措施以保持患者的健康，那么系統(tǒng)內(nèi)的電子健康記錄可能就會開始反映較低的腎損傷率或死亡率，然后隨著時間的推移這些數(shù)據(jù)被用于重新訓練模型。
Ｖａｉｄ：“只要你的數(shù)據(jù)受到了模型輸出的污染或破壞，那么你就會遇到問題。”
研究人員基于當今的ＡＩ醫(yī)療衛(wèi)生系統(tǒng)，展示了該問題在三種情況下是如何出現(xiàn)的。
首先，他們自己部署了死亡率預(yù)測模型，并根據(jù)新的患者數(shù)據(jù)對其進行了重新訓練——這是避免數(shù)據(jù)漂移的常見策略。然后，與直覺相反，他們發(fā)現(xiàn)，利用模型幫助過的患者數(shù)據(jù)重新訓練出的模型，可能會低估死亡風險，并且模型的特異性驟降至 ３９％。Ｖａｉｄ說：“這太大了，意味著一旦你重新訓練你的模型，它實際上就沒用了。”
在另外兩種情況下，急性腎損傷預(yù)測因子和死亡率預(yù)測因子一起使用。當腎臟模型的預(yù)測幫助患者避免急性腎損傷時，它也降低了死亡率——因此當后來再使用這些數(shù)據(jù)創(chuàng)建死亡率預(yù)測因子時，其特異性就受到了影響。當兩個模型同時部署時，每個模型各自所驅(qū)動的醫(yī)療保健變化都會使其他模型的預(yù)測失效。
Ｖａｉｄ 表示，他與聲稱已同時部署 １５ 或 ２０ 個模型的衛(wèi)生系統(tǒng)進行了交談。他表示，這會導致一些可怕的錯誤，衛(wèi)生系統(tǒng)使用預(yù)測模型的時間越長，而不考慮性能下降的反饋循環(huán)，它們的可靠性就越低，這就像一顆定時炸彈。
范德比爾特大學醫(yī)學中心生物醫(yī)學信息學教授 Ｓｈａｒｏｎ Ｄａｖｉｓ 表示：“我們早就意識到，影響患者預(yù)后和 ＥＨＲ 數(shù)據(jù)下游反饋的成功實施，需要新的方法來更新模型。” “ＡＩ工具按順序或者同時部署的交互效果，對于需要創(chuàng)新解決方案的模型管理者來說，這是另一個復(fù)雜的問題。”
資深作者、西奈山數(shù)據(jù)驅(qū)動和數(shù)字醫(yī)學部門的系統(tǒng)主管Ｇｉｒｉｓｈ Ｎａｄｋａｒｎｉ表示，雖然許多衛(wèi)生系統(tǒng)都在思考如何管理數(shù)據(jù)漂移等問題，但還沒有人想過如何管理這么多模型同時運行的性能，并且連續(xù)幾代的患者數(shù)據(jù)都受到影響，在沒有適當監(jiān)控、適當測試、適當驗證系統(tǒng)的情況下引入了一堆模型，所有這些模型都在相互作用，并且影響臨床醫(yī)生和患者。
加州大學伯克利分校和加州大學舊金山分校計算精準健康助理教授Ａｄａｍ Ｙａｌａ稱，這項研究引起了臨床界的注意。“這是一個被嚴重低估的問題，我們目前的最佳實踐、模型監(jiān)控、監(jiān)管實踐，以及我們構(gòu)建的工具，都沒有解決這個問題。”
作者承認，真實世界的性能下降可能與他們的模擬有所不同，上述模擬是基于西奈山和貝斯以色列女執(zhí)事醫(yī)療中心的１３００００名ＩＣＵ住院患者進行的。他們必須猜測衛(wèi)生系統(tǒng)內(nèi)的模型依從性是什么樣的，以及臨床干預(yù)措施在減少腎臟損傷和死亡方面的效果如何。
Ｙａｌａ說：“一定是存在局限性的，因為干預(yù)措施是模擬的，但這不是重點，重點是表明存在這樣一個真實的現(xiàn)象，我們所做的任何事情目前都無法解決解決這個問題。”
為了在模型的性能開始受到影響時捕捉到它們，衛(wèi)生系統(tǒng)必須主動跟蹤各類指標，但許多系統(tǒng)并沒有這樣做。Ｒｏｂｉｎｓｏｎ說：“機構(gòu)可能會為了資金或噱頭來創(chuàng)建、部署模型，但是后續(xù)觀察這些模型隨著隨著時間的推移性能表現(xiàn)如何，這類工作卻沒有那么令人興奮。”
西奈山的研究表明，即使監(jiān)測發(fā)現(xiàn)模型的性能下降，也很難糾正這種數(shù)據(jù)污染，因為再次訓練并不能恢復(fù)模型的性能。當衛(wèi)生系統(tǒng)訓練新模型或重新訓練舊模型時，他們需要確保使用的患者數(shù)據(jù)沒有被先前ＡＩ工具的實施所破壞，這意味著他們必須更加嚴格地跟蹤醫(yī)生何時以及如何使用ＡＩ預(yù)測來做出臨床決策。
Ｒｏｂｉｎｓｏｎ和他的論文合著者認為，采用新的變量來重新訓練模型可能會有所幫助。Ｖａｉｄ則表示，需要制定相關(guān)的法規(guī)對此進行監(jiān)管。
今年３月，ＦＤＡ發(fā)布了指導草案，試圖解決臨床ＡＩ性能隨著時間的推移而下降的現(xiàn)實，為開發(fā)者提供了一個以預(yù)定方式更新模型的框架，而不需要機構(gòu)對每次更改進行審查。但新的研究表明，“變更控制計劃”中的步驟，包括模型再訓練，仍然不應(yīng)該隨意地實施。
Ｎａｄｋａｒｎｉ說：“還需要深入考慮。ＦＤＡ的計劃目前包括再培訓、評估和更新，但在不考慮預(yù)測性能、干預(yù)效果和依從性的情況下大規(guī)模實施這些計劃實際上可能會使問題變得更糟。”
隨著許多衛(wèi)生系統(tǒng)繼續(xù)推遲對現(xiàn)有人工智能模型的評估，Ｒｏｂｉｎｓｏｎ指出，這些問題擴展到由大型語言模型支持的下一代臨床工具。隨著時間的推移，接受ＡＩ生成輸出訓練的大模型的表現(xiàn)越來越差。“隨著放射學報告、病理學報告甚至臨床記錄越來越多地由大模型構(gòu)建，未來的迭代將接受這些數(shù)據(jù)的訓練，而且可能會產(chǎn)生意想不到的后果。
Ｖａｉｄ 說得更簡單——我們生活在一個模型吞噬模型的世界。
注：文章來源于網(wǎng)絡(luò)，如有侵權(quán)，請聯(lián)系刪除
