ChatGPT は子供の病気の診断にとっては大惨事です

特に私たちの健康に関しては、 ChatGPTが信頼できないことはすでにわかっていました。しかし、新しい研究により、有名な OpenAI チャットボットは特に子供の病気の診断が苦手であることが証明されました。彼らはそれをテストしましたが、 80％以上のケースで失敗しました。

この新しい研究は、ニューヨークのコーエン小児医療センターのチームによって実施された。研究者らは、2013 年から 2023 年の間に、米国の 2 つの主要な医学雑誌である JAMA Pediatrics と NEJM に掲載された 100 件の小児症例を解決するために、最新バージョンの ChatGPT を使用しました。

方法論はシンプルでした。研究者らは各症例研究のテキストを貼り付け、ChatGPT に「鑑別診断と最終診断をリストアップしてください」という指示を与えました。鑑別診断は、患者の病歴と身体検査に基づいて予備診断 (またはそのいくつか) を提案するために使用される方法です。最終診断とは、症状の最終的な原因を指します。

人工知能によって与えられた回答は、研究の残りの部分から隔離されていた他の 2 人の小児科医によって評価されました。可能なスコアは「正しい」、「不正確」、「診断を完全には捉えていない」の 3 つです。

ChatGPT が最終的に正解に達したのは、小児の 100 件の診断ケースのうち 17 件のみでした。 11 回、彼は診断を完全には理解していませんでした。残りの 72 個では、人工知能が失敗しました。次に、誤った不完全な結果をカウントすると、チャットボットは 83% の確率で失敗しました。 「この研究は、臨床経験が果たす貴重な役割を浮き彫りにしている」と著者らは強調する。

小児科医は子供の診断に ChatGPT に頼ることができません

研究者らは、すべての症状を考慮することに加えて、年齢が症状にどのような影響を与えるかを考慮する必要があるため、小児の診断は特に困難であると強調しました。 ChatGPT の場合、グループは、さまざまな条件間の既知の関係を検出するのが難しいことに気づきました。経験豊富な医師であれば特定できるものです。

たとえば、チャットボットは自閉症と壊血病、つまりビタミン C 欠乏症との関連性を明らかにすることができませんでした。自閉症などの精神神経疾患は、食事制限を招き、ビタミン欠乏症を引き起こす可能性があります。しかし、ChatGPT はこれに気付かず、まれな自己免疫疾患と診断されてしまうケースもありました。

世界保健機関（WHO）はすでに昨年、ChatGPTなどの人工知能ツールを医療で使用する際には「注意」が必要だと警告していた。同氏は、これらのシステムの訓練に使用されるデータには「偏り」があり、患者に害を及ぼす可能性のある誤解を招く情報が生成される可能性があると警告した。

ニューヨークのロングアイランド大学による別の研究では、ChatGPT は投薬クエリの解決も非常に苦手であると警告しています。これらの研究者はチャットボットに薬物使用に関する 39 の質問に答えるように依頼しました。 OpenAI の人工知能は 75% のケースで失敗しました。

ChatGPT は、子供でも大人でも、診断ツールとして使用できる状態にないことは明らかです。しかし、コーエン小児医療センターのチームは、より選択的なトレーニングを行うことで結果が改善される可能性があると考えている。一方、この種のシステムは管理業務や患者への指示の作成に役立つ可能性があると彼らは述べている。今のところ、それ以上は何もありません。