ChatGPT が医学や法律の試験に合格しても役に立たない

最近では、 ChatGPTもスープに含まれています。そして当然のことです。 OpenAI の人工知能チャットボットは、その優れた機能のおかげで世界を席巻しました。あらゆる質問に答えることから、想像したトピックに関する完全なテキストを生成することまで、さまざまなことができます。おそらく、米国の最も有名な大学のいくつかで、法律、ビジネス、さらには医学部の試験に合格するという彼の「能力」ほど多くの反応を引き起こしたものはないでしょう。しかし、それは本当に重要なのでしょうか？

誤解しないでください。 ChatGPT が前述のテストに合格できたことは、そのベースとなっている言語モデルの計り知れない可能性を示すもう 1 つの例です。しかし、今日では医師、弁護士、その他の専門家に取って代わられる一歩手前の特別なスキルではないため、それ以上に重要視すべきではありません。これ以上真実からかけ離れたものはありません。

問題は、メディアがこれらの ChatGPT の成果に焦点を当てていることです。ほとんどの場合、それはソーシャル ネットワークに転送され、そこで増幅されます。 Twitter で簡単に検索すると、人工知能チャットボットが大学試験に合格する能力を強調している数十のバイラルツイートを見つけることができますが、そもそもなぜ誰かがこの種のテストを受けさせようと考えたのかについてはまったく説明されていません。 。または、特定のトピックが他のトピックよりも解決が難しい場合。

でも、ChatGPT が今の医学試験に合格できるとしたら、数年後には医師は時代遅れになるでしょう?皆さん、申し訳ありませんが、状況はそれよりもはるかに複雑です。そして、AI がどれだけ進歩しているか、今後数年間でどれだけ進化するかは関係ありません。現在、ボットが学術試験に合格したからといって、ボットが医師、弁護士、経済学者になるわけではありません。その理由は単純です。人間の言葉でそれを評価することができないからです。

ChatGPT の試験に合格する「能力」はあまり証明されていません

ChatGPT を強化する人工知能は、Web 上で公開されている数百万ページのコンテンツを使用してトレーニングされています。したがって、大学試験に数秒で合格できるのは当然です。結局のところ、人間とは異なり、教師が提示する質問に答えるために必要な重要な情報を学び、理解し、保持するために、何週間も何か月も熱心に勉強する必要はありません。

さらに、必要なときにいつでも簡単に参照できるため、データの保持について心配する必要もありません。さらに、ChatGPT を法律や医学の試験の対象にすることを決めた人たちは、人工知能が人間の専門家の仕事をより少ない労力で実行できることを証明することを目的としてそれを行ったわけではありません。

ミネソタ大学の法学教授であるジョン・チョイ氏は、彼の目的は、学生の試験完了や弁護士の実務支援におけるChatGPTの可能性を試すことだったと説明した。 「ChatGPT は、潜在的な法的問題の検出や、事件の事実に対する法的ルールの適用に関する詳細な分析など、ロースクール試験のより古典的な要素に苦労しました。しかし、学生が作成できる最初の草稿を作成する際には非常に役立つ可能性があります。それから洗練します」と彼は説明した。

OpenAI のチャットボットが法科大学院で修了した 4 つのコースの中で、そのパフォーマンスは特に目立ったものではありませんでした。添削を担当した教授によると、AIプラットフォームでの成績はC+を獲得した学生と同等だったという。つまり、成績は低いが試験には合格できるレベルだ。

ペンシルベニア大学で経営管理コースに在学中、彼の成績はより良好でした。そこで彼はBおよびB-の成績を獲得しました。ある教授によれば、彼は運用管理とプロセス分析に関する問題に優れていたという。しかし、より複雑な練習では困難を抱えていた。基本的な数学を扱うときに「驚くべき間違い」が発生するほどです。

さらに、ChatGPT は米国医師免許試験を完了するために使用されました。研究者らは、チャットボットが承認基準に近いかそれ以上のレベルで質問を完了したことに注目し、研究者らを驚かせた。しかし、彼らはまた、その可能性が医師を目指す人々の教育過程や、将来的には臨床分野での意思決定に協力することさえも役立つ可能性があることも示しました。しかし、当面の医師の交代については何もありません。

AI 擬人化の古いジレンマ

ChatGPT の学科試験に合格する「能力」に今日では何の価値もないと言うのは厳しいように聞こえますが、それを嫌う立場ではありません。それどころか、人工知能チャットボットの性質や日常生活への影響について話すときは、地に足を着いて語ろうとしています。

法廷で弁護してくれるAIを雇えるようになるまでは、AIが弁護士に取って代わったとは言えません。人間の介入なしに私たちを治療できるようになるまでは、それが医師、看護師、専門家に取って代わるとは言えません。そして、同じことが、ChatGPT やこのタイプのツールの影響を多かれ少なかれ受けている他の種類の職業にも当てはまります。

高度な言語モデル、またはますます大規模に動作する言語モデルを扱う際の大きなジレンマの 1 つは、その擬人化です。つまり、たとえ彼らが持っていなくても、彼らと交流する人々は彼らに贈り物や人間的な資質を与えます。これは新しいことではなく、1960 年代に自然言語処理ソフトウェアを使った最初の実験に遡ります。ただし、AIの進化のおかげで、近年ではそれが別の次元を獲得していることは確かです。

ChatGPT がこの状況から逃れられないことは明らかです。ほんの数か月の間に、少し前まで一般人がアクセスできなかった高度な人工知能ツールとの一般の人々の関わり方は劇的に変化しました。しかし、バイアスや、十分な注意を払わなければ確実に通過してしまう可能性のある誤った、またはまったくの虚偽のデータの組み込みなど、深刻な問題を解決する必要があります。反応の生成の背後にある種の意識があると考えられる場合、事態はさらに悪化する可能性があります。

この問題は、AI の世界で最も著名な研究者によって過去にすでに警告されていました。 2020 年まで Google にいたマーガレット・ミッチェル氏とティムニット・ゲブルー氏は、このことを次のように説明しました。

人間の対話者は、意味が存在しないところに意味を押し付ける傾向があるため、自然言語処理の研究者と一般の人々の両方が合成テキストを意味のあるものであると誤解する可能性があります。 […]

言語モデルによって生成されたテキストは、コミュニケーションの意図、世界のモデル、または読者の精神状態のモデルに基づいていません。 […]

問題は、コミュニケーションの一方の側面が無意味である場合、その暗黙の意味を理解することは、（モデルに関係なく）人間特有の言語理解から生じる幻想であるということです。生成されるものを見るとそう見えるかもしれませんが、言語モデルは、膨大なトレーニング データ内で観察された言語形式のシーケンスを、それらがどのように組み合わされるかについての確率的な情報に従ってランダムに一致させるためのシステムですが、参照はありません。意味に。確率論的なオウムです。

「確率論的なオウムの危険性について: 言語モデルは大きすぎる可能性がありますか?」 からの抜粋。

ChatGPT にはまだ改善と進化の余地がたくさんあり、それが良くないことを示唆するものは何もありません。しかし、学科試験に合格すれば、日常生活のより重要な領域を統治できるようになると考えるのは、単なる妄想にすぎません。テクノロジーとその成果を楽しみましょう。しかし、文脈の欠如や新製品の背後にある誇大広告によって煽られた思い込みに陥らないようにしましょう。