ChatGPT にはすでにオープンソースの代替手段がありますが、その使用は思っているほど簡単ではありません

ChatGPT には、OpenAI が開発した人工知能と同様の動作をするオープンソースの代替手段がすでにあります。 PaLM + RLHFとして知られるこの AI は、Google の Pathways Language Model (PaLM) とヒューマン フィードバックからの強化学習 (RLHF) を組み合わせた開発者、Philip Wang の作品です。その結果、理論上、 ChatGPT が実行するタスクと同様のタスクを実行できる AI が誕生しました。

大まかに言うと、この人工知能はPaLM アーキテクチャ上の RLHF の実装です。 Google が開発した言語モデルは、書籍、ドキュメント、Wikipedia のエントリ、GitHub コードを含む高品質の多言語データセットを使用してトレーニングされています。 PaLM は、算術推論を実行したり、ジョークを説明したり、絵文字から映画を推測したりできます。

PaLM+RLHF は、データセットと人間のフィードバックを使用して単語を予測できます。 ChatGPT に含まれる RLHF は、事前トレーニングされた言語モデルを使用し、ユーザーが期待する結果に向けてそれを調整することを目的としています。これは、人間の好みをシステムに統合する方法を定義する報酬モデルのおかげで可能になります。

オープンソースのChatGPTの運用には数百万ドルが必要

PaLM は GPT-3 を超える可能性がありますが、このオープンソースの亜種に興奮して急いでダウンロードする前に、知っておくべきことがあります。システムはまだトレーニングされていないため、ChatGPT の場合のように、あなたとの会話を確立できません。その作成者によると、高次元パラメータ空間内の正しいポイントに移動するには数百万ドルのコンピューティングとデータが必要なため、PaLM + RLHF は単なる船であり、概観図にすぎません。

ワン氏が数百万ドルについて話すとき、彼は冗談ではありません。コーネル大学が発表した研究によると、15 億のパラメーターを使用してモデルをトレーニングするには 160 万ドルの費用がかかります。

GPT-3 と同様の数のパラメータを持つオープン ソース モデルである Bloom では、 1 枚あたりの推定価値が 32,200 ドルの 384 枚の NVIDIA A1000 カードを使用した 3 か月のトレーニングが必要でした。参考までに、PaLM には 5,400 億のパラメータがあります。

フィリップ・ワン氏は、PaLM + RLHF で定義されているように、ボートと地図を手にしていても、安全な港まで導くにはプロの船員が必要であると述べています。他の専門家は、強力なハードウェアだけでなく、トレーニング タスクを実行できる適切なインフラストラクチャとソフトウェアも必要であると保証しています。

いずれにしても、PaLM + RLHF について詳しく知りたい場合は、GitHub リポジトリにアクセスしてください。