OpenAI、「World of Warcraft」に似たゲームで人工知能を訓練

ビデオゲームは、人工知能エージェントの訓練において重要な役割を果たしています。 OpenAIはすでに数か月前に DoTA 2 に取り組んでおり、現在大規模マルチプレイヤー オンライン ジャンルを使用してNeural MMO と呼ばれる新しいシステムを作成しています。

ニューラル MMO は、 World of Warcraftのようなゲームの基本的な仕組みを使用する深層強化学習用のプラットフォームです。エージェント (またはプレイヤー) は、ランダムに作成されたマップを提供するサーバーに参加できます。このシナリオには、水、草、森、山など、さまざまな値を持つタイルがあります。

エージェントは生き残るためにマップ中を移動しなければなりません。これを達成するには、食料（森林）と水を提供する広場を使用する必要があります。同様に、同じサーバー上でシーンを探索している他のエージェントと対戦することもできます。自由に移動できるスペースもあれば、キャラクターの通行を完全にブロックするスペースもあります。

興味深いのは、食品の場合、「森林」という値を持つ空間の持続時間は無限ではないため、エージェントはシナリオ全体を通じて他の場所に移動することになります。これにより、他のエージェントとの競合状況が生じます。エージェントとは、近接攻撃、遠距離攻撃、呪文の使用という 3 種類のスタイルを使用して戦うことができます。

研究者は、人口タイプごとにエージェントをグループ化し、他のサーバーのエージェントを統合することもできました。オンライン ゲームと同様に、さまざまな人口による「トーナメント」を作成することができます。

OpenAI によると、同社の Neural MMO プラットフォームは、サーバー上に多数のエージェントが存在する場合にパフォーマンスが向上します。このシステムは、マップごとに 16 ～ 128 人のエージェントの範囲でトレーニングされており、人口が増加するにつれて、エージェントは衝突を避けるためにマップのより遠くの部分を探索し始めることがわかりました。

他のトレーニング システムとは異なり、ニューラル MMO は環境と規模の点でより複雑です。さらに詳しく知りたい場合は、GitHub からダウンロードできます。このバージョンでは、最大 100 台のサーバーに接続できる最大 128 個のエージェントがサポートされます。