一般的なシリコンベースのプロセッサにはサイズが制限されており、エネルギー消費とパフォーマンスの両方に影響します。サイズが大きくなるほど、内部のコアがより強力になるか、コアの数が増えることになります。したがって、最新の設計では、AMD の Ryzen Threadripper で最大 64 コアを備えた CPU や、数千の小型コアを備え、高度に並列化可能なタスクを備えた GPU を見つけることができます。
たとえば、現在 Nvidia の最も強力なグラフィックス カードであるTitan RTXには 4,608 個の CUDA コアが内蔵されており、その GPU 自体、つまりチップの表面積は 750 mm² です。 Hot Chips 2019カンファレンスサイクル中に発表された、既存のブランドを打ち砕く最新チップとは何の関係もありません。
https://hipertextual.com/analisis/nvidia-geforce-rtx-2080-super
WSE の頭脳とその 400,000 個のコア
通常の設計よりも最大 56 倍大きい新しいチップを発表したのは、コンピューティングと人工知能の交差点における新しいプレーヤーであるCerebrasです。このプロセッサの数値は膨大であり、どのタイプのシステムとしても異例です。
- 機械学習タスク、特にディープラーニング向けに最適化された400,000 個のコアを備えています。これまでで最も多くのコアを搭載したプロセッサの 78 倍以上です。
合計すると、1 兆 2,000 億個のトランジスタが搭載されています。
表面積は 46,225 mm² で、これは紙のシートに匹敵する寸法です。
- このため、その製造には完全なシリコンウェーハが必要となります。
チップ自体には18 GB の SRAM メモリが搭載されています。
その転送速度は 100 Pb/s、つまり1 億ギガビット/秒です。
これは、 1 億 1,200 万ドルの投資を受けて、173 人のエンジニアの努力の成果です。
「なぜそんなに?」とあなたは尋ねるかもしれません。真実は、人工知能、より具体的には深層学習モデルの関連性が高まっており、医療から運転パターンの予測、携帯電話の使用、画像処理に至るまで、無数の分野で多数の応用がなされているということです。
このチップを使用すると、これまでグラフィックス アクセラレータをベースとしていた特定のハードウェアがより少なくて済みます。たとえば、Nvidia にはサーバーおよび高性能機器用の Tesla V100 がありますが、それらはこれらのデバイスを多数並列して使用することに基づいています。
Cerebras の意図は、この新しいチップが現在のシステムよりも優れたパフォーマンスを提供し、より複雑で強力なニューラル ネットワークをより効率的な方法でトレーニングすることです。
参考資料一覧
- https://www.nvidia.com/en-us/data-center/tesla-v100/
