Apple Intelligence 、 WWDC 2024でのSam Altmanの存在、およびApple デバイスの新しい AI を含むあらゆるものについて、少し混乱しているかもしれません。基調講演の二日酔いから立ち直った後、同社は、ゼロから作成およびトレーニングされた2 つの新しい言語モデルに基づいた新しい人工知能システムがどのように機能するかを説明したいと考えていました。
いいえ、一部のApple Intelligence 機能がChatGPTに関連しているからといって、その AI がGPT-4のような OpenAI モデルを使用することを意味するわけではありません。実際、クパチーノの会社は、人工知能に基づいてその機能を提供できる基盤を構築するという後者の可能性を活用してさえいません。
これが明確になると、Apple はさまざまなタスクに対応する 2 つの異なるモデルを用意することに踏み切りました。 1 つ目は、デバイス (iPhone、iPad、または Mac) 内での実行を担当し、タスクを実行するために外部に「出て行ったり」したり、外部サーバーと通信したりすることはありません。つまり、必要なものはすべてデバイス自体のパフォーマンスによって提供されます。
2 番目はその逆です。これは同社のサーバー上で実行され、ちなみに、サーバーは大規模なデータセンターを構築するために数千のM2 Ultra チップを使用しています。より多くの計算能力を必要とする Apple Intelligence 機能はすべて、以前とは異なる言語モデルを使用して外部的に解決されます。
実際、この違いは、両方のモデルが持つ可能性を考慮して同じ方法でトレーニングされているため、両方のモデルにある数少ない違いの 1 つです。ご想像のとおり、デバイス上で実行されるモデルは他のモデルよりもはるかに強力ではありませんが、どちらもプライバシー、データ、個人情報または悪意のあるコンテンツの管理に関して非常によく似たルールに従います。
Apple Intelligence モデルはどのようなデータを使用してトレーニングされますか?
そうですね、最初から始めなければなりません。言語モデルを作成するには、Apple にはいくつかのものが必要ですが、その中にはデータも含まれます。同社はこのフェーズを「事前トレーニング」と呼び、モデルにコンテンツを提供するために使用する情報について留意すべき基本的な事項をいくつか説明しました。
最も重要なことは、 Apple がトレーニング中に個人データやプライベートなやり取りを一切使用しないことです。インターネット上のデータを監査するだけで、ユーザーに何も漏洩しません。クパチーノの会社によると、データ量が膨大なのでクレジットカードや社会保障口座にアクセスできるほどだという。しかし、すでに述べたように、このコンテンツはすべてフィルタリングされ、言語モデルから削除されます。
さらに、このデータ収集段階では、悪意のある単語や重複した情報に対するフィルターも適用し、高品質のコンテンツとみなされるものすべてに焦点を当てます。
ポストトレーニング
最初のフェーズが完了すると、Apple は Apple Intelligence の効率的でスケーラブルな言語モデルを実現するにはデータ品質が不可欠であることに気づき、収集されたすべての情報を新たに監査し、データを整理できる 2 つのアルゴリズムの作成に着手しました。つまり、モデルがすでに知っているすべての内容をさらに磨き上げることです。
良いニュースは、両方のアルゴリズムが人間の学習に基づいて動作し、人間によって訓練された機能を提供することです。Apple によれば、これが言語モデル命令の高品質に変換されます。その結果、Apple Intelligence にはより多くの人的能力が与えられます。
最適化
モデルが必要なデータを取得し、ミリメートル単位で監査された後は、パフォーマンスが十分に強力になるようにモデルを最適化します。 Apple は最初のトークンの速度を優先することに重点を置き、 iPhone 15 Proで 0.6 ミリ秒の遅延を達成しました。さらに、この同じデバイスは1 秒あたり 30 トークンの生成速度を提供します。
Apple Intelligence を動かす役割を担う両方のモデルはクラスター化されたクエリを使用するため、メモリ量と生のパフォーマンスが削減され、効率が大幅に向上します。
Apple Intelligence 機能へのモデルの適合
パフォーマンスを最適化することで、Apple は2 つのモデルの可能性を Apple Intelligence の基本的なタスクに合わせて調整するという課題を抱えていました。ほとんどの企業はあらゆるものに門戸を開いており、これは簡単ではありませんでしたが、これらのモデルを iPhone、iPad、または Mac で使用することを考えた場合、これらのデバイスが実行できるタスクにモデルを適応させる必要があります。
これらの適応により、モデルはシンプルかつ効率的な方法でスケーラブルであることに加えて、電子メールの概要や Siri の推奨事項などの非常に特殊なタスクにその場で特化することができます。
つまり、彼らは、 Apple 製品を通じて表現、作業、コミュニケーションの方法を改善する機能を備えた 2 つのまったく新しい AI 言語モデルを作成し、トレーニングすることに成功しました。