何十年もの間、スーパーコンピューターは巨大なマシンでした。冷蔵サーバーが並び、部屋全体がケーブルとプロセッサーで満たされ、小さな近所に電力を供給できる電力消費量。そこで、集中力を約束するデバイスが登場すると、 その電力の一部はモバイルバッテリーほどのサイズのデバイスに蓄えられています、人工知能はどこまで小型化できるのか?という疑問がほぼ自動的に生まれます。
世界最小の人工知能スーパーコンピューターとして発表されたスタートアップTiiny AIが発表したデバイス、Tiiny AI Pocket Labが提案するのはまさにそれだ。かろうじて 長さ14センチメートル、幅8センチメートル、厚さ2センチメートル強 （モバイルバッテリーとほぼ同じ大きさ）重さは約 300 グラムですが、最近までデータセンターでしか動作しなかった人工知能モデルを実行できることが約束されています。その大きさは世界最小としてギネス認定されているほどです。
このデバイスの背後にあるアイデアはシンプルですが野心的です。人工知能をクラウドからポケットに転送します。 AI Pocket Lab の内部には、専用のニューラル プロセッシング ユニット (NPU) を備えた 12 コア ARM プロセッサが搭載されています。 これらを合計すると、AI 処理能力を計算するための一般的な尺度である約 190 TOPS (1 秒あたりの兆操作) に達します。
実際的に見て、この数字はポータブル デバイスとしては驚くべきレベルにあります。 AI を搭載した主流のラップトップの多くは 30 ～ 50 TOPS の間で推移していますが、PC の AI 専用に設計された一部のチップは 100 TOPS をわずかに超えています。一方、この小さなデバイスはそれらの数値を上回り、特殊なハードウェアのパフォーマンスに近づきます。
しかし、本当に際立っているのは記憶です。 80 GB の LPDDR5X RAM は、多くのプロフェッショナル向けラップトップでも到達できない量です。 この膨大なメモリのおかげで、インターネット接続なしで巨大な言語モデルをデバイス上で直接実行するという、珍しいことが可能になります。 AIポケットラボが実行できるのは、 最大 1,200 億のパラメータを持つ人工知能モデルこの規模は、最近までサーバー インフラストラクチャまたは数千ユーロのコストがかかるプロ仕様の GPU のために予約されていました。
つまり、複雑なテキスト分析、コード生成、多段階推論などのタスクをデバイス上で直接実行できます。開発者によると、この容量は何に達するのか 「博士レベルの知能」、つまり複雑な問題に対処できるモデルと表現される 複数の推論ステップを使用します。これらすべてを外部サーバーに依存することなく実行できます。
このアプローチには 2 つの重要な利点があります。 1つ目は プライバシー: データがデバイスから流出することはありません。 2つ目はクラウドへの独立性で、インターネットに接続できない場所でも人工知能を利用できるようになる。
このような小さなデバイスにこれほど多くの容量を詰め込む鍵となるのは効率です。このシステムは、計算中にニューラル ネットワークの必要な部分のみをアクティブにする TurboSparse などの最適化技術を使用します。 PowerInfer は、CPU と特殊なプロセッサ間で作業を分散するエンジンです。
このデバイスは、データセンターの膨大な生のパワーを再現しようとするのではなく、問題を軽減します。つまり、必要なものだけを計算します。これにより、システム全体が比較的低い電力消費で動作することが可能になります。 熱消費量は約 30 ワット、フル動作時は約 65 ワット、その 10 倍以上のエネルギーを消費するプロ仕様の GPU とは大きく異なります。
おそらく、このデバイスについて最も興味深い点は、そのサイズやパワーではなく、それが何を表現しているかです。人工知能は長年にわたり、大規模なデータセンター、莫大なエネルギーコスト、リモートサーバーへの継続的な依存という同じモデルに従ってきました。 AI Pocket Labは別のシナリオを示唆している: 個人用、ローカル、ポータブルの人工知能。クラウドでコンピューティング能力をレンタルするというよりは、コンピューターを所有することに近いものです。 この傾向が続けば、将来の AI は巨大なデータセンターではなく、小型の個人用デバイスに近いものになる可能性があります ポケットから直接考え、分析し、創造することができます。
