DIME MAGAZINE
RTX搭載AIアシスタント テクノロジ デモである Project G-Assist を初公開
NVIDIAは2024年6月2日、COMPUTEX（台北国際コンピュータ見本市）においてGeForce RTX AI ノートPC 上で動作する、AI アシスタントとデジタル ヒューマンを強化するための新しい NVIDIA RTXテクノロジを発表した。同社リリースを元に、その概要をお伝えする。
今回、同社はPCゲームやアプリにコンテキストを認識した支援を提供する RTX搭載AIアシスタント テクノロジ デモである Project G-Assist を初めて公開した。
Project G-Assist テクノロジ デモは、Studio Wildcardの『ARK: Survival Ascended』でデビューした。NVIDIAはまた、NVIDIA ACE（https://developer.nvidia.com/ace） デジタル ヒューマン プラットフォーム向けの初の PC ベースの NVIDIA NIM推論マイクロサービスも公開した。
これらのテクノロジは、開発者がWindows PC上で大規模な生成 AI モデルを最適化および展開するのに役立つ新しいツールと SDK のスイートである NVIDIA RTX AI Toolkit（https://developer.nvidia.com/rtx/ai-toolkit） によって実現される。
これらは、500を超えるPCアプリケーションとゲーム、および 200のOEMノート PCを高速化する NVIDIAのフルスタックRTX AI イノベーションに加わる。
さらに、ASUSとMSI が新たに発表したRTX AI ノート PCには、最大で GeForce RTX 4070 GPU と、Windows 11 AI PC 機能を備えた電力効率の高いシステム オン チップが搭載されている。
GeForce AI アシスタントの Project G-Assist
AIアシスタントは、ゲーミング戦略の提供やマルチプレイヤー リプレイの分析から、複雑なクリエイティブ ワークフローの支援まで、ゲームやアプリ内の体験を変革していく。Project G-Assistは、この未来を垣間見ることができる。
PC ゲームには、探索できる広大な世界と習得すべき複雑なメカニズムがあり、これらは熱心なゲーマーにとっても手間がかかる困難な作業だ。Project G-Assistは、生成AIを使用して、ゲーム知識をプレイヤーにわかりやすく届けることを目指している。
Project G-Assistは、プレイヤーからの音声またはテキスト入力とゲーム画面からのコンテキスト情報を取得し、そのデータを AI ビジョン モデルに渡す。
これらのモデルは、ゲーム知識データベースにリンクされた大規模言語モデル (LLM) のコンテキスト認識とアプリ固有の理解を強化し、テキストまたは音声で配信されるカスタマイズされた応答を生成する。
NVIDIAは Studio Wildcardと提携して、『ARK: Survival Ascended』でこのテクノロジのデモを行った。Project G-Assistは、クリーチャー、アイテム、伝承、目的、難しいボスなどに関する質問に答えるのに役立つ。Project G-Assistはコンテキストを認識するため、プレイヤーのゲーム セッションに合わせて回答をパーソナライズする。
さらに、Project G-Assistは、プレイヤーのゲーム システムを最適なパフォーマンスと効率となるように構成できる。
パフォーマンス メトリックに関する洞察を提供し、ユーザーのハードウェアに応じてグラフィックス設定を最適化。安全なオーバークロックを適用することで、パフォーマンス目標を維持しながら電力消費を賢く削減することも可能だ。
■最初の ACE PC NIM がデビュー
デジタル ヒューマンを強化する NVIDIA ACEテクノロジが、NVIDIA NIMを搭載した RTX AI PC およびワークステーションに登場する。
NVIDIA NIMは、開発者が展開にかかる時間を数週間から数分に短縮できるようにする推論マイクロサービスだ。ACE NIMは、自然言語理解、音声合成、ファイシャル アニメーションなどのために、デバイス上でローカルに実行される高品質の推論を提供していく。
COMPUTEX では、Inworld AI と共同で開発された Covert Protocol 技術デモ（https://www.nvidia.com/ja-jp/about-nvidia/press-releases/2024/nvidia-digital-human-technologies-bring-ai-characters-to-life/）で、PC での NVIDIA ACE NIM のゲーミング デビューが紹介される。
このデモでは、デバイス上でローカルに実行される NVIDIA Audio2Face (https://www.nvidia.com/ja-jp/ai-data-science/audio2face/)とNVIDIA Riva (https://developer.nvidia.com/riva）自動音声認識が披露される。
■Windows Copilot Runtime がローカル PC SLM に GPU アクセラレーションを追加
Microsoft と NVIDIAは、開発者がWindowsネイティブ アプリと ウェブ アプリに新しい生成 AI 機能を導入できるよう協業している。
この協業により、アプリケーション開発者は、Windows Copilot Runtimeによってデバイス上で実行されるGPUアクセラレーテッドの小規模言語モデル (SLM) とRetrieval-Augmented Generation (RAG) 機能にアプリケーション プログラミング インターフェイス (API) から簡単にアクセス可能になる。
SLMは、コンテンツの要約、コンテンツの生成、タスクの自動化など、Windows開発者に多大な可能性を提供する。
RAG機能は、基本モデルでは十分に表現されていないドメイン固有の情報にAIモデルがアクセスできるようにすることで、SLM を強化する。RAG API を使用すると、開発者はアプリケーション固有のデータ ソースを活用し、SLM の動作と機能をアプリケーションのニーズに合わせて調整できる。
これらの AI機能は、NVIDIA RTX GPUや他のハードウェア ベンダーの AI アクセラレータによって高速化され、エンド ユーザーに Windowsエコシステム全体にわたって高速で応答性の高い AI 体験を提供する。
API は、今年後半に開発者プレビューとしてリリースされる予定だ。
RTX AI ツールキットで4倍高速、3倍小型のモデルを実現
AIエコシステムでは、アプリ開発者が活用できるオープンソース モデルが何十万も構築されているが、ほとんどのモデルは一般的な用途向けに事前トレーニングされており、データセンターで実行するように構築されている。
開発者がPCで実行されるアプリケーション固有のAIモデルを構築できるように、NVIDIAはRTX AI PCでのモデルのカスタマイズ、最適化、展開のためのツールと SDK のスイートである RTX AI Toolkit（https://developer.nvidia.com/blog/streamline-ai-powered-app-development-with-nvidia-rtx-ai-toolkit-for-windows-rtx-pcs/）を導入。
RTX AIツールキットは 6 月にリリースされ、より幅広い開発者がアクセスできるようになる。
開発者は、オープンソースの QLoRa ツールを使用して事前トレーニング済みモデルをカスタマイズできる。
次に、NVIDIA TensorRT （https://developer.nvidia.com/tensorrt）モデル オプティマイザーを使用してモデルを量子化し、RAM の消費量を最大 3 分の 1 に抑える。
その後、NVIDIA TensorRT Cloudがモデルを最適化して、RTX GPUラインアップ全体で最高のパフォーマンスを実現。そして前トレーニング済みモデルと比較して、最大4倍のパフォーマンスを実現できるという。
現在早期アクセスで利用可能なNVIDIA AI Inference Manager (AIM) （https://developer.nvidia.com/rtx/ai-inference-manager）ソフトウェア開発キット (SDK) は、PC とクラウド間でAI推論をシームレスに編成することで、PCアプリケーション開発者の AI 統合の複雑さを簡素化。
また、統一された NIM 形式で必要なAIモデル、エンジン、依存関係をPCに事前構成し、GPU、NPU、CPU などのさまざまなプロセッサで TensorRT、DirectML、Llama.cpp、PyTorch-CUDA など、すべての主要な推論バックエンドをサポートしていく。
Adobe、Blackmagic Design、Topaz などのソフトウェア パートナーは、RTX PC での AI パフォーマンスを加速するために、人気のクリエイティブ アプリに RTX AI Toolkit のコンポーネントを統合している。
RTX AI ツールキットのコンポーネント (TensorRT-LLM など) は、Automatic1111、ComfyUI、Jan.AI、Langchain、LlamaIndex、Oobabooga、Sanctum.AI など、生成 AI 向けの人気の開発者フレームワークやアプリケーションに統合されている。
コンテンツ制作のための AI
NVIDIAはさらに、クリエイター、MOD制作者、ビデオ愛好家向けのアプリにも RTX AIアクセラレーションを統合しています。
昨年、NVIDIAは、最も人気のある Stable Diffusion ユーザー インターフェイスの 1 つである Automatic1111向けに、TensorRT を使用した RTX アクセラレーションを導入した。
今週から、RTX は人気の高い ComfyUIも高速化され、現在リリースされているバージョンと比較してパフォーマンスが最大 60% 向上、MacBook Pro M3 Maxと比較すると7倍高速になります。
NVIDIA RTX Remix （https://www.nvidia.com/ja-jp/geforce/rtx-remix/）は、フル レイトレーシング、NVIDIA DLSS 3.5、物理的に正確なマテリアルを使用して、クラシックな DirectX 8 および DirectX 9 ゲームをリマスターするためのMOD制作プラットフォームだ。
RTX Remix には、ランタイム レンダラーと、ゲーム アセットとマテリアルの MOD 制作を容易にする RTX Remix Toolkit アプリが含まれている。
昨年、NVIDIAは RTX Remix Runtime をオープン ソース化。MOD制作者がゲームの互換性を拡張して、レンダリング機能を向上できるようにした。
今年初めにRTX Remix Toolkitがリリースされて以来、2万人のMOD 制作者がクラシック ゲームのMOD 制作に使用。RTX Remix Showcase Discord で130を超える RTX リマスターが開発されている。
今月、NVIDIA は RTX Remix Toolkit をオープンソース化する。これにより、MOD制作者はアセットの置き換えやシーンの再照明を効率化し、RTX Remix のアセット インジェスターでサポートされるファイル形式を増やし、新しいモデルで RTX Remix の AI テクスチャ ツールを強化できる。
さらに、NVIDIAはREST API経由でRTX Remix Toolkit の機能にアクセスできるようにし、MOD 制作者がRTX RemixをBlenderなどのデジタル コンテンツ制作ツール、Hammer などのMOD 制作ツール、ComfyUI などの生成 AI アプリにライブ リンクができるようにする。
NVIDIA はまた、MOD制作者がRTX Remix のレンダラーをDirectX 8および9のクラシック以外のアプリケーションやゲームに展開可能なように、RTX Remix Runtime用のSDKも提供する。
RTX Remix プラットフォームのオープンソース化が進むにつれて、世界中のMOD制作者はより魅力的な RTX リマスターを構築できるようになるはずだ。
Google Chrome、Microsoft Edge、Mozilla Firefox ブラウザーでサポートされている人気の AI 搭載超解像度機能であるNVIDIA RTX Video （https://blogs.nvidia.com/blog/rtx-video-hdr-remix-studio-driver/）が、すべての開発者に SDK として提供されるようになった。
これにより、開発者はAIをネイティブに統合して、アップスケーリング、鮮明化、圧縮アーティファクトの削減、ハイダイナミックレンジ (HDR) 変換を行なうことが可能だ。
ビデオ編集ソフトウェア Blackmagic DesignのDaVinci ResolveとWondershare Filmoraに近日登場するRTX Videoにより、ビデオ編集者は低品質のビデオファイルを4K 解像度にアップスケーリングしたり、標準ダイナミックレンジのソースファイルをHDRに変換することが可能になる。
さらに、無料のメディアプレーヤー VLC media は、既存の超解像度機能に RTX Video HDR を近日中に追加する予定だ。
COMPUTEX で NVIDIA （https://www.nvidia.com/ja-jp/events/computex/）に参加し、RTX AI PC とテクノロジの詳細を確認しておきたい。
関連情報
https://www.nvidia.com/ja-jp/
本書に記載されている製品や機能の多くはさまざまな段階にあり、利用可能になった時点で提供されます。上記の記述は、約束、約束、または法的義務を意図したものではなく、そのように解釈されるべきではありません。また、当社の製品について説明されている機能の開発、リリース、およびタイミングは変更される可能性があり、NVIDIA の独自の裁量によります。NVIDIA は、本書に記載されている製品、機能、または機能の納品の失敗または納品の遅延について一切責任を負いません。
構成／清水眞希
最新号
