DIME MAGAZINE
Googleは先日開催された Google I/O 2023において、次世代言語モデルであるPaLM 2を発表した。PaLM 2は、同社の基盤モデル研究を発展させたもので、同社では多言語、推論、およびコーディング機能が向上した最先端の言語モデルだとアナウンスしている。
PaLM 2 について
多言語
PaLM 2 は、100 以上の言語にわたる多言語テキストに、より重点をおいて学習している。これにより慣用句、詩、なぞなぞなど、ニュアンスを含む表現を数多くの言語で理解、生成、翻訳するという難しい問題に対する性能が大幅に向上した。PaLM 2 は、上級レベルの言語能力試験で「習得」レベルに合格したという。
推論
PaLM 2 で学習に利用した広範なデータセットには、数式を含む科学論文やウェブページが含まれている。その結果、ロジック、常識に基づく推論、数学に関する能力が向上している。
コーディング（プログラミング）
PaLM 2 は、公開されている大量のソースコードデータセットで事前学習している。結果として、Python や JavaScript などのよく使われるプログラミング言語だけでなく、Prolog、Fortran、Verilog などの言語でコードを生成することも可能だ。
幅広い用途をカバーするモデルラインナップ
PaLM 2は、以前のモデルよりも能力が高く、高速で効率的であり、また、さまざまなサイズで提供されるため、あらゆる用途で展開できる。
PaLM 2にはGecko、Otter、Bison、Unicorn という4つのサイズが用意される。
Geckoは非常に軽量なため、モバイル端末で動作し、オフラインの状態でも、デバイス上の優れたインタラクティブアプリケーションを実現するのに十分な速さを発揮。
この汎用性のおかげで、PaLM 2 は、幅広い製品をカバーする形でファインチューニングすることができ、より多様な形でより多くのユーザーの役に立つことができるという。
25を超える Googleの製品と機能に搭載
I/O においてPaLM 2を搭載した 25以上の製品と新機能が発表された。以下は、その具体例になる。
・PaLM 2の多言語機能の向上により、Bardを日本語など新しい言語に対応させることが可能になった。また、最近発表されたコーディングアップデートにも利用されている。
・Gmail と Google ドキュメントでの下書きやスプレッドシートでの整理をサポートするGoogle Workspaceは、PaLM 2の機能を活用することで、ユーザーがより良い仕事をより速く行える支援が可能になった。
・同社の医療研究チームが医療情報のデータを使って学習した Med-PaLM 2 は、理解するのが容易でない医学文章の内容を用いて質問に答えたり、洞察をまとめたりすることができる。また医師としての適性を測るテストにおいて最先端の結果を達成し、米国医師国家試験形式の質問で「エキスパート」レベルのパフォーマンスを達成した最初の大規模言語モデルとなった。現在、X 線やマンモグラフィーなどの情報も統合するためのマルチモーダル機能を追加しており、将来的に患者の回復に貢献することを目指している。
・Sec-PaLM は、セキュリティユースケース向けにトレーニングされた PaLM 2 の特殊バージョンであり、サイバーセキュリティ分析の飛躍的な可能性を秘めている。Google Cloud を通じて提供される Sec-PaLM は、AI を利用して潜在的に悪意のあるスクリプトの動作を分析・説明することで、人や組織に実際に脅威を与えるスクリプトをかつてないほど迅速に検出できる。
AI の未来を前進させる
同社はすでに、Geminiの開発に着手したことを表明している。このGeminiとはマルチモーダル、そして他のツールや API との統合に効率的でメモリやプランニングなどのイノベーションを実現するために一から構築している次世代モデル。
Gemini はまだ学習中だが、以前のモデルでは見られなかったレベルでのマルチモーダル能力をすでに示しているという。Gemini は、安全性の観点でのファインチューニングとテストを行った上で、PaLM 2と同様にさまざまなサイズと性能として提供。
同社では「あらゆる人が恩恵を受けられるように多様な製品、アプリケーション、およびデバイスに展開する予定です」とコメントしている。
関連情報
https://japan.googleblog.com/2023/05/palm-2.html
構成／清水眞希
最新号
