スクショとApple Intelligenceを使って感じた「すごさ」と「限界」

2025.11.24

Apple Intelligence対応iPhoneは、具体的にどのようなことができるのか？

日本でもApple Intelligenceの機能を活用することができるようになって久しいが、実はこの質問にはっきり答えられる人は多くないのではと思う。

実はスマホ関連情報の記事を執筆して扶持米を頂いている筆者も、それに一瞬悩んでしまうクチだ。なぜなら、Apple Intelligenceとは「iPhoneユーザーが能動的に活用するプラットフォーム」というよりも、「いつの間にかそれにまつわる機能が適応されている」具合の、かなり受動的なものだからだ。

が、その中でも「ビジュアルインテリジェンス」はユーザーが能動的に活用するための機能である。この記事では、そんなビジュアルインテリジェンスの「すごさ」と「限界」について解説していきたい。

「This is a Pen」なんて言葉は使わない！？

今はどうか分からないが、昔の中学1年生の英語でまず真っ先に習う言葉は「Hello」「Good morning」といった挨拶と、「This is a Pen」だった（ただし、1984年生まれの筆者の頃は「I have a Book」だった記憶が）。

「This is a pen」。よく考えたら、不思議な言葉である。これがペンであることは、わざわざ言わなくても一目で分かるはずだからだ。実際の生活では、まず間違いなく使わない言葉である。

結論を先に述べると、Apple Intelligence対応iPhoneのビジュアルインテリジェンスとは、持ち主に「This is a Pen」と伝えてくれる機能だ。

iOS26のスクリーンショットは、それまでのバージョンからその仕組みが大きく変わった。スクショを撮影してからすぐに編集画面に移行するようになったのだ。そして、その編集画面で「ハイライトして検索」「質問」などができる。

ハイライト検索、これは「囲って検索」などとも呼ばれているが、スクショの中の気になる部分を指でなぞってそこだけを調べるのに利用することができる。

たとえば、筆者が@DIMEで配信した『再び経営危機を迎えているコダックの珍ガジェット「ディスクカメラ」を覚えているか？』という記事の冒頭部分をスクショし、カメラの写真だけを囲って「これが何なのか？」を検索する。そうすることで、この部分だけの画像検索ができるのだ。

もちろん、「質問」機能で直接「このカメラは何？」と質問するのもアリ。ビジュアルインテリジェンスはChat GPTと連携しているため、その質問にはChat GPTが答えてくれる。

「これは○○だよ」と教えてくれる機能

これらの機能は、「この画像に写っているこの人物（著名人に限るが）は誰？」や「これはドラマのワンシーンだそうだけど、具体的にどの作品のシーンなの？」というような疑問を解くのには大いに役に立つだろう。

外国語の記事をスクショして、その内容を日本語で要約するという使い方も可能である。無論、日本語の記事を英訳することもできる。

しかし——それは言い換えれば、「スクショの中にある情報」よりもさらに深いところを掘り下げて、詳細な知識を提示してくれるというわけではないという意味でもある。

たとえば、@DIMEでは記事の筆者名のハッシュタグが用意され、それをタップするとその筆者の手掛けた記事が一覧表示される。この画面をスクショし、「これらの記事を書いたライターについて教えて」と質問してみる。すると、

「澤田真一は、家電やガジェット、日用品やトレンド情報などを扱うライターです。生活に役立つ最新情報や検証記事を多く執筆しています」

などという答えが返ってきた。これは記事一覧の冒頭に記載されている文言を多少言い換えただけで、わざわざ検索して知るような情報ではない。

要するにビジュアルインテリジェンスは、「This is a Pen」しか言ってくれないのだ。

「深く突っ込む」ことは苦手の模様

もちろん、「画面にあるものが何か分からない人」にとっては非常に有益な機能と言える。筆者は最近では車に関する記事を執筆するようになったが、それでもこの世にある全ての車の形と名前を網羅しているというわけでは全くない。「これって何ていう名前の車？」と疑問に感じたら、スクショを取ってビジュアルインテリジェンスを利用する。