Gemini Liveがカメラを見ながらリアルタイム案内。「Guided Vision」が登場

AI UPDATE / GEMINI LIVE

特に視覚障害やロービジョンのユーザーを支援する目的で開発されていますが、一般ユーザーにとっても、Geminiの「目」の能力が一段進化したアップデートとして非常に興味深い内容です。

カメラを映しながらGeminiと会話

Guided Visionでは、Gemini Liveを起動してカメラを共有すると、Geminiが映っているものを音声で説明してくれます。

例えば、

小さな文字を読む
商品のラベルを確認する
落としたものを探す
服の色や柄を確認する
目の前にある物について質問する

といった使い方ができます。

さらに特徴的なのが、カメラの向きがずれている場合です。

Gemini側から「もう少し右」「カメラを下に向けて」といった音声によるフレーミング支援も行います。

一方的な画像認識ではなく「会話」できる

ここが従来の画像認識との大きな違いです。

写真を1枚撮って、

「これは何？」

と聞くだけではありません。

リアルタイムのカメラ映像を共有した状態で、

「この中に賞味期限は書いてある？」
「もう少し詳しく説明して」
「どこを映せばいい？」

と連続して会話できます。

Googleはこの機能を、会話型のリアルタイム視覚支援として位置づけています。

Android 9以降の対応端末で提供

Guided Visionは、Gemini Liveに対応する地域・言語のAndroid端末向けに展開されています。

GoogleはGeminiアプリだけでなく、Androidのアクセシビリティ機能やTalkBackからも利用できるようにしています。

なお、Googleはナビゲーションや安全な移動、障害物検知などにこの機能だけを頼らないよう注意しています。

AIが本当に「目」になってきた

個人的に今回注目したいのはここです。

AIはこれまで、

文章を読む
画像を見る
音声を聞く

という能力を個別に進化させてきました。

しかしGemini Liveのような仕組みでは、

カメラを見る
↓
状況を理解する
↓
会話する
↓
必要ならカメラの向きを指示する

という一連のやり取りがリアルタイムで行われます。

これは、スマートフォンを持ったAIが人間と同じ場所を見ながら一緒に行動する方向へ進んでいるとも言えます。

例えば将来的には、

機械の操作方法を教えてもらう
商品の説明をしてもらう
パソコン画面を見ながら操作を教えてもらう
現場作業をサポートしてもらう

といった使い方にも広がっていきそうです。

ChatGPTのVoice、Gemini Live、そして各社のAIエージェント。

AIとの会話は「質問して答えてもらう」段階から、「同じものを見ながら一緒に作業する」段階へ進み始めています。