ChatGPTを開発するOpenAIは、クリスマスまでの平日毎日、新機能や新製品をライブ配信で発表する「12 Days of OpenAI」を実施中である。
その6日目（12月13日）のライブ配信で、ChatGPTの「音声モード」のアップデートが発表され、カメラの映像をリアルタイムで読み取らせたり、スマホやPCの画面をリアルタイムで共有したりすることが可能になった。
これらの「Live camera」モードは、早速、ChatGPTの有料プランであるPlus, Pro, Teamsユーザーが利用できるようになっている。
これにより、視覚障害のある人が周囲の状況をAIに解説させたり、子どもの宿題をAIに指導させたり、ChatGPTが従来のチャットUIを飛び出して、実生活でさまざまな応用が広がりそうだ。
本記事では、ChatGPTの音声モードにおけるビデオ共有、スクリーン共有機能の概要や使い方をまとめる。
また、このスゴすぎる機能を、仕事や私生活で活用する方法のアイディアを紹介する。
なお、他の12日間の発表内容の総まとめ・解説記事は、こちらのタグ「12 Days of OpenAI」から確認することができる。日本時間の火曜〜土曜の午前3時にライブ配信が行われるので、次回以降の解説もお楽しみに。
Advanced Voice機能での動画・画面共有方法
今回の追加された新機能は、「音声モード」（Advanced Voice Mode）への「動画」および「画面共有」機能の追加である。これにより、ChatGPTとのやり取りにリアルタイムのビデオ映像や画面を共有することが可能となる。
iPhone, Androidのモバイル版のChatGPTアプリで利用できる。
使い方はとても簡単で、ChatGPTアプリでAIと音声による会話ができる「音声モード」を起動した後、カメラ・スクリーンシェアのいずれかをオンにすれば良いだけだ。
前提として、ChatGPTのアプリを最新版にアップデートする必要がある。アップデート後の初回起動時には、以下のような「Live camera」ベータ版の案内が表示された。
まずは、ChatGPTのアプリの画面右下にある波形のマークをタップして、「音声モード」を起動する。
音声モードでは、AIと双方向の自然な会話をすることができる。人間が話すのを止めるとAIが話し始め、AIが話している途中で割り込んで質問をすることなどもできる。
画面下部に、「ビデオ」アイコンが表示されており、これをタップすると、iPhone / Androidのカメラの映像をChatGPTに共有できる。
また、「・・・」アイコンをタップすると、スクリーン共有の開始、写真の撮影・アップロードを選択できる。
実際にiPhoneのChatGPTアプリで、Live cameraを有効にしてみると、以下のようにリアルタイムでカメラの映像を見ながら、ChatGPTと会話することができる。
「これは何？」と聞いてみると、「これはワイヤレスキーボードですね。おしゃれで使いやすそうです！」と答えてくれた。
また、iPhoneで「Share Screan」（スクリーンを共有する）を選択してみると、画面の録画が開始され、ChatGPT以外の別のアプリに移動しても、ChatGPTと会話を継続することができる。
iPhoneで書籍やWebサイトを閲覧しながら、ChatGPTにそのページに関する質問を投げかける、なんてことができてしまう。
ChatGPTビデオモードの活用例＆活用方法アイディア
従来のChatGPTは、テキスト・音声のみでのインタラクションだったが、動画と画面共有が加わることで、利用ケースはさらに広がりそうだ。
ここでは、筆者が実際にChatGPTのビデオ・スクリーン共有機能を試してみる中で、使えそうだと感じた用途をいくつか紹介する。
また、OpenAIによる公式ライブ配信中で紹介された事例もまとめた。
海外旅行時に常時ガイドしてくれる通訳として使う
筆者が最も実用的と感じたのは、外国語の道路標識・看板や、外国の商品パッケージなどを日本語で解説してくれるスーパー通訳アプリとしての活用だ。
例えば、ドイツ旅行中に購入した入浴剤のパッケージが、当然ドイツ語なため、何が書いてあるのかさっぱり分からない。
そこで、ChatGPTに、パッケージを見せながら、その効能などを説明してもらった。
その際の音声による会話の履歴は、そのままチャットとしてテキストに残り、後から見返すことができる。
以下の履歴のように、映像からでも正確にパッケージを読み取り、左右の入浴剤の意味を解説してくれている。
この例のように、ChatGPTは、海外旅行時の心強い通訳になってくれるだろう。
海外旅行中に、駅構内で迷った場合も、ChatGPTにビデオを見せながら、どうやって目的地に辿り着けるかをアドバイスしてもらうことができる。
外国のレストランなどでメニューの意味がわからない時に、食べたいものを指定して、最適な料理を選んでもらうこともできる。
当サイトの過去の記事で、ボイスモードを同時通訳アプリとして使う方法を紹介しているが、それにビデオ機能がついたことで、さらに実用的な通訳アプリへと進化したと言える。
宿題を一緒に考えてくれる家庭教師として使う
ChatGPTは、数学の問題などを解くこともできるので、家庭教師のように使うことも可能である。
子どもに数学の勉強を教えてあげる時間がなくても、ChatGPTにカメラでノートを見せながら、宿題についての質問をすれば、的確にChatGPTが回答してくれる。
例えば、メモ帳に二次方程式を書いて、解法のヒントを聞いてみた。
すると、正確に数式を読み取って、因数分解の方針を示してくれた。
このように、ChatGPTは、さまざまな勉強のコンパニオンとして使用できる可能性を秘めている。
英会話のパートナーとして、無限に英会話の練習に付き合ってくれるし、どれだけ数学の質問を重ねても怒らない。
AIに答えを教えてもらっていたら成長しない、という懸念もあるかもしれないが、無限に質問をできて、宿題や勉強にずっと付き合ってくれる家庭教師を、たった月20ドルで雇うことができると考えたら、そのインパクトは計り知れない。
ChatGPTを自由に使えるかどうかで、教育の格差が広がってしまいそうな恐怖すらも感じる。教育分野でも凄まじい革命が起きそうな予感である。
表計算や文書作成のアシスタントとして業務に活かす
また、ChatGPTのスクリーンシェアリング機能を使えば、業務や仕事にもChatGPTのパワーをもっと活かすことができるようになる。
例えば、スプレッドシートでの集計作業は、ChatGPTに質問したくても、プロンプトを作成するのが大変だった。
表の何列目にどんなデータが入っている、といった情報を、いちいちテキストに打ち込んで質問するのが面倒だからだ。
その点、スクリーン画面を直接ChatGPTに見せることが可能になったことで、もっとスムーズに、業務上の質問をChatGPTに聞くことができる。
例えば、以下のような商品売り上げデータのサンプルを用意して、スクリーンを共有しながら、商品カテゴリごとの売上合計額を計算する方法を尋ねてみた。
すると、ピボットテーブルを使う方法や、SUMIF関数を使う方法を、音声で丁寧に解説してくれた。
メールやメッセージへの返信を一緒に考えてもらう
より身近な使用例としては、日々のチャットやメールのやり取りで、返信を考えるのが面倒な時に、ChatGPTにアイディアをもらう、なんてことも可能だ。
どんなアプリのスクリーンでも共有することが可能なので、例えばiMessageで、友達をカフェに誘う気の利いた一言を、ChatGPTに考えさせることも可能だ。
実際に、女性をカフェに誘うのに適した英語を聞いてみると、いろいろと考えてくれた。
返信を考えるのが面倒なチャットなどがあれば、ChatGPTに画面を共有して過去のチャット履歴を見せながら、返信をブレストしてみてはどうだろう。
何かと面倒なメールやチャットを先延ばしにしがちな筆者としては、ChatGPTが背中を押してくれるので、非常に助かる機能だ。
そのうち、この機能が普及したら、実は人間同士と思いきや、AIとAIがチャットを回しているなんて世界も来てしまいそうだ。マッチングアプリなどでは、すでに返信を考えるのを自動化している猛者も多いかもしれない。
料理やスポーツなど新しい挑戦をサポートしてもらう
OpenAIのライブ配信で紹介された例がこちら。
コーヒーを淹れてみたいとして、ChatGPTにビデオで自分が持っているコーヒーを淹れる道具を見せながら、どうやってコーヒーを淹れるかを案内してもらう、というデモだ。
このように、自分がまだ挑戦したことのない趣味や料理などを、ChatGPTに見てもらいアドバイスを受けながら進めることができる。
そのうち、同様の機能がメガネ型のデバイスなどに組み込まれたら、全ての人がAIのサポートを受けながら日常生活を送る、なんて日も近いかもしれない、
期間限定「サンタ」モード
12月中は、「サンタ」との音声・動画を介したリアルタイム対話が可能になる特別機能が追加されている。
ChatGPTのボイスモードの設定画面を開くと、ボイスとして「サンタ」が選択可能になっている。
ユーザーは、北極での生活やエルフたちの活動、クリスマス関連の質問などを「サンタ」に直接尋ねられる。サンタは独特の笑い声と口調で応じる。
初回のサンタ会話時には、利用者の「Advanced Voice」使用制限が一度リセットされ、制限に達していてもサンタと話せるようになる。その後も標準音声モードなら制限後でもサンタとの対話は継続可能である。
あまり実用的ではないが、今後もイベント的に有名な俳優のボイスが登場・・・なんてことがあれば面白そうだ。
Advanced Voiceがビデオの実装でついに完成形に
AIとの極めて自然な会話が可能な「Advanced Voice」モードや、今回実装されたビデオ・スクリーン共有機能は、もともと、2024年5月にGPT-4oモデルがリリースされた際に予告されていた機能である。
9月末にAdvanced Voiceモードが、12月にようやくビデオ・スクリーン共有機能が実装された、ということになる。
リアルタイムでカメラ映像を見せながら、AIと映像について会話ができるというのは、非常に未来を感じる機能で、ずっと楽しみにしていたので、今回の実装はとても嬉しい。
つい数日前の2024年12月11日に、Googleも、同様のビデオ共有が可能な「Stream Realtime」機能をリリースしてネットを騒がせたばかりだ。
しかし、ChatGPTの音声モードの方が、わかりやすいインターフェースで一般向けのアプリに組み込まれている点で、より実用的だと言える。
年末に予定している海外旅行で、早速「優秀な通訳」としてのChatGPTを使ってみようと思っている。
