Googleの生成AI「Bard」が凄いことになっていた件：Gemini Pro・Gmail・YouTube連携完全ガイド

久々に使ったGoogleの生成AI、Google Bardが、本当に実用的なレベルで高機能になっていて驚いた。

生成AIといえば、やはりOpenAIが開発するChatGPTが思い浮かぶ。
Anthropicが開発するClaudeや、Metaが開発するLLaMAなどの競合モデルは存在するが、回答の精度や文章力は、やはり現状はGPT-4に勝るものはないと感じる。

生成AIは、やはり回答の質が最も高いものだけを使うようになってしまうので、なかなか競合のモデルを試す機会がない。

筆者自身もGoogle Bardを以前1度だけ試して、以来全く使用していないかったが、Google Bardは直近のアップデート（23年9-11月）で、様々なGoogleのアプリやサービスと統合され、機能が大幅に強化されていたのだ。

これらのアップデートは、「Bard Extensions」と呼ばれ、BardがGmail、Docs、Drive、Googleマップ、YouTube、Googleフライト、ホテルなどの人気Googleツールから情報を取得し表示することができるようになった。

Extensionsを使うと、「去年の今頃の確定申告関連のメールを探して！」といった感じで、AIに対して自分のメールボックスに関する質問まででき、Googleサービスと連携させる用途においては、Bardの方がChatGPTよりもずっと便利で、未来感もあって楽しい。

さらに、12月6日には史上最大のBardのアップデートとされる「Gemini Pro」モデルの実装がアナウンスされた。
GeminiはGoogleが開発する大規模言語モデル（LLM）で、今回Bardに実装されたGemini Proは、ChatGPTのGPT-3.5を上回る性能を持つとされる。

ただし、Bardの最新機能のExtensionsや、Bardに実装されたばかりのGemini Proは、英語版でしか利用できない。
今回は、日本にいながらGoogle Bardの英語版に接続してGemini Proを使う方法や、Extensionで出来るようになった驚きの機能を紹介するので、ぜひ試してみて欲しい。

Google Bardを英語版にして最新機能を有効にする方法

23年12月現在、残念ながら、この記事で紹介するGoogle Bardの多くの最新機能は、日本語版では利用できるようになっていない。
Gemini Proについても、利用可能な国に含まれてはいるものの、日本語版のGoogle BardにはGemini Proは実装されていない。

GmailやGoogle DocなどのGoogle Workplaceのアプリケーションと連携したり、YouTube動画をAIに要約させたり、AIにホテルや航空券の情報を調べさせたりといった最新の便利機能は、英語版のみで使える「Extensions」という拡張機能をオンにすると利用するできる。

ただ、日本にいても、Google Bardの英語版を使うことは可能なので安心してほしい。

Googleのサービスの多くは、単純に開いてるページのURLの末尾に&hl=enと記載するだけで、英語化することができる。

“hl”パラメータは、言語を指定するパラメーターで、&hl=jaとすると日本語となり、&hl=enとすると英語となるなど、簡単に言語設定を切り替えられるので便利だ。
ただし、Google Bardに関しては、?hl=en-GBというように、末尾にさらに「GB（おそらくGoogle Bardの略？）」をつける必要があるので注意が必要だ。

Google Bardに普通に接続すると、勝手に言語が日本語にされてしまい、最新の拡張機能にアクセスすることができない。

そこで、ブラウザでURLの末尾に?hl=en-GBとつけて、英語版に接続しよう。

‎Gemini – chat to supercharge your ideas

Bard is now Gemini. Get help with writing, planning, learning and more from Google AI.

すると、Extensions、画像解析、回答のダブルチェックなど、日本語版では使えない最新の機能が全て有効になる。

Google Bard 英語版でExtensionsを使う方法

上記の方法でGoogle Bardを英語化できたら、Bardを開いた時に右上にパズルのピースのような「Extensions」のマークが表示される。

Extensionsを開くと、Google Workspaceのアプリと、Google Bardを接続するかどうかを尋ねるポップアップが表示される。

「Connect」を選択することで、Gmailのメールボックス、Googleドライブに保存しているファイル、Google Documentsのファイルに生成AIであるBardがアクセスして、それらのメールやファイルに基づいた回答をしてくれるようになる。

Extensionsには、23年12月時点で、主に5つの機能が含まれている。

YouTubeの動画の検索や、YouTubeの動画の要約などをしてくれる「YouTube」
Gmail、Googleドライブ、Googleドキュメントのメールやファイルを読み込んでくれる「Google Workspace」
地図を読み込んで観光スポットやレストランを探してくれる「Google Map」
指定した時期やエリアのホテルとその価格を調べてくれる「Google Hotels」
指定した日付・発着地のフライトを調べてくれる「Google Flights」

これらの機能は、個別にオンオフを切り替えることもできるが、基本的には全てオンのままでも支障はないだろう。

これらの機能をBardとのチャットの中で使用するには、送信するメッセージの冒頭で使用したい拡張機能を「@」で指定することで、拡張機能に基づいた回答を得ることができる。

YouTube – @youtube
Google Workspace – @gmail, @drive, @docs
Google Maps – @maps
Google Hotels – @hotels
Google Flights – @flights

例えば「@hotels お正月の京都のホテルを探して」といったメッセージをBardに送ることで、Google Hotelsを使った宿泊施設の検索が利用できるようになる仕組みだ。

何度か試してみたところ、必ずしも@をつけなくても、明確に言葉で指示すれば、勝手にBard自らExtensionsの機能を呼び出してくれることもあったが、やはり@を利用した方が精度は高い。

AIとGoogleサービスが連携！Bard Extensionsの使用例

Bard Extensionsを使えば、超高性能なアシスタントとして、さまざまなアプリを横断したサポートをしてもらうことができるようになる。

例えば、友達との旅行を計画するにあたって、フライトとホテルのデータをBardから聞き出し、さらに空港までのGoogle Mapsの道順を表示してもらい、YouTubeに上がっている旅先のVlogビデオを収集・要約させて、おすすめ観光スポットをリストアップすることができる。そして旅行当日には、Gmailに届いているフライトのチケット情報を表示させ、空港での手続きを済ませる。

現時点ではまだ荒削りではあるが、こんな近未来感のあることが、無料で利用できるのだから驚きだ。

ここでは、それぞれのExtensionsを使って実現できる代表的な利用例を紹介していく。

料理動画や勉強に最適！AIがYouTube動画をテキストで要約（@youtube）

YouTubeのExtensionsは、つい最近（23年11月）導入されたばかりの最新の機能だ。

BardがYouTubeにアクセスして情報に答えることができるようになるので、例えば「沖縄旅行のおすすめスポットに関する動画を見たい」といった指示をすれば、候補となるビデオをリストアップしてくれたりする。

さらには、個別のYouTube動画のURLを渡せば、その動画の内容を書き出してくれたり、要約させたりすることができる。

このサマリー機能を使えば、YouTubeに上がっている学習系のコンテンツのサマリーを瞬時に作成させて、動画の内容を簡潔なノートにまとめたり、動画を見る前に内容の構成を把握することができとても便利だ。

特に、英語でアップされている講演やシンポジウムの動画、学習系の動画はサマリー化してくれるのがとてもありがたい。
もちろん、そのサマリーを日本語に訳すように指示することも可能なので、海外のインタビューやシンポジウムの内容を瞬時に把握でき、生産性に直結する。

また、料理のレシピの動画を要約させれば、動画を見なくてもレシピが把握できてしまう。
YouTubeの視聴数が落ちそうなためGoogleにとっては諸刃の剣なように思えるが、ユーザーにとっては一々レシピ動画を見直す必要がなく、とても便利だ。

では、実際にAI技術に関する英語のレクチャー動画を、Bardに要約させてみよう。

今回要約するのは、RAGについて解説したDellの公式チャンネルにある「What is Retrieval-Augmented Generation (RAG)?」という動画だ。

RAGとは、ChatGPTのような大規模言語モデルが、例えばBingサーチやGoogle検索などの外部の情報ソースから最新の正確な情報を取得することで、言語モデルの基礎力＋外部情報の正確性・速報性を兼ね揃えた回答の生成を可能にするAIフレームワークだ。

Google BardのYouTube Extensionも、RAGの一種だと言える。

以下のプロンプトとともに、Bardに動画のURLを渡した。

Create a detailed explanation about RAG based on the following video:

すると、瞬時に動画のサマリーが生成される。

せっかくなので、さらに「Translate it to Japanese」と翻訳するように指示をすると、以下の結果が得られた。

実際に動画を見てみると、かなり正確に動画の内容を反映したサマリーになっていることがわかる。

生成されたサマリーも最初から最後まできちんと意味が通っており、RAGとは何かが理解できるようにまとまっているのも素晴らしい。

YouTubeで、特に英語で技術系の動画を見る時には、動画を見始めてから知っていることばかりだなーと気付いたり、あまり自分の関心とあってないことに気付いたり、動画のチョイスを間違えて時間を無駄にしてしまうことがあるため、動画を視聴する前に構成を把握し、動画をしっかり見るかどうかの判断をする、といった使い方もできそうだ。

Gmailにあるメールを検索・要約してくれるAI秘書（@gmail）

Gmailを呼び出すExtensionもまた、いわば自分のメールボックスの情報全てにアクセスするRAGだ。

長年Gmailを利用していると、過去のメールのやり取りの件名などが思い出せず、Gmailの検索機能ではどうしても目的のメールを見つけられないことがある。
そういった場合にGoogle Bardに質問をすると、AIの理解力によって、通常の検索機能以上の柔軟さでメールを探してくれるので、目的のメールに辿り着ける可能性が高まる。

また、クレジットカードへの請求が含まれるメールを全てリストアップして、といった特定の共通項があるメールを抽出することにも使える。

抽出した情報を、そのままBardに表形式で整理させたりといったことも可能なので、Gmailを利用するのが更に便利になる。

それでは、実際に過去1ヵ月間の支払い情報が含まれるメールを抽出させてみる。

以下のようなプロンプトを利用した。

Find emails related to payments made in the past month

すると見事、私のメールボックスにあったUber Eatsの注文履歴のメールや、各種ウェブサービスへの支払い履歴を過去1ヶ月分だけ的確に抽出して表示してくれた。

Bardが本文の一部を的確に抽出していることがわかる。

画面の下には、AIが回答を生成するのに使ったメールの一覧が掲載されており、個別のメールをクリックすると、Gmailが開き、実際にそのメールを閲覧することもできる。

特定の条件で、AIにメールを抽出させて、その内容を人間が確認することで、その作業時間を大幅に削減することができる。

いわば、自分のメールボックスにアクセスができる秘書を、24時間誰でも無料で利用できるということなので、なかなか革命的だ。

Googleドライブのうろ覚えのファイルをAIが探してくれる（@drive）

Googleドライブのファイルにアクセスをしてくれる機能もとても便利だ。

長年Googleドライブを使っているとフォルダやファイルの構造も複雑になり、昔作成したファイルを見つける事はなかなか難しくなる。
Bardを使えば、ファイル名も何も覚えていなくても、〜の内容に関連しそうなファイルを一覧で表示せよ、といった指示が可能だ。

Bardの強みは、Google純正のAIなだけあって、Googleドライブに保存している自分の全てのフォルダ・ファイルを情報源とするRAGが利用できてしまう点にある。

それでは、実際に、ぼんやりした指示で、的確なファイルを探すことができるかを試してみる。

以下のようなプロンプトで、筆者が過去に大学院入試のために作成したファイル類を、Google Bardがドライブから発見できるるかどうかを確かめる。

Find the documents I made for my graduate school application in 20xx.

すると、筆者自身も作成したことを忘れていた出願校リストを見つけ出してくれた。

自分のGoogleドキュメントをAIが要約してくれる（@docs）

GoogleドキュメントのExtensionは、GoogleドライブのExtensionとかなり機能としては近いが、Googleドキュメントのファイルの中身にまで踏み込んだ質問が可能なのが特徴だ。

例えば、会社で行ったミーティングの議事録を、すべてGoogleドキュメント形式で保存していれば、「2022年12月に行われたMTGで、〜プロジェクトに言及があった全てのMTGのファイルをまとめて」、といったことも可能だろう。

実際に、筆者がGoogleドキュメント形式で作成していたメモ書きを、Google Bardに要約させてみた。

使用したプロンプトは以下で、トピックを指定しただけで、具体的なファイルは指定していないが、こちらが意図したファイルを見つけてきて、サマリーを作成してくだた。

Summarize my documentations on project management methods.

いろいろ試してみたところ、Google Docsはもちろん、PDFなども検索結果に含めてくれる。
しかも、文書ファイルであれば、それぞれのファイルの内容の要約まで表示してくれたりと、通常のGoogleドライブの検索機能よりもはるかに高機能だ。

Google Bardの@driveと@docsコマンドは、本当に全てのGoogleドライブユーザーにおすすめしたい。

チェーン店のシェークシャックがトップに出てきてしまってはいるものの、Munch’s Burger Shackなど実際に東京で人気のある個人店も表示されている。

筆者はいつもレストランを探す時にはGoogle Mapのレビューに絶大な信頼をおいており、それをBardがピックアップしてくれるとなれば、かなりレストラン探しの手間が省ける。

AIがGoogle Mapを使ってオススメのレストランを教えてくれる（@maps）

Google Mapsとの連携も結構感動的だ。

例えば、「東京の人気のハンバーガーレストランを教えて」と指示すると、Google Maps上で評価の高いレストランを一覧で表示してくれる。

しかも、Google Mapsのマップ上にピンも立った状態で、Bardの画面にMapsが統合されて表示されるので、瞬時にGoogle Maps側でレストランの詳細の情報を見ることもできる。

この使い心地は、Googleのサービスと統合されているからこそできる技で、ChatGPTなど他社のサービスでは実現できないだろう。

実際にレストランのおすすめを教えてもらうために使ったプロンプトは以下だ。

Tell me about popular hamburger restaurants in Tokyo.

AIが指定した時期・エリアのホテルを見つけてくれる（@hotels）

Google HotelsのExtensionも、使用感はGoogle Mapとかなり近いが、ホテルの宿泊日、エリアなどを指定してホテルを検索し、Bard上で候補を確認することができる。

例えば、実際に3月に1週間浅草のホテルに滞在することを想定してBardにホテルを聞いてみた。

Find hotels in Asakusa area for a week in March

アパホテルなどの候補が表示され、1泊1.1万円くらいだな、という概要が瞬時に掴める。

候補として上がったホテルをクリックすると、Google Mapでホテルの詳細を開いた時の画面に飛ばされ、Booking.comやスカイチケットなどのホテル予約サイトへのリンクが表示される。

表示速度はかなりサクサクなので、Bardに旅行計画を立てるのを手伝ってもらうのも、結構現実的だ。

AIが指定した時期・ルートの飛行機を見つけてくれる（@flights）

ホテル情報と同じく航空券の情報も調べることができる。

Bardに行きたい目的地と時期を伝えるだけで、具体的な航空会社や出発時間、到着時間、往復の料金なども瞬時に表示される。

例えば羽田から沖縄に行くお正月の便を調べ、さらにその時期の沖縄の平均温度を聞いてみた。

Find flights to Okinawa from Haneda for New Years. What's the usual temperature then?

ソラシドエアやスカイマークANAのフライト情報が表示され、これをクリックすると、Googleフライトと言うGoogleのサービスで更に詳細を確認することができる。

また、お正月前後の沖縄の平均気温も20度と表示されており、旅行計画を立てるのに役立つ。

ChatGPT以上？Google Bardの実はかなり便利な機能たち

以上で紹介したのは、エクステンションとして利用できる最新機能だが、他にもGoogle Bard独自の便利機能が存在する。

検索エンジンを持つGoogleならではの、便利な機能があるので、ChatGPTやBing ChatなどOpen AIの大規模言語モデルしか使った人がない人は、ぜひGoogle Bardも試してみることをお勧めする。

以下は、特に便利なGoogle Bardに備わっている機能だ。

Google検索を使った回答の「ダブルチェック」

こちらも英語版限定の機能だが、他の大規模言語モデルにはない、Googleならではの非常に重要な機能が、”Google it”という、AIの生成した回答と、検索結果のファクトを照らし合わせるダブルチェック機能だ。

Hallucinationsを防ぎ、事実と異なる誤った回答の可能性がある場合に、アラートが表示されるという、大規模言語モデルのAIの欠点を補う非常に先進的な機能だ。

英語版では、Bardからの返信の末尾に、「G」マークが表示されており、それをクリックすると、自動的に回答のファクトチェックが行われる。

Bardが生成した回答と、オンラインでその回答の裏付けとなるコンテンツを照らし合わせて、信頼性の高い文章と、信頼性の低い文章を、色分けして表示してくれるのだ。

緑色にハイライトされている文章は、Google検索で入手されたオンラインのコンテンツと整合的である（ファクトチェック・ダブルチェックされている）ことを示す。

これに対して、時折、オレンジ色にハイライトされるアラートが表示されることがある。

アラートのエリアにカーソルを合わせると、以下のようなメッセージが表示される

「Google Search didn’t find relevant content. Consider researching further to assess the statement.（Google検索では関連するコンテンツが見つかりませんでした。さらに詳しく調べて、この文章を評価することを検討してください。）」

LLMが生成した情報が不確かな場合に、ユーザーに自分で更に追加でリサーチを行うことを促すことで、Bardの回答の信頼性を高めているのだ。

GPT-4 Visonのように画像も解析できる

ライバルのChatGPTも、最近マルチモーダルに対応し、画像ファイルなどをアップロードして回答を得ることができるようになった（GPT-4 Visionモデル）。

例えば、ChatGPTに青空の画像を読み込ませて、何が写っているかを聞いてみると以下の通り回答してくれる。

ChatGPTは、あっさりとした短文での解説だ。

画像の解析は、Google Bardも行うことができる。
ChatGPTに与えたのと同じ青空の写真を、Google Bardに同じプロンプトで解析させてみたのが以下だ。

単に青空であるということ以上に、空の色がどのように決まるか、雲がどのようにできるかといった追加情報までも解説してくれている。
また、この写真に写っている雲の種類までも読み取られている。

回答の好みは分かれそうだが、ChatGPT、Google Bardのどちらも実用的だろう。

また、Google Bardの画像解析機能を使えば、スクリーンショットなど画像形式の表のデータをOCRで読み取ってテキスト化することもできる。

試しに、Wikipediaの東京都の項にある姉妹友好自治体のテーブルをスクショし、CSV形式にするように指示をしてみた。

すると、見事にCSV形式で正確にテキストが読み取られた。

（CSVとは、カンマによって区切られた表のことで、これをテキストエディタで保存し、拡張子を.csvに変更すると、エクセルなどで表形式で開くことができる。）

Google Bardの画像認識機能は、実用上はGPT-4Vにかなり近いレベルまで到達しているように思えた。

無料で使えるOCR（画像からテキストを読み取る技術）アプリとしても、Google Bardはかなり使えるだろう。

GoogleスプレッドシートやGoogle Colabへの出力

Googleの提供するAIならではの機能だが、Bardが生成してくれた表形式のデータや、プログラミングのコードなどは、そのまま直ちにGoogleの他のサービスにエクスポートすることができる。

例えば、前項のように、表形式・CSV形式でデータを整理するようにBardに頼み、テーブルが出力されたら、右下に「Export to Sheets」というボタンが表示される。

これをクリックすると、Bardが作ってくれた表が、そのままGoogleスプレッドシートとして編集可能になる。

また、プログラミングのコードをGoogle Bardに書いてもらったのち、その回答結果をGoogle Colabノートブックとしてエクスポートすることもできる。

例えば、正規分布に従う乱数を生成させてヒストグラムを表示するPythonコードをGoogle Bardに質問して書いてもらった上で、回答の左下にある共有ボタンから、「Export to Colab」を選択すると、Google Colab上で実際にこのコードを実行してヒストグラムを描写することができる。

ChatGPTでは、Advanced Data Analysisという機能で、PythonコードをGPT-4が実行してくれる機能が備わっているが、Google Bardでも、Google Colabなどの既存サービスを組み合わせることで、無料にも関わらずChatGPT並のコード生成・実行も可能なのだ。

実は最強のRAGシステムであるGoogle Bardを使おう

以上で紹介した通り、Google Bardの強みは、なんといってもGoogleの提供するGoogleドライブ、ドキュメント、YouTubeなどとの統合と連携だ。

自分が過去に作成したファイル、長年使用してきたGmailの全受信メール、無限に存在するYouTube動画などを、全てRAGの情報源とすることによって、超優秀な自分だけの秘書として活躍してくれる。

Google Bardは、Googleが開発する生成AIであるPaLM 2というモデルに基づいている（2023年12月6日より、英語版ではGemini Proモデルが実装された）。

互いに何もサービスやプラグインを使うことなく、生GPT-4と生PaLM2を競わせると、感覚的にはやはりGPT-4の方が回答の精度が高い（日本語文章、コーディングなど）。

しかしながら、BardのExtensionsを使用した状態では、自分のメールやドキュメントにAIがアクセスするという機能が、ユーザー側が何も手間をかけなくても瞬時に実用レベルで使えてしまう。

これにより、最近ではChatGPTやBing Chatではなく、Google Bardを使おうと思える場面も多くなった。

理想的には、将来、Google BardからGmailに新規のメールを作成できるようになったり、Googleカレンダーとも統合して自分の予定を自在に検索・作成できたり、Google Docsとの連携を更に強化して文書作成や表作成までできるようになったりすると、かなり革命的だと感じる。

GoogleはDuet AIというWorkspace上で使えるAIをアナウンスしたばかりでもあるし、これからの発展が本当に楽しみだ。

将来的に、生成AIのモデル同士のレベルの差が縮まってくると、あとは外部サービスとどれだけ連携して、統合的な体験をもたらせるかの競争になってくるように思われる。

すでに多数のユーザーを抱え、長年仕事で使っている人も多いであろうGoogleのサービス群にAIが実装されれば、やはりその競争力は圧倒的だ。

Googleのアナウンスによれば、2024年初旬には、「Bard Advanced」というGeminiの最も高性能なモデルである「Gemini Ultra」を搭載したBardも公開されるとのことで、そうなれば、ChatGPTのGPT-4並の高性能でありながら、Googleの各サービスと完璧に連携する最強のサービスが利用可能になるかもしれない。

これからのGoogle Bardの更なる発展に期待したい。