あなたが使っているAIチャット、本当にあなたにとって最適なモデルですか？
最近では、OpenAI/ChatGPTのGPT-4o、AnthropicのClaude 3.5 Sonnet、GoogleのGemini 1.5 Proなど、トップクラスの性能を有するAIモデルが乱立している。
日本語力・コーディング力・画像認識力など、各モデルによって得意分野は異なるため、どれか一つのサービスだけを使っていると、現在のLLMの恩恵を最大限には受けられていないかもしれない。
しかし、目まぐるしく変化するAI業界の中で、自力で全てのAIモデルを試し続けるのは難しい。
そんな悩みを解決してくれるのが、与えたプロンプトに対して、最も性能が高いAIモデルを自動的に選択してくれる「LLMルーター（最適経路中継）」サービスの「Not Diamond」だ。
2024年8月1日、OpenAI、Anthropic、Google、Perplexity、Metaなど各社のAIモデルを接続して、全てのLLMの中から最善・最高の回答が得られる「Not Diamond」ベースのチャットアプリが公開された。
本記事では、ChatGPTより遥かに有用な「Not Diamond」ベースのチャットツールである「AI Router Chat」を、誰でも簡単に使う方法を紹介する。
Not Diamondとは？AI戦国時代の最強モデルルーター
「Not Diamond」は、複数の大規模言語モデル(LLM)の間で、プロンプト毎に最適なモデルを自動的に選択するAIルーターサービスだ。
サンフランシスコを拠点とするスタートアップが開発し、2024年7月末に一般提供が開始されたばかりの誕生間もないサービスである。
GPT-4oやClaude 3.5 Sonnetなどの個々のLLMがどれだけ高性能になっても、全ての質問に完璧に答える唯一無二のモデル、は実現不可能だ。
そこでNot Diamondは、タスク毎に最適なLLMを連れてくることによって、全員野球で単体のモデルの性能を上回る、という「メタモデル」思想に立脚している。
人間で例えれば、様々な専門家がチームを組んで問題解決に当たるのに似ている。
実際、Not Diamondのアナウンスによれば、GPQA、MMLU、HumanEval、Arena Hard、Big Bench Hardなどの主要なAI性能評価テストで、Not Diamondが（連れてきたLLMの集合体が）最高水準の性能を叩き出しているという。
もちろん、精度を高めるだけでなく、簡単なプロンプトには小型軽量で安価なモデル（GPT-4o miniなど）で対応することで、コストを最適化することにも役立つ。
AIモデルの多様化が進む中、まさに必要不可欠なサービスだ。
Not Diamondと主要LLMが使える「AI Router Chat」
「AI Router Chat」は、Not Diamondがリリースされた直後に、オープンソース開発者のMckay Wrigley氏によって公開されたオープンソースのアプリだ。
Not Diamondのルーティング機能は、APIで提供されており、様々なアプリやサービスに組み込んで使用することができる。
「AI Router Chat」は、ユーザーが入力したプロンプトを、まずNot DiamondのAPIに投げ、Not Diamondが選択したLLMからの回答を表示するチャットアプリだ。
開発者のMckay氏は、OpenAI、Anthropic、Googleなど各社のLLMを一つのインターフェースで利用できる「ChatbotUI」の開発者でもある。将来的には、Not Diamondの機能を「ChatbotUI」にも組み込む予定だという。
ブラウザ版「AI Router Chat」の使い方
「AI Router Chat」は、オープンソースのアプリのため、GitHubのリポジトリを自分のPCにコピーすれば、誰でも無料で自分のPC上で動かすことが可能だ。
しかし、インストールの過程で、Gitのクローンや、Supabaseのデータベース作成など、多少のプログラミングの知識が必要になる。
幸いなことに、Not Diamond公式が「AI Router Chat」に目をつけ、早速オンラインでブラウザ上で利用できるバージョンを公開してくれている。
ブラウザ版の「AI Router Chat」であれば、プログラミング等の知識が一切なくても、誰でも簡単にNot DiamondとAI Router Chatの凄さを体験することができる。
「AI Router Chat」の基本機能
Not Diamondによるブラウザ版「AI Router Chat」は、メールアドレスとパスワードを設定するだけで、すぐに使い始めることができる。
現時点では、Not Diamondの性能のショーケース的に公開されていると思われ、利用料金は無料で、GPT-4oやClaude 3.5 Sonnetなどの他社のモデルも無料で利用できる。
（自分のPCにインストールして使用するローカル版のAI Router Chatであれば、各社のAPIキーを自分で作成して設定する必要がある。）
ログインすると、すぐに以下のようなチャットインターフェースが表示される。
何も考えず、とりあえず質問を打ち込んでみると、早速Not Diamondが最適なAIモデルを選択して、回答を表示してくれる。
以下は、最初にNot Diamond版の「AI Router Chat」の使い方を質問した結果だ。
この画面に基づいて、実装されている主要な機能を紹介していく。
1. 自動モデル選択機能:
Not Diamondは、ユーザーのプロンプトに対して、最適なAIモデルを自動で選び、そのモデルに回答を生成させる。
設定を開くと、Not Diamondが選定する対象のLLMの一覧を確認できる。使用したくない不要なモデルはチェックを外すことで除外できる。
例えば、上記の画面左下を見ると、「Claude 3.5 Sonnet」が選択されていることがわかる。
2. フィードバック機能:
サムズアップ・ダウンボタンを使用して、生成されたLLMの回答を評価できる。
これにより、Not Diamondがユーザーの選好を学習して、その後のモデル選定に学習結果を反映していく。
3. パフォーマンス指標の表示:
回答の左下には、生成に掛かった時間（レイテンシー）とAPI利用料が表示される。ユーザーがフィードバックをするにあたって、速度や料金も考慮することができる。
Not Diamondによって提供されているブラウザ版では、今のところAPI利用料はかからないので、あくまで参考値だ。
4. 応答の再生成:
スターマークのアイコンをクリックすると、好きなモデルで応答を再生成し、比較することができる。
5. アリーナモード
画面右上にある刀マークのアイコンを使用すると、2つのモデルで回答を生成して、バトルをさせる「アリーナモード」を有効にできる。
Not Diamondによるルーティング性能を試す
それでは、実際にNot Diamond版の「AI Router Chat」を使って、LLMの自動選択の精度や、ユーザーフィードバックの学習機能を試してみる。
まずは、現在開催中のパリオリンピックに関する質問をしてみる。
GPT-4oやClaude 3など多くのAIモデルは、学習データに含まれる情報しか回答できないため、最新のニュースに関する質問は苦手とする。
これに適しているモデルは、Web検索が可能な「Perplexity」だが、Not DiamondがちゃんとPerplexityを選択して、最新ニュースを踏まえた回答を生成してくれた。
（金メダリストが全員はリストアップされていないが・・・）
次に、ユーザーフィードバックをどのようにルーティングに活かしているかを確認する。
簡単なプログラムのコードを書いてくれるように頼んでみた。Not Diamondが選んだのはGPT-4oであった。
これに「サムズダウン」を与えて、気に入っていないというシグナルを出してみる。
もう一度、同じ質問をしてみると、今度はNot DiamondがClaude 3.5 Sonnetを使って回答を生成してくれた。
コーディング性能でいうとトップ2であろうモデルから、ユーザーの選好を踏まえて的確に回答を生成してくれていることがわかる。
複数のAIモデルを適材適所で使い分ける時代へ
Not Diamondは、ユーザーの選好を学習して、その後のルーティングが改善されていくなど、一人ひとりに「自分だけの最強のChatGPT」を作ってくれる。
サービスがリリースされた翌々日には、オープンソースコミュニティによってNot Diamondを最大限に活かすチャットUI「AI Router Chat」が公開されるというスピード感には驚かされる。
現時点では、本記事で紹介したNot Diamond公式によるブラウザ版「AI Router Chat」を使うのが、最も簡単にAIモデルルーターの力を体感する方法になるだろう。
ただ、Not Diamondもいつまで無料で各社のLLMを使わせてくれるか分からない。プログラミングの知識がある人は、GitHubリポジトリを参考に「AI Router Chat」のローカル板をインストールするのもありだ。
当サイトでも過去に紹介した複数のAIモデルを使える便利なアプリ「ChatbotUI」は、「AI Router Chat」と開発者が同じなので、将来的には「ChatbotUI」にもNot Diamondが組み込まれる予定だ。
「ChatbotUI」の次期アップデートが今から楽しみである。
AIモデルの急速な進化と、大型モデルから小型モデルまで多様化が進む中で、Not Diamondのようなルーターサービスは、効率的なAI活用の鍵となる。
大規模なサービスにLLMを組み込んで利用するとき、ユーザーからのすべてのプロンプトを、GPT-4oやClaude 3.5 Sonnetのような超大型・高コストのモデルにばかり渡していたら、利用料金が膨大になってしまう。
タスクの難易度に応じて、GPT-4o miniやLlama 70Bなどの中小型モデルに振り分けることで、利用料を大幅に圧縮できる可能性がある。
開発者や企業は、単一の巨大モデルに依存するのではなく、複数の特化型モデルを柔軟に組み合わせることで、より効率的なLLMの活用が可能になるだろう。
