背景や目的
OpenAIのDevDay2025で発表されたAgent Builderに興味を持ち、今回試してみることにしました。現在、AWS上で社内情報を回答するRAGツールを運用しており、これをAgent Builderのツールで置き換えられるかを検討します。
本記事では、そのツール作成の様子と、運用中ツールとの比較結果をご紹介します。
OpenAI Agent Builderについて
OpenAI Agent Builderは、エージェント型ワークフローを構築するためのビジュアルキャンバス（画面）です。
基本的な使い方は、
「目的に応じたノードを配置 → ノード同士を接続 → パラメータを設定 → Publishして実行」
という流れです。
ノーコード環境と同様の操作感のようで、以前試用したDifyと似た感じがしますね。
→試用記事：AIアプリノーコードツールDifyのRAG精度を確認
※利用にはOpenAIのアカウントが必要です。必要に応じて、こちらから作成してください。
→OpenAIアカウント作成
実現したい事
既存の社内RAGツールの構成要素を出来るだけそのまま使って、Agent Builder上にRAGを構築したいです。
具体的には、次の要素を前提に構成します。
・検索用の元情報：既存社内RAGツールで使用中のデータ
・LLM：既存社内RAGツールと同じ(GPT-4.1)
・チャットボット画面：Agent Builder のデフォルトUIを利用
こうして機能を実現させて、既存社内RAGとの各種比較をしてみたいと思います。
検索用の元情報
前述のとおり、検索用の元情報には、既に構築・運用している既存社内RAGツールのベクトルデータベースからデータを抽出して以下形式のtxtファイルを用意しました。
| データ形態 | テキストファイル |
| ファイル数 | 1 |
| 情報の概要 | 社内のルール情報を収容 |
| 情報の数 | 1038個 |
| 情報の区切り文字 | ¥n¥n |
ルール情報の内容は、イメージ的には以下のようなものです。
| 以下は、社内ルール等の応答情報です。 user:A メール受信を開始したいです。どうしたら良いですか？ user:B 以下のルール集に記載があります。項目「メールの利用」を参照して、設定等を進めて下さい。 https://drive.google.com/file/d/xxxxx user:A ありがとう。わかりました。 |
次は上記データを参照できるベクトルストアを作成しましょう。
ベクトルストア作成
AgentBuilderに入る前に、RAG処理では検索用の元情報を参照するためにベクトルストアが必要です。まずこれをOpenAI環境上で作成します。
・OpenAIコンソールにログインして、右上部でDashboard押し左側メニュー「Storage」を押し、表示された画面で「Vector stores」タブを押します。
・「+Create」を押すと、空のベクトルストアが作成されます。
ベクトルストア名の欄に、任意の名前を入力して設定します。
（※私は「DevAIs_Vol41」と設定した）
・次は検索用の元情報ファイルをアップするため、「+Add files」を押下します。
・上で用意していたrag_base_data.txtをドラッグ＆ドロップでアップして、「Attach」を押したらアップ完了です。
・皆さまがお試しになる場合は以下のような小さなテキストファイルをご用意の上、アップして下さい。
山田さんは学生です。
リンゴは赤いです。
カレーはココナッツ味です。・ファイルは「Files attached」に追加され、参照可能な状態になりRAGソースの準備は完了です。
※何故かベクター化モデルの指定箇所がありませんでした。GPTに聞いたらtext-embedding-3-largeだと言っていました。
いよいよAgent BuilderでRAG ツールの作成へ！
Agent Builderでワークフロー作成
ここからはAgent Builderの操作します。上で作成したベクトルストアデータを利用するワークフローを作ります。
・左側メニューで「Agent Builder」を押し、画面をアクセスします。
・テンプレートはいくつか用意されていますが、今回は 一から作成したいため「+Create」をクリックします。すると、以下のようなワークフロー画面が表示されます。
・右側にある「My agent」と言うAgentノードをクリックします。
・右側に表示される設定項目に、以下の値を入力します。
| 設定項目 | 設定値 |
|---|---|
| Name | 回答生成 ※お好きな名称で |
| Instructions | あなたは質問に回答するテクニカルセンターのチャットbotです。 以下のユーザーからの質問に対して、以下の検索結果を参考にして回答して下さい。 検索結果の中に質問に対する答えがない場合や、わからない場合、不確かな情報で回答しないでください。 回答文に「https://」や「http://」で始まるリンク箇所があればその部分はそのwebページを別ウィンドウで開くようにHTMLタグを追記してください。 |
| Model | gpt-4.1-2025-04-14 |
| その他 | 全てデフォルト |
・同じ設定パネル内でToolsの右側にある「＋」をクリックし、RAGに必要なFile Searchツールを選択します。
・表示されたファイルアップ画面で「Attach existing vector store」を押し、事前に準備したベクトルストアを選択して「Select」を押し、接続します。
・Agentノード内のToolsにベクトルストア名が表示されていれば、接続完了です。
・右上部にある「Publish」を押します。
・表示された画面でワークフロー名を入力し、「Publish」を押すと、作成したAIエージェントワークフローが公開され、利用可能になります。
ツール構築が完了しました。早速ツールの評価をしてみます。
ツール評価
運用中ツールと比較できるように、両者で同じ質問をしてみます。
・画面上部の「▷」をクリックするとQA用画面が表示されます。
・そこで、以下の５個質問を入力してそれぞれ送信してみます。
（実際の質問文は少し恥ずかしいので、デフォルメしてあります。）
| No. | 質問文（要約） |
|---|---|
| 1 | 個人情報保護に関する調査票が届いた。申請はどうすれば良い？ |
| 2 | アルバイト経験者のテレワーク勤務許可申請はどうする？ |
| 3 | PCを物理破壊するが、必要な申請等を教えて下さい。 |
| 4 | PCの管理者アカウントを登録する場合の申請等はありますか？ |
| 5 | 常駐先で利用中のメールを社内PCでも受信したい。手続きを教えて。 |
５個試した結果は以下の通りでした。
| No. | 既存RAG | Agent Builder | 短評 |
|---|---|---|---|
| 1 | 意中のチャンクを含み(1位)、要約文も問題無し。 | ||
| 2 | 意中のチャンクを含み(2位)、要約文も問題無し。 | ||
| 3 | 意中のチャンクを含み(1位)、要約文も問題無し。 | ||
| 4 | 意中のチャンクを含み(1位)、要約文も問題無し。 | ||
| 5 | 意中のチャンクを含み(1位)、要約文も問題無し。 |
検索は良好です。狙ったチャンクが5件中ほぼ1位でした。(4/5件)
回答文がやや長くなる場合もありましたが、全体としてはとても良い結果でした。
まとめ
運用中の RAG ツールの回答生成部分を、Agent Builderを使って実現してみました。
作成は簡単かつ高速で、RAGのアイデア検証を素早く行うには最適だと感じました。
検索精度は非常に良好でした。
補足として、過去記事で試した同様のツール:Difyと比較すると、2点の違いを感じました。
→過去記事：AIアプリノーコードツールDifyのRAG精度を確認
・今回の方が検索精度が少し良い? (No.2：前回Difyは3位/今回2位)。ベクター化モデルの差かもしれません(Dify:text-embedding-ada-002と今回:text-embedding-3-large）。
・Difyでは画面の公開URLをすぐに発行できますが、Agent Builderでは外部公開するには別途サーバー構築などの対応が必要となり、少し手間がかかります。
本番環境で使う場合は、Google認証や他システム連携等で不足があり、そこはまだ難しそうですね。とはいえ、AIプラット―フォームはどんどん進化してゆきそうです。引き続きウオッチして参ります。
AIಏಜೆಂಟ್ದು ಹೆಚ್ಚಿನ ಉಪಯೋಗಗಳನ್ನು ಅನ್ವೇಷಿಸೋಣ
（AIエージェントの使用をもっと見つけましょう）