背景や目的

１．生成AIの活用方法として注目されているRAG(検索拡張生成)の実験を、今まで何回かしています。（最近の関連記事→本番データでのRAGシステム構築例紹介）。

２．その時に得た「プロンプトで対策したら良さそうな課題」を整理し直して、今回試してみました。

３．技術っぽくない(？)ので、何となく後回しにしていましたが、純粋に日本語と向き合ってみました。

今回の課題

以前の実験で得た課題を再度整理しました。対策を試したいケースが４つあります。

１．前提情報の明確化
操作方法のＱＡ情報が検索で抽出され、それをコンテクストとして回答生成する時に、質問入力内容にシステム名が書いて無いような場合の事
例：「ログインできない。どうしたら良い？」
　　→「それはね。〇〇だよ」　✕　使うシステムによって違うのに答えてしまう
　　→「システムは何？先にそれを教えて！」　〇　こうさせたい

２．1文字違いの問題
特定の人やものについて尋ねる時に、１文字位の違いが無視されてしまう問題
例：「徳河家康は江戸幕府を開いた人？」
　　→「はいそうです。1603年にね。」　✕　徳河さんでは無い。
　　→「徳川家康だったらそうだよ。」　〇　これが良い

３．入力者の立場を理解した表現
操作方法のQA情報をもとに回答生成される時に、質問者が利用者では無い場合、おかしな表現になる問題。
例：「インストールできない。どうしたら良い？」（と、サポート担当者が入力）
　　→「一般的には〇〇だよ。詳しくは、サポートに聞いてね。」　✕　私がサポートなのに。
　　→「情報無いね。開発部門に問い合わせしてみては？」　〇　これが良い

４．指示用の言葉(“コンテクスト”)がそのまま使われる問題
プロンプト内の指示内容の言葉をそのまま使ってしまう問題。
例：「システムをmacで使う方法は？」
　　→「コンテクストに情報がありません。」　✕　コンテクストって何だ？
　　→「検索結果に情報がありません。」　〇　これが良い

確認環境を用意

今回はGoogle colaboで確認します。
(colaboの使い方は、ここでは割愛させて頂きます。)

１．適当なノートブックを開いて、まずopenaiをインストールします。

### open ai install
!pip install --upgrade openai

２．あとで試験用のコンテクストをファイル参照させたいので、driveへの接続もしておきます。

###ドライブ接続
from google.colab import drive
drive.mount('/content/drive')

３．試験用のコードです。以下、補足説明です。
　・回答生成ではOpenAIを使います。sk-***のところは、別途APIキーを取得し
　　ご自身の値を設定して下さい。
　・試験では、9行目と10行目を変えながら実行します。
　・同様に試験時には、システムプロンプトの基本部分も変えていくつか試します
　　（15行目の下や17行目の下への追記にて）。

### プロンプトを変えてテキスト生成させる処理
import textwrap
from openai import OpenAI

OPENAI_API_KEY = "sk-***"
openai_client = OpenAI(api_key = OPENAI_API_KEY)

##質問とコンテクスト（検索結果例）をセット
question = 'ログインできない。どうしたら良い？'
with open('/content/drive/MyDrive/llm_tmp/devais_vol8_context_1.txt') as f:
  llm_context = f.read()

##システムプロンプトをセット
system_prompt = textwrap.dedent("""\
  あなたは質問に回答するチャットbotです。
  以下のコンテクストを参考にして質問に回答して下さい。
  コンテクストの中に質問に対する答えがない場合や、わからない場合、不確かな情報で回答しないでください。
  ## コンテクスト（開始） ##
  {}
  ## コンテクスト（終了） ##
  """).format(llm_context)

##回答生成を実行
response_gpt = openai_client.chat.completions.create(
  model="gpt-4o-2024-08-06",
  messages=[
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": question}
  ],
  temperature=1
)
answer = response_gpt.choices[0].message.content
print(answer)

試験仕様

冒頭で記載した４つの課題を対策してみます。

１．「前提情報の明確化」：先に前提情報を聞いてくるように、させてみます。
２．「１文字違いの問題」：細部の違いに必ず言及するよう指示してみます。
３．「入力者の立場を理解した表現」：入力者の事を教えて、変化するか試します。
４．「指示用の”コンテクスト”が分かりにくい問題」：代替案を与えてみます。

試験１：前提情報の明確化

１．手順
　質問文、使うコンテクストを上のコードセル該当部分へセットします。
　コンテクストは、RAGでの検索結果出力を模した内容にして、そのテキストを参照ファイル
　に貼り付けました。

２．問題現象の再確認
　プロンプトを初期の内容にして、問題の現象を再現しておきます。
　プロンプトの箇所を確認後、colabo上該当セルをShift+Enterで実行します。

あれれ。システム名に言及して、意外と素敵な内容が出ました。2024年4月頃にgpt-4-turboで試した時よりとても進化してますね(今回は4oの8月版)。とにかく、試したかった事を続けます。

３．改善策の実行結果
　プロンプトに追加指示をして、実行してみます。

期待通りの結果が得られました。

試験２：１文字違いの問題

１．手順
　試験１と同様に準備します。質問内のファイル名が違う(t->s)場合の挙動を確認してみます。

２．問題現象の再確認
　プロンプトを初期の内容にして、問題の現象を再確認しておきます。

はい。想定とおりの問題が再現できました。入力者の意図かどうかは別として、ファイル名が違っている事への言及がありません。misumori <-> mitumori

３．改善策の実行結果
　プロンプトに追加指示をして、実行してみます。

期待通り注記がされました。ただ、名詞リスト・・・が表示されてますね。
表示しないよう指示追加してみます。

素晴らしい。完璧です。
念のため、この状態で質問を正しいファイル名に変えて、注記が出ないか確かめておきます。

大丈夫でした。注記は出ません。
試験２で最後にもう一つ確認します。指示がややこしいので、ざっくり表現に変えてみます。

あぁ、それでも良いのですね。期待通りの回答でした。以上、２通りの方法で対策ができました。

試験３：入力者の立場を理解した表現

１．手順
　試験３用の質問文とコンテクストを用意します。

２．問題現象の再確認
　プロンプトを初期の内容にして、問題の現象を再確認しておきます。

赤字の部分がBadポイント、と認識します。このbotを使っているのがサポート担当者本人の場合に、良くないメッセージになりますので。

３．改善策の実行結果
　プロンプトに追加指示をして、実行してみます。Colabo内セルを変更後にShift+Enterします。

良さそうですね。青字のあたりが、立場を理解した表現になっていそうです。

試験４：指示用の”コンテクスト”が分かりにくい問題

１．手順
　試験４の質問文とコンテクストは、試験３と同じものを使います。

２．問題現象の再確認
　プロンプトを初期の内容にして、問題の現象を再確認しておきます。

やはり「コンテクストの中」は、日本語としてわかりにくいですね。対策してみます。

３．改善策の実行結果
　プロンプトに追加指示をして、実行してみます。

指示とおりに検索結果と言い換えた内容になりました。

試験結果サマリー

４つの試験は、どれも解決できたようです。

まとめ

１．基本的に、日本語の追加指示に即した変化が起こっていました。なので、今後問題をみつけるたびに指示を追加してゆけば良さそうですが、どんどん複雑になって組み合わせによる弊害が発生しないか少し気になります。引き続き注目します。

２．試験で言及していませんが、同じ質問への回答が度々変化するのが気になりました。このランダム性を排除しようとclient.chat.completions.create()のパラメータtemperatureを変えてみましたが、これでは出来ないですね。このあたり詳しい方いらっしゃれば、情報頂けますと幸いです。

３．LLMの進化が顕著だなぁ、と思いました。最新のgpt-4o-2024-08-06を使ってみて、数か月前の4-turboからの進化をひしひしと感じました。プロンプトの内容に頼らないLLMまで進化するか、また色々確認したいと思います。どうもありがとうございました。