背景や目的

１．生成AI活用をテーマに、その開発研究をしています。この1年はRAG(検索拡張生成)を中心に、本番レベルの構築を色々と試しています。

２．AI活用自体としては「特定用途」や「ナレッジ利用」のキーワードを目にする事が多くなり、提供ツールはRAG（+エージェント）を模索する方向で良さそうだ、と最近もそう思っております。

３．そんな中で、先日第1期が終了したGENIAC報告会（関連記事：GENIAC第1期目の成果報告会）を拝見し、参加された皆様のレポートが素晴らしくて、RAGのLLMはOpenAIに頼る事が多いのですが、モデルは国産でいけるのでは！と思い始めた次第です。
今後のRAGでの活用も念頭に、今回は２つのLLMを試用させて頂きました。

試用モデル

GENIAC関連の各ご報告で興味を持ちました以下の２つを試用します。

１．evollm-jp-7b
「新規モデル賞」を受賞されていました。進化的モデルマージという独自技術が凄そうです。ローカルやAWS上での低コストな稼働を意識し、小さなバージョンを試します。

２．Tanuki-8B-dpo-v1.0
東大松尾・岩澤研究室さん内のコンペで優勝されていました。やはり、小さな方を試します。

確認環境を用意

以前にOpen WebUIの確認環境を用意したので、今回もそれを使います。
Window10のパソコンで試しますが、大まかな流れは以下の通りです。

１．PC上にWSL環境を作成
２．WSL環境(Ubuntuコンソール)でollamaをインストール
３．ollamaコマンドで利用したいLLMをセット
４．Open WebUI(チャット画面)をインストール

コマンドやコード等の詳細は必要に応じてこちらをご参照下さい。
→性能の良さそうなローカルLLM３つを動作確認しました

evollm-jp-7bのセットアップ

用意したOpen WebUIで使うために、モデル毎のセットアップが必要です。
今回はollamaコマンドでセットアップしたので、その手順を以下に示します。

１．evollm-jp-7bを探す
まずollamaサイト(https://ollama.com/search)で探してみました。thashさんにより作成されたリポジトリがあり、今回はこれを利用させて頂きました。

２．Ubuntuコンソール(WSL)でpull
・ollamaコマンドを使い現状確認しつつ、確認した識別情報を使いダウンロードします。

y-nishihara@PC999:~$ ollama list
NAME            ID              SIZE    MODIFIED
gemma2:latest   ff02c3702f32    5.4 GB  4 months ago
phi3:medium     1e67dff39209    7.9 GB  4 months ago
elyza:jp8b      0e43468f61a2    4.9 GB  4 months ago
llama3:latest   365c0bd3c000    4.7 GB  4 months ago
y-nishihara@PC999:~$ ollama pull thash/evollm-jp-7b
pulling manifest
pulling 8ed3f6605e6f... 100% ▕█████████████████████████████████████████████████████████████▏ 7.7 GB
pulling a07303d6af48... 100% ▕█████████████████████████████████████████████████████████████▏   66 B
pulling 69efdd128e8d... 100% ▕█████████████████████████████████████████████████████████████▏   93 B
pulling 2c3edf6d6e9b... 100% ▕█████████████████████████████████████████████████████████████▏   81 B
pulling 223952c93e20... 100% ▕█████████████████████████████████████████████████████████████▏  483 B
verifying sha256 digest
writing manifest
removing any unused layers
success
y-nishihara@PC999:~$ ollama list
NAME                            ID              SIZE    MODIFIED
thash/evollm-jp-7b:latest       1930954da3c9    7.7 GB  3 minutes ago
gemma2:latest                   ff02c3702f32    5.4 GB  4 months ago
phi3:medium                     1e67dff39209    7.9 GB  4 months ago
elyza:jp8b                      0e43468f61a2    4.9 GB  4 months ago
llama3:latest                   365c0bd3c000    4.7 GB  4 months ago

・pull後の一覧表示で、thash/evollm-jp-7b:latest が入りました。

３．Open WebUIを起動
・そのままUbuntuコンソールで、Open WebUIサーバを起動します。

y-nishihara@PC999:~$ source venv/bin/activate
(venv) y-nishihara@PC999:~$ open-webui serve
（・・途中省略・・）
INFO:     Started server process [807]
INFO:     Waiting for application startup.
Error: No module named 'alembic'
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

・そして、ブラウザを開き http://localhost:8080/ にアクセスします。

・「モデルを選択」を押すとpullしたモデルが選択可能になりました。

Tanuki-8B-dpo-v1.0のセットアップ

同様にOpen WebUIで使う方針で、このモデルのセットアップをします。
少し紆余曲折がありまして、その一部も含めて紹介します。

１．Tanuki-8B-dpo-v1.0を探す
・こちらはhuggingfaceの公式情報(https://huggingface.co/weblab-GENIAC/Tanuki-8B-dpo-v1.0)を確認したら、GGUF版は非推奨、と書いてありました。うーん。

・なので、一旦Open WebUIで動かすのはやめて、colabo上で動作させる事にしました。

２．colabo上でセットアップ
・まずGPTQ8bit量子化版で試しました。以下がそのコードです。

###必要ライブラリインストール
!pip install transformers

###モデルのロード
from transformers import AutoTokenizer, AutoModelForCausalLM, TextStreamer
model = AutoModelForCausalLM.from_pretrained("team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GPTQ-8bit", device_map="auto", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GPTQ-8bit")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

・モデルロードの段階でエラーになり上手くいきません。少し試行錯誤しましたが、解決できず、量子化しないモデルで試す事にしました。※’No module named optimum’の解決方法をご存じの方がいらっしゃいましたら、ご教示お願いします。

・という事で、元モデルの方で再チャレンジです。

###必要ライブラリインストール
!pip install transformers

###モデルのロード
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
model = AutoModelForCausalLM.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0", device_map="auto", torch_dtype="auto")
tokenizer = AutoTokenizer.from_pretrained("weblab-GENIAC/Tanuki-8B-dpo-v1.0")
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)

###質問回答処理
messages = [
    {"role": "system", "content": "以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。"},
    {"role": "user", "content": "こんにちは。質問して良いですか？"}
]
input_ids = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids,max_new_tokens=1024,temperature=0.5,streamer=streamer)
response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
#print(response)

・はい。上手く行きました。※attention maskとpad token idの事はひとまず無視
・ただし、時間が非常にかかります。普通のcolabo(ProでもPro+でもない)でやって、上の回答が表示するまで４２分かかりました。

３．Ollama版をセットアップ
・この後のお試し利用を考えると１応答42分は厳しいので、性能低下の注意書きが気になりつつも、Ollama版を物色させて頂きました。
・Ollamaサイトを確認すると、7shiさんにより作成されたリポジトリがあり、これを利用させて頂きます。

・Open WebUI(ollama)へのセットアップ手順は、evollmと同じです。

・次は、両モデルを色々と試してみます。

試験仕様

本番用ツールで使う事を考慮すると、ベンチマークの情報だけでは分かり難いので、以下のような観点で色々試してみました。

試験１．LLMのロード時間：使うたびにどの位待つのか。
試験２．回答文生成速度：回答文が生成（表示）速度はどの位か。
試験３．日本語使用頻度：日本語の質問に対し、日本語で回答されるか。
試験４．情報保有：知識として、どの程度もっているのか。
試験５．コンテクスト利用（回答用情報参照プロンプト付）：RAGで使えそうか。

※以下のローカルPC(Windows10pro)で全て試しています。
Dell Inspiron7590/[CPU]Intel Corei7-9750H 2.60GHz/[RAM]16.0 GB

試験１：ロード時間

両モデルのロードにかかる時間を計測しました。

試験２：回答文生成速度

生成にかかる時間を計測しました。

試験３：日本語使用頻度

案件で扱う本番ツールでは日本語を期待しますので、普通に日本語が返るか確認しました。

以下は実際の応答内容です。

試験４：情報保有

モデル内の情報がどの程度あるのか確認しました。簡単ですが。

以下は実際の質問文と回答文です。同じ事を形を変えて３回出力したり、質問の回答以外の事を追加で出力している箇所がありましたが、それもそのままコピーしています。

試験５：コンテクスト利用(RAGミニ実験)

システムプロンプトにコンテクストを添付し、その情報を使い回答文を生成するか試しました。

実際の質問文と回答文の一部を以下に示します。回答で、次の質問を先読みしている(？)部分などありますが、出力文をそのままコピーしています。

最後に、まとめをします。

まとめ

１．RAGで国産モデルを使う事をイメージしつつ、GENIACの素晴らしい２つのモデルをまず使ってみました。どちらのモデルもOpen WebUIで動作させる事ができ、両モデルとも回答生成等の基本機能は良かったです。

２．tanukiさん構築途中で、精度の良い版(GGUF以外)をOpen WebUIで動かそうと試行錯誤をしましたがダメでした（本編で紹介していませんが）。量子化前の元モデルをcolabo上で試す事は出来ました。ただ、無料版のcolaboでは遅いです。

３．実際の構築時には色々とテーマはあるだろう、とも思いました。例えば、クラウド上でRAG処理をさせる場合のモデルのエンドポイント作成、などです。

４．全体を通じて、「ハードの能力」と「量子化」と「許容精度」の三つ巴で検討する事の大切さを再認識しました。社内で具体案件が動き出していますので、この件を教訓にトライアルをして、またご報告したいと思います。お読み頂いてありがとうございました。