背景や目的

１．生成AIへの期待は益々高まっていますが、一般のITシステムでは企業独自の情報を回答させる事が重要な観点だと感じます。
２．別途実施した独自モデル作成実験で、追加学習では誤情報の排除は無理！と考えたその後に、RAG(検索拡張生成)の話題が増え、それを試した次第です。実際にシステムにする時の知見にしたく、AWSで作成してみました。
３．ここでは、その構築方法をまとめました。AWSで組んでみましたが、デプロイ方法の１つの例として、生成AI関連のエンジニアの方々に、ご参考になれば幸いです。また、より良い方法等のご意見も頂けると嬉しいです。

RAGアプリの構成

以下のような処理にしました。
１．LLMは、総合的に最も注目度が高いChatGPTを利用。
２．検索部はAWS KendraとOpenAI Embeddingsの２つを試す。
３．デプロイ環境はAWS Lambdaを利用(サーバレス環境を試す)。

RAGアプリ環境設定サマリー

上の処理を実現する環境設定は以下の通り。
この中で、外部データの設置も実施している。
１．Amazon S3 バケット作成とファイルアップ
２．Lambdaでレイヤーを追加 (open ai、numpyのimport用)
３．VPCの設定 (EFS、外部インターネットアクセス、S3アクセスを可能にする基礎設定)
４．EFSの設定 (sklearnのimport用)
５．Lambdaの設定 (VPCとEFS利用に関わる事)
６．LambdaでS3参照するための追加設定
７．Amazon Kendra　インデックス作成、データソース作成、sync、削除
８．RAGアプリの最終構成

Amazon S3 バケット作成とファイルアップ（検索対象ファイル設置用）

検索対象ファイルをS3に設置します。

１．検索窓に”S3″を入力し「S3」を押下。Amazon S3の画面に遷移。
２．メニュー「バケット」で「バケットを作成」を押す。

３．「バケットを作成」画面では以下設定値を登録する。

Lambdaでレイヤーを追加 (OpenAI、numpyのimport用)

OpenAIは、テキスト生成等で、numpyはコサイン類似度の計算で、それぞれ使いました。Lambdaでimportするために、レイヤーを追加する必要があります。

１．検索窓に”Lambda”を入力し「Lambda」を押下。Lambdaの画面に遷移。
２．上部の「Cloud Shell」アイコンを押し、シェルを開き、以下コマンドでzipファイルを２つ作成。

//コマンド:
[cloudshell-user@** ~]$pip install -t ./python/ numpy
[cloudshell-user@** ~]$zip -r numpy.zip ./python
[cloudshell-user@** ~]$rm -r ./python/
[cloudshell-user@** ~]$pip install -t ./python/ --upgrade openai 
[cloudshell-user@** ~]$zip -r openai.zip python
[cloudshell-user@** ~]$rm -r python

３．作成されたファイルは手元にダウンロードしておく

４．Lambda画面の「レイヤー」メニューを開き、「レイヤーの作成」を押す。

５．その作成画面内で以下の値を入力し、作成を完了させる（２つ作成）。

６．Lambda>関数>今回作成関数 を選択し、「レイヤーの追加」を押す。

７．その画面で以下の値を入力し、作成を完了させる（２つ追加）。

VPCの設定(EFS、外部インターネットアクセス、S3アクセスを可能にする基礎設定)

コサイン類似度の計算用にsklearnを使いたく、一部EC2を利用した事もあり、LambdaはVPC上で使っています。

１．検索窓に”VPC”を入力し「VPC」を押下。VPC画面に遷移。
２．「サブネット」メニューで「サブネットを作成」を押し、以下の設定値にて、サブネットを２件作成する。

３．続けて、VPC画面の「インターネットゲートウェイ」メニューを開く。
４．ここでは１件作成済である事を確認する。（無い場合は作成する（説明省略））。

５．続けて、VPC画面の「NATゲートウェイ」メニューを開く。
６．開いた画面で、以下の設定値にて、NATゲートウェイを作成する。

７．続けて、VPC画面の「ルートテーブル」メニューを開き、「ルートテーブルを作成」を押す。

８．開いた画面で、以下の設定値にて、ルートテーブルを２件作成する。

EFSの設定 (sklearnのimport用)

sklearnは、検索用（ベクター値比較用）のコサイン類似度の計算で使いたく、セットアップしました。設置場所で使っているEC2は、既に存在している前提で説明しております（ご容赦下さい）。

１．検索窓に”Lambda”を入力し「Lambda」を押下。Lambdaの画面に遷移。
２．上部の「Cloud Shell」アイコンを押し、シェルを開き、以下コマンドでzipファイルを1つ作成。

//コマンド：
pip3 install -t ./python/ -U scikit-learn
zip -r sklearn_aws_all.zip python
rm -r ./python/

３．作成されたファイルは手元にダウンロードしておく。

４．AWSのEC2画面の「セキュリティグループ」メニューを開き、「セキュリティグループの作成」を押し、「セキュリティグループを作成」を開く。

５．その作成画面内で以下の値を入力し、作成を完了させる。

６．AWSのEFS画面の「ファイルシステム」メニューを開き、「ファイルシステムの作成」を押す。

７．その作成画面内で以下の値を入力し、作成を完了させる。

８． 作成したファイルシステム画面で「アタッチ」ボタンをおす。EFSアタッチコマンドのコピーボタンを押し、コピーする。

９．AWSのEC2画面の「インスタンス」メニューを開き、今回利用するインスタンスに接続する。（※EC2インスタンスは既に作成済の前提です。）

１０．そのコンソールで以下コマンドにて作成と確認をする。

//コマンド：
$sudo su ec2-user
[ec2-user@** ~]$ sudo yum install -y amazon-efs-utils
[ec2-user@** ~]$ cd /home/ec2-user/
[ec2-user@** ~]$sudo mkdir /home/ec2-user/efs
[ec2-user@** ~]$ sudo mount -t efs -o tls fs-******:/ /home/ec2-user/efs
　★前の手順「アタッチ」でコピーしたコマンド
[ec2-user@** ~]$ df -T
Filesystem     Type            1K-blocks     Used        Available Use% Mounted on
devtmpfs       devtmpfs          4013952        0          4013952   0% /dev
tmpfs          tmpfs             4031812        4          4031808   1% /dev/shm
tmpfs          tmpfs             4031812      524          4031288   1% /run
tmpfs          tmpfs             4031812        0          4031812   0% /sys/fs/cgroup
/dev/nvme0n1p1 xfs              16764908 12746084          4018824  77% /
tmpfs          tmpfs              806364        0           806364   0% /run/user/0
127.0.0.1:/    nfs4     9007199254739968        0 9007199254739968   0% /home/ec2-user/efs
ec2-user@** efs]$ ls -la
total 8
drwxr-xr-x  2 root     root     6144 Dec 26 11:25 .
drwx------ 14 ec2-user ec2-user 4096 Dec 26 12:13 ..
[ec2-user@** efs]$ sudo chmod go+rw .
[ec2-user@** efs]$ ls -la
total 8
drwxrwxrwx  2 root     root     6144 Dec 26 11:25 .
drwx------ 14 ec2-user ec2-user 4096 Dec 26 12:13 ..

１１．作成済のsklearn_aws_all.zipを前の手順で作成したディレクトリへアップする。

１２．引き続きコンソールで以下コマンドを実行し、sklearnをセットする。

//コマンド：
[ec2-user@** efs]$ unzip ./sklearn_aws_all.zip
[ec2-user@** efs]$ ls
python  sklearn_aws_all.zip
[ec2-user@** efs]$ rm ./sklearn_aws_all.zip
[ec2-user@** efs]$ ls
python
[ec2-user@** efs]$ mv ./python/ ./sklearn/
[ec2-user@** efs]$ ls
sklearn     *******

Lambdaの設定 (VPCとEFS利用に関わる事)   

これまでに作成したVPC上でLambdaが動作し、またEFSと接続されるように、Lambdaの設定をします。

１．検索窓に”Lambda”を入力し「Lambda」を押下。Lambdaの画面に遷移。

２．「関数」メニューで今回作成した関数を選択し、「設定>VPC」を選択後、「編集」を押下し、以下の値で設定する。

３．続けて、lambda画面の「設定>アクセス権限」を押し、設定済のロール名(事前に設定済の想定です)のリンクをクリックする。

４．IAM画面が開くので、そこで「許可を追加>ポリシーをアタッチ」を押し、以下のポリシーを追加する。

５．Lambda画面に戻り、「設定>ファイルシステム」を選択後、「ファイルシステムの追加」を押下し、以下の値で設定する。

６．同様に、「設定>環境変数」を選択し、「編集」を押下し、  以下の値を設定する。

LambdaでS3参照するための追加設定

VPCを使う事も考慮し、接続可能な状態にします。

１．検索窓に”Lambda”を入力し「Lambda」を押下。Lambdaの画面に遷移。

２．「関数」メニューで今回作成した関数を選択し、「設定>アクセス権限」を押し、設定済のロール名のリンクをクリックする。

３．IAM画面が開くので、そこで「許可を追加>ポリシーをアタッチ」を押し、以下のポリシーを追加する。

４．続けて、VPC画面を開き、「エンドポイント」メニューを開き、「エンドポイントを作成」を押す。

５．その画面では、以下の設定値を入力し、エンドポイントを１つ作成する。

Amazon Kendraインデックス作成、データソース作成、sync、削除

検索方法AパターンのKendraを準備します。インデックス（ＤＢみたいなもの）を作成すれば、完了です。余談ですが、課金が気になり、作成と削除を何回か繰り返しました。

１．検索窓に“kendra”を入力し「Amazon Kendra」を押下、Amazon Kendraの画面に遷移。

２．Amazon Kendraの画面に「create an index」を押す。

３．作成画面内で以下の値を入力し、作成を完了させる。

Lambdaの方で、KendraにアクセスできるようにIAMポリシーを追加しておきます。

１．検索窓に”Lambda”を入力し「Lambda」を押下。Lambdaの画面に遷移。

２．「関数」メニューで今回作成した関数を選択し、「設定>アクセス権限」を押し、設定済のロール名のリンクをクリックする。

３．IAM画面が開くので、そこで「許可を追加>ポリシーをアタッチ」を押し、以下のポリシーを追加する。

RAGアプリの最終構成

  最終的な構成は以下の通り。

以下は、実行してわかった事です。
１．EFS利用は、コサイン類似度の計算をするための苦肉の策
Lambdaでは、必要なライブラリのインストール時に「レイヤー」を利用しますが、50MB制限の問題で、EFSを利用しました。初回アクセス時に、ロード（おそらくEFS経由のsklearn）で１分位かかるので、正直あまり良くないです。（動作はします。）
２．VPCを使い対応箇所が増えるも良い経験に
EFSを使う都合でLambdaをVPC内で動作させる必要が生じ、設定箇所がとても増えました。ただ、そのおかげで、色々勉強になりました。
３．Kendraは課金額に注意
インデックスが存在するだけで、１時間あたり約１７０円(2024/6/18時点)かかるので、終業時に毎回削除していました。うっかり放置し、想像以上の額にならないよう、お使いになる際には、ご注意ください。最新の価格はこちらをご覧ください。

画面

ちなみに画面はこんな感じです。

まとめ

１．RAGシステムをサーバレス環境で構築でき、良い勉強になりました。

２．コサイン類似度の計算をするために苦労した点は、想定外でしたが、この辺りは、色んなツールが出ているようなので、今後試してみたいと思います。

３．テキスト生成と検索部分で外部連携がありますが、そこは概ね想像通りの動作でした（精度は別として）。

４．精度としては、ベクター検索が良さそうでした。精度の詳細（確認実験）は、こちらでやっていますので、どうぞご参照ください。