[cloudshell-user@ip-*** ~]$ pip install -t ./python/pinecone-client
[cloudshell-user@ip-*** ~]$ zip -r pinecone.zip ./python
[cloudshell-user@ip-*** ~]$ rm -r ./python/

def lambda_handler(event, context):
    #処理情報のチェック
    executed_dt_str = check_exec_info('result.txt','utf-8') #前回実行ファイルのLastModifiedを得る
    #前回実行ファイルの情報から今回実行すべきタスクを把握。
    last_time_set,this_time_set,this_time_set_jst =  get_todo(executed_dt_str)
    for_set_data = []
    if last_time_set != '' and this_time_set != '' : #前回ファイル有り、今回ファイル有りの時
        df_this_time,df_last_time = get_2files_data(last_time_set,this_time_set) #2ファイルのpandasDFを作成
    elif last_time_set == '' and this_time_set != '' : #前回ファイル無し、今回ファイル有りの時
        df_this_time,df_last_time = get_2files_data(None,this_time_set)
    if this_time_set == '' :
        exec_num,ret = 0,''
    else:
        exec_num = set_vector_store(df_this_time,df_last_time) #vectorstoreへ登録
    if exec_num > 0 :
        ret = rec_exec_info('result.txt',this_time_set_jst) #今回処理したファイル（最終更新日）を記録しておく。    

    body = {'last_time':executed_dt_str,'this_time':ret,'exec_num':exec_num }
    return json.dumps(body)

def check_exec_info(object_key,file_code): #処理情報チェック関数 object_key:S3のkey_name,file_code:文字コード
    try:
        response = s3_client.get_object(Bucket=BUCKET_NAME, Key=object_key)
        body = response["Body"].read()
        return body.decode(file_code)
    except s3_client.exceptions.ClientError as ex:
        #無い場合は、初期ファイルを作成
        if ex.response['Error']['Code'] == 'NoSuchKey': # File not found
            set_body = '2024/01/01 11:11:11'
            response = s3_client.put_object(Body=set_body,Bucket=BUCKET_NAME,Key=object_key)
            return set_body
        else:
            return '2012/12/12 12:12:12'

def get_todo(executed_dt_str): #実行すべきタスクの情報を得る関数 executed_dt_str:前回実行日付
    last_time_set,this_time_set,this_time_set_jst = '','',''
    executed_dt_str+='+09:00' #Timezone=JSTの情報を付加
    executed_dt = datetime.strptime(executed_dt_str,'%Y/%m/%d %H:%M:%S%z') #Timezone=JSTを付加しdatetome型に変換
    obj,obj_sorted = [],[]
    objs = s3_client.list_objects_v2(Bucket=BUCKET_NAME)
    obj.extend(objs["Contents"])
    obj_sorted = sorted(obj, key=lambda x: x['LastModified']) #最終更新日昇順でソート
    files = []
    for files in obj_sorted:
        if files['Key'][0:2] == 'qa':
            jst = timezone(timedelta(hours=9), 'JST') #日本時間に直す(timezone定義)
            check_time_jst = files['LastModified'].astimezone(jst) #日本時間に直す(timezone=日本を適用)
            if check_time_jst < executed_dt : #前回処理済ファイルより前のファイルだ
                continue #何もしない
            if check_time_jst == executed_dt : #前回処理済ファイルだ
                last_time_set = files['Key']
                continue
            if check_time_jst > executed_dt : #今回新登場のファイルの１個目だ
                this_time_set = files['Key']
                this_time_set_jst = check_time_jst
                break #新登場2個目以降は本システムでは考慮しない。定期処理を再実行すれば処理される前提。
    return last_time_set,this_time_set,this_time_set_jst

def get_2files_data(last_time_set=None,this_time_set=None): #対象2ファイルの情報をpandasDFで返す関数 last_time_set:前回処理済ファイルのKey,this_time_set:今回処理ファイルのKey
    df_this_time,df_last_time = None,None
    if this_time_set is not None: #今回ファイルがあるならそれをopen
        try:
            response = s3_client.get_object(Bucket=BUCKET_NAME, Key=this_time_set)
            body = response["Body"].read().decode('utf-8')
            df_this_time = pd.read_csv(StringIO(body), index_col=0) # pandas dataflame として出力。問合せIDをindexに。
        except:
            return df_this_time,df_last_time
    if last_time_set is not None: #前回ファイルもあるならopen
        try:
            response = s3_client.get_object(Bucket=BUCKET_NAME, Key=last_time_set)
            body = response["Body"].read().decode('utf-8')
            df_last_time = pd.read_csv(StringIO(body), index_col=0)
        except:
            return df_this_time,df_last_time

    return df_this_time,df_last_time

以下の文章は+[問合せ種類システム]+の+[問合せ種類]+についてサポート対応をした時の記録です。（改行）+c
＜問合せ内容＞（改行）+
[問合せ内容] +（改行）+
＜対応内容＞（改行）+
[対応] +（改行）+
＜メモ＞（改行）+
[メモ] +（改行）

def shape_text(df_row): #外部情報格納前に整形する関数。df_row:pandasframeの1行
    #備考）row[0]: 問合せID/row[1]:問合せ種類システム/row[2]:問合せ種類/row[3]:問合せ内容/row[4]:対応/row[5]:メモ
    text1 = '以下の文章は、'
    if pd.notnull(df_row[1]):
        text1 = text1 + df_row[1] + 'の'
    if pd.notnull(df_row[2]):
        text1 = text1 + df_row[2] + 'について'
    text1 = text1 + 'サポート対応をした時の記録です。\n'
    if pd.notnull(df_row[3]):
        text1 = text1 + '＜問合せ内容＞\n' + df_row[3] + '\n'
    if pd.notnull(df_row[4]):
        text1 = text1 + '＜対応内容＞\n' + df_row[4] + '\n'
    if pd.notnull(df_row[5]):
        text1 = text1 + '＜メモ＞\n' + df_row[5] + '\n'
    return text1

def set_vector_store(df_this_time,df_last_time):  #vectorstore登録関数 df_this_time:今回データpandas形式,df_last_time:前回データ
    exec_num = 0
    if (df_this_time is None) and (df_last_time is None): #対象ファイル無しの時は登録せず終了。
        return exec_num
    elif df_last_time is None: #前回データが無い=全件セット(初回) のケース
        exec_num = len(df_this_time)
        res_code = init_vector_store(1) #index確認と作成。mode=1無ければ作成、2削除&作成
        if res_code >= 1 and res_code <= 3:
            i = 0
            record_list = []
            for row in df_this_time.itertuples():
                i += 1
                text1 = shape_text(row) #テキスト部整形
                response = openai_client.embeddings.create(input=text1,model="text-embedding-ada-002") #ベクター値取得
                text1_vector = response.data[0].embedding
                record_dict_tmp = {"id":str(row[0]),"values":text1_vector,"metadata": {"doc":text1,} }
                record_list.append(record_dict_tmp)
                #備考）row[0]: 問合せID/row[1]:問合せ種類システム/row[2]:問合せ種類/row[3]:問合せ内容/row[4]:対応/row[5]:メモ
            do_upsert(record_list,batch_size=100) #Upsert実行 batch_size毎に実行
        else:
            return 0 #異常終了(init_vector_storeの何か）
        return i # 全件セットの登録数を返却

def init_vector_store(mode): #プロト2用indexの存在確認(無ければ作成)。mode:1通常 2削除してから実行
    if mode == 1:
        if INDEX_NAME in pc.list_indexes().names():
            return 1 #存在
        else:
            pc.create_index(name=INDEX_NAME,dimension=1536,metric="cosine",spec=PodSpec(environment="gcp-starter"))
            return 2 #作成した
    elif (mode == 2) and (INDEX_NAME in pc.list_indexes().names()):
        pc.delete_index(INDEX_NAME)
        pc.create_index(name=INDEX_NAME,dimension=1536,metric="cosine",spec=PodSpec(environment="gcp-starter"))
        return 3 #削除＆作成した

def set_vector_store(df_this_time,df_last_time):  #vectorstore登録関数 df_this_time:今回データpandas形式,df_last_time:前回データ
    ・・・全件部参照・・・
    else: #前回も今回もデータが存在=差分セット のケース
        #新規追加分を検出し、新規追加用dataflameにセット。
        df_set_insert = pd.merge(df_this_time,df_last_time, how ="left",left_index=True,right_index=True, indicator=True).query(f'_merge == "left_only"').copy()
        df_set_update = df_this_time.copy() #後で処理する更新用DFも作成しておく。
        for idx, sr_row in df_set_insert.iterrows():
            check_row_val = idx #後で処理する更新DF用情報
            df_set_update.drop(df_set_update[df_set_update.index == check_row_val].index, inplace=True) #UPDATE情報DF完成
        #差分評価用DFを作成。
        df_set_update_sort = df_set_update.sort_index().copy() #両DFをindexでソートしておく
        df_last_time_sort = df_last_time.sort_index().copy()
        df_err_idx = pd.merge(df_set_update_sort,df_last_time_sort, how ="outer",left_index=True,right_index=True, indicator=True).query(f'_merge != "both"').copy()
        if len(df_err_idx) != 0:
            return 0 #強制終了
        df_comp = df_set_update_sort.compare(df_last_time_sort).unstack().dropna().unstack(1).reset_index().set_axis(['COLUMN','qa_id','self','other',],axis=1,)
        df_tmp = df_comp.drop_duplicates(subset=['qa_id']).copy()
        df_set_update_final = df_this_time[df_this_time.index.isin(df_tmp['qa_id'])].copy()
        #set_vector 新規分と差分の分、両方を書き込む。
        i = 0
        record_list = []
        for row in df_set_insert.itertuples(): # 1)df_set_insert (新規分の登録)
            i += 1
            text1 = shape_text(row) #テキスト部整形
            response = openai_client.embeddings.create(input=text1,model="text-embedding-ada-002")
            text1_vector = response.data[0].embedding #ベクター値取得
            record_dict_tmp = {"id":str(row[0]),"values":text1_vector,"metadata": {"doc":text1,} }
            record_list.append(record_dict_tmp)
        for row in df_set_update_final.itertuples(): # 2)df_set_update_final (差分の分を登録)
            i += 1
            text1 = shape_text(row) #テキスト部整形
            response = openai_client.embeddings.create(input=text1,model="text-embedding-ada-002")
            text1_vector = response.data[0].embedding #ベクター値取得
            record_dict_tmp = {"id":str(row[0]),"values":text1_vector,"metadata": {"doc":text1,} }
            record_list.append(record_dict_tmp)
        do_upsert(record_list,batch_size=100) #Upsert実行 batch_size毎に実行
        return i

def rec_exec_info(object_key,add_txt): #処理情報記録関数 object_key:S3のkey_name,add_txt:追記する最終更新日の文字列
    set_body = str(add_txt).replace('+09:00', '').replace('-', '/')
    try:
        response = s3_client.put_object(Body=set_body,Bucket=BUCKET_NAME,Key=object_key)
        return set_body
    except s3_client.exceptions.ClientError as ex:
        #無い場合は、初期ファイルを作成
        if ex.response['Error']['Code'] == 'NoSuchKey': # File not found
            response = s3_client.put_object(Body=set_body,Bucket=BUCKET_NAME,Key=object_key)
            return set_body
        else:
            return ''

def chunks(iterable, batch_size=100): #chunk関数(1回のUpsertを100件以下にする(pinecone推奨)
    """A helper function to break an iterable into chunks of size batch_size."""
    it = iter(iterable)
    chunk = tuple(itertools.islice(it, batch_size))
    while chunk:
        yield chunk
        chunk = tuple(itertools.islice(it, batch_size))

def do_upsert(record_list,batch_size=100): #VectorStoreへUpsertする関数。record_list: Upsert用データlist(id,values,metadata/doc) 
    index = pc.Index(INDEX_NAME)
    for ids_vectors_chunk in chunks(record_list, batch_size=batch_size): #Normal方式
        index.upsert(vectors=ids_vectors_chunk)
    return

import json
import boto3
from datetime import datetime, timedelta, timezone
from io import StringIO
import pandas as pd
from pinecone import Pinecone, PodSpec
from openai import OpenAI
import itertools

openai_client = OpenAI(api_key = "sk-*****") #お手元の情報をセットして下さい
s3_client = boto3.client('s3')
BUCKET_NAME = 'proto2-data' #バケット名
pc = Pinecone(api_key='*****') #お手元の情報をセットして下さい
INDEX_NAME = 'starter-index-test1' #今回使うindexの名前

### pinecone install
!pip install pinecone-client

### open ai install
!pip install --upgrade openai

###コサイン類似度検索を試す。
from pinecone import Pinecone, PodSpec
import json
from openai import OpenAI

pc = Pinecone(api_key='*****')#お手元の情報をセットして下さい

client = OpenAI(api_key = "sk-*****")#お手元の情報をセットして下さい

index = pc.Index("starter-index-test1")#今回使うindexの名前

##質問のベクター値を作成
#query = '金額入力画面の内容をEXCEL出力したい'
#query = '金額入力画面の内容をエクセルで出力したい'
query = '株価編集画面の内容をJSONで出力したい'
response = client.embeddings.create(input=query,model="text-embedding-ada-002")
query_emb = response.data[0].embedding

##ベクター検索
index.query(vector=query_emb,top_k=3,include_values=False,include_metadata=True)