# ベースイメージを指定（Python 3.11）
FROM python:3.11

# SageMaker のワークディレクトリを指定
WORKDIR /opt/ml/code

# 必要なファイルをコピー
COPY requirements.txt .
COPY requirements2.txt .
COPY app.py .

# 必要なパッケージをインストール
RUN pip install --upgrade pip
RUN pip install --no-cache-dir -r requirements.txt
RUN pip install --no-cache-dir -r requirements2.txt

# ポート8080を開放（SageMaker の仕様）
EXPOSE 8080

# エントリーポイントを指定
ENTRYPOINT ["python", "app.py"] #SageMakerの docker run <image> serve に対応

# ベースイメージを指定（Python 3.11）
FROM python:3.11

# SageMaker のワークディレクトリを指定
WORKDIR /opt/ml/code

# 必要なファイルをコピー
COPY requirements.txt .
COPY requirements2.txt .
COPY app.py .

# 必要なパッケージをインストール
RUN pip install --upgrade pip
RUN pip install --no-cache-dir -r requirements.txt
RUN pip install --no-cache-dir -r requirements2.txt

# ポート8080を開放（SageMaker の仕様）
EXPOSE 8080

# エントリーポイントを指定
ENTRYPOINT ["python", "app.py"] #SageMakerの docker run <image> serve に対応

https://download.pytorch.org/whl/cu124/torch-2.6.0%2Bcu124-cp311-cp311-linux_x86_64.whl
https://download.pytorch.org/whl/cu124/torchvision-0.21.0%2Bcu124-cp311-cp311-linux_x86_64.whl
transformers
sentencepiece
accelerate
Flask
multi-model-server
sagemaker-inference
numpy<2

https://download.pytorch.org/whl/cu124/torch-2.6.0%2Bcu124-cp311-cp311-linux_x86_64.whl
https://download.pytorch.org/whl/cu124/torchvision-0.21.0%2Bcu124-cp311-cp311-linux_x86_64.whl
transformers
sentencepiece
accelerate
Flask
multi-model-server
sagemaker-inference
numpy<2

autoawq

autoawq

from flask import Flask, request, jsonify, Response
import torch
from awq import AutoAWQForCausalLM #AWQ版
from transformers import AutoTokenizer,TextIteratorStreamer
import os
import time
import threading
import sys

app = Flask(__name__)

IS_SAGEMAKER = True

if IS_SAGEMAKER:
    MODEL_DIR = "/opt/ml/model"  # SageMaker環境では S3 から展開されたモデルを使用
else:
    MODEL_DIR = ""  # ローカル試験する場合の予備部分

print(f"Loading model from {MODEL_DIR} ...")

tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
model = AutoAWQForCausalLM.from_quantized(MODEL_DIR,device="cuda",fuse_layers=True,trust_remote_code=True) #AWQ版

@app.route("/ping", methods=["GET"])
def ping():
    """ヘルスチェック用エンドポイント"""
    return jsonify({"status": "healthy"}), 200

def generate_text(system_prompt,question):
    if system_prompt == "":
        system_prompt = f"あなたは誠実で優秀な日本人のアシスタントです。以下の質問に対して、1問1答で答えてください。\n\n質問：{question}\n回答：" #R1を考慮したプロンプト
    inputs = tokenizer(system_prompt, return_tensors="pt").to("cuda")

    streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True,skip_prompt=True) #回答文だけ返却する

    generation_kwargs = {
        "input_ids": inputs["input_ids"],
        "attention_mask": inputs["attention_mask"],
        "max_new_tokens": 5000,
        "do_sample": False, 
        "pad_token_id": tokenizer.eos_token_id,
        "streamer": streamer
    }
    thread = threading.Thread(target=model.generate, kwargs=generation_kwargs) #別スレッドで生成を実行
    thread.start()
    for new_text in streamer: #逐次出力
        yield new_text
    yield "\n"

@app.route("/invocations", methods=["POST"])
def invocations():
    data = request.json
    system_prompt = data.get("system_prompt", "")
    question = data.get("question", "")
    return Response(generate_text(system_prompt,question), content_type="text/plain", status=200)

if __name__ == "__main__":
    if len(sys.argv) > 1 and sys.argv[1] == "serve": #SageMakerの docker run <image> serve を受け、その引数が入るはず
        app.run(host="0.0.0.0", port=8080, threaded=True)
    else:
        print("This container is for SageMaker! (atd)")

from flask import Flask, request, jsonify, Response
import torch
from awq import AutoAWQForCausalLM #AWQ版
from transformers import AutoTokenizer,TextIteratorStreamer
import os
import time
import threading
import sys

app = Flask(__name__)

IS_SAGEMAKER = True

if IS_SAGEMAKER:
    MODEL_DIR = "/opt/ml/model"  # SageMaker環境では S3 から展開されたモデルを使用
else:
    MODEL_DIR = ""  # ローカル試験する場合の予備部分

print(f"Loading model from {MODEL_DIR} ...")

tokenizer = AutoTokenizer.from_pretrained(MODEL_DIR)
model = AutoAWQForCausalLM.from_quantized(MODEL_DIR,device="cuda",fuse_layers=True,trust_remote_code=True) #AWQ版

@app.route("/ping", methods=["GET"])
def ping():
    """ヘルスチェック用エンドポイント"""
    return jsonify({"status": "healthy"}), 200

def generate_text(system_prompt,question):
    if system_prompt == "":
        system_prompt = f"あなたは誠実で優秀な日本人のアシスタントです。以下の質問に対して、1問1答で答えてください。\n\n質問：{question}\n回答：" #R1を考慮したプロンプト
    inputs = tokenizer(system_prompt, return_tensors="pt").to("cuda")

    streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True,skip_prompt=True) #回答文だけ返却する

    generation_kwargs = {
        "input_ids": inputs["input_ids"],
        "attention_mask": inputs["attention_mask"],
        "max_new_tokens": 5000,
        "do_sample": False, 
        "pad_token_id": tokenizer.eos_token_id,
        "streamer": streamer
    }
    thread = threading.Thread(target=model.generate, kwargs=generation_kwargs) #別スレッドで生成を実行
    thread.start()
    for new_text in streamer: #逐次出力
        yield new_text
    yield "\n"

@app.route("/invocations", methods=["POST"])
def invocations():
    data = request.json
    system_prompt = data.get("system_prompt", "")
    question = data.get("question", "")
    return Response(generate_text(system_prompt,question), content_type="text/plain", status=200)

if __name__ == "__main__":
    if len(sys.argv) > 1 and sys.argv[1] == "serve": #SageMakerの docker run <image> serve を受け、その引数が入るはず
        app.run(host="0.0.0.0", port=8080, threaded=True)
    else:
        print("This container is for SageMaker! (atd)")

import json
import boto3

def lambda_handler(event, context):
    print("----START ENDPOINT ACTION----\n")
    sagemaker = boto3.client("sagemaker")
    
    endpoint_name = "deepseek-awq-endpoint1-exec1"
    config_name = "deepseek-awq-endpoint1"#作成したエンドポイント設定の名前を指定
    action = event.get("action", "")

    # 存在チェック
    try:
        sagemaker.describe_endpoint(EndpointName=endpoint_name)
        exists = True
    except sagemaker.exceptions.ClientError as e:
        if "Could not find" in str(e):
            exists = False
        else:
            raise e

    if action == "delete":
        if exists:
            print(f"エンドポイント {endpoint_name} を削除します")
            sagemaker.delete_endpoint(EndpointName=endpoint_name)
        else:
            print(f"エンドポイント {endpoint_name} は既に存在しません")
    
    elif action == "create":
        if exists:
            print(f"エンドポイント {endpoint_name} は既に存在しています")
        else:
            print(f"エンドポイント {endpoint_name} を作成します（設定: {config_name}）")
            sagemaker.create_endpoint(
                EndpointName=endpoint_name,
                EndpointConfigName=config_name
            )
    
    else:
        print(f"無効なアクションです: {action}")
    
    return {
        "statusCode": 200,
        "body": json.dumps(f"{action} 処理が完了しました")
    }

import json
import boto3

def lambda_handler(event, context):
    print("----START ENDPOINT ACTION----\n")
    sagemaker = boto3.client("sagemaker")
    
    endpoint_name = "deepseek-awq-endpoint1-exec1"
    config_name = "deepseek-awq-endpoint1"#作成したエンドポイント設定の名前を指定
    action = event.get("action", "")

    # 存在チェック
    try:
        sagemaker.describe_endpoint(EndpointName=endpoint_name)
        exists = True
    except sagemaker.exceptions.ClientError as e:
        if "Could not find" in str(e):
            exists = False
        else:
            raise e

    if action == "delete":
        if exists:
            print(f"エンドポイント {endpoint_name} を削除します")
            sagemaker.delete_endpoint(EndpointName=endpoint_name)
        else:
            print(f"エンドポイント {endpoint_name} は既に存在しません")
    
    elif action == "create":
        if exists:
            print(f"エンドポイント {endpoint_name} は既に存在しています")
        else:
            print(f"エンドポイント {endpoint_name} を作成します（設定: {config_name}）")
            sagemaker.create_endpoint(
                EndpointName=endpoint_name,
                EndpointConfigName=config_name
            )
    
    else:
        print(f"無効なアクションです: {action}")
    
    return {
        "statusCode": 200,
        "body": json.dumps(f"{action} 処理が完了しました")
    }

###Deepseek-AWQ版Sagemakerエンドポイント作成後の表示確認 インストール
!pip install boto3
!pip install requests-aws4auth

###Deepseek-AWQ版Sagemakerエンドポイント作成後の表示確認 インストール
!pip install boto3
!pip install requests-aws4auth

###Deepseek-AWQ版Sagemakerエンドポイント作成後の表示確認　推論コード
import boto3
import json

# IAMユーザーの認証情報
aws_access_key = "***" # 適当なIAMユーザのアクセスキー
aws_secret_key = "***" # 適当なIAMユーザのシークレットアクセスキー
region = "ap-northeast-1"
# boto3 セッション作成
session = boto3.Session(aws_access_key_id=aws_access_key,aws_secret_access_key=aws_secret_key,region_name=region)

# SageMaker Runtime クライアント作成
client = session.client("sagemaker-runtime")

payload = {
    "system_prompt": "",
    "question": "世界で一番長い川は？"
}

response = client.invoke_endpoint_with_response_stream(
    EndpointName="deepseek-awq-endpoint1-exec1",#作成したエンドポイント名を指定
    ContentType="application/json",
    Body=json.dumps(payload).encode("utf-8")
)

##表示処理----------------------------------------------
import time
import threading
#スピナー表示用（点滅アニメーション）
stop_blinking = False
def blink_confirming():
    dots = ["・", "・・", "・・・", "・・・・"]
    i = 0
    while not stop_blinking:
        print(f"\r受信中{dots[i % len(dots)]}", end="", flush=True)
        i += 1
        time.sleep(0.5)
blink_thread = threading.Thread(target=blink_confirming)
blink_thread.start()
#回答文表示
has_think_ended = False
buffer = ""
start_time = time.time()
timeout_sec = 0 #</think>受信まで待ってからそれ以降を表示させたい時に指定
for event in response['Body']:
    if 'PayloadPart' in event:
        chunk = event['PayloadPart']['Bytes'].decode("utf-8")
        if not has_think_ended:
            buffer += chunk
            if "</think>" in buffer:
                has_think_ended = True
                stop_blinking = True
                blink_thread.join()
                after_think = buffer.split("</think>")[-1]
                print(after_think, end="", flush=True)
                buffer = ""
            elif time.time() - start_time > timeout_sec:
                has_think_ended = True
                stop_blinking = True
                blink_thread.join()
                print("\n",buffer, end="", flush=True)
        else:
            print(chunk, end="", flush=True)

###Deepseek-AWQ版Sagemakerエンドポイント作成後の表示確認　推論コード
import boto3
import json

# IAMユーザーの認証情報
aws_access_key = "***" # 適当なIAMユーザのアクセスキー
aws_secret_key = "***" # 適当なIAMユーザのシークレットアクセスキー
region = "ap-northeast-1"
# boto3 セッション作成
session = boto3.Session(aws_access_key_id=aws_access_key,aws_secret_access_key=aws_secret_key,region_name=region)

# SageMaker Runtime クライアント作成
client = session.client("sagemaker-runtime")

payload = {
    "system_prompt": "",
    "question": "世界で一番長い川は？"
}

response = client.invoke_endpoint_with_response_stream(
    EndpointName="deepseek-awq-endpoint1-exec1",#作成したエンドポイント名を指定
    ContentType="application/json",
    Body=json.dumps(payload).encode("utf-8")
)

##表示処理----------------------------------------------
import time
import threading
#スピナー表示用（点滅アニメーション）
stop_blinking = False
def blink_confirming():
    dots = ["・", "・・", "・・・", "・・・・"]
    i = 0
    while not stop_blinking:
        print(f"\r受信中{dots[i % len(dots)]}", end="", flush=True)
        i += 1
        time.sleep(0.5)
blink_thread = threading.Thread(target=blink_confirming)
blink_thread.start()
#回答文表示
has_think_ended = False
buffer = ""
start_time = time.time()
timeout_sec = 0 #</think>受信まで待ってからそれ以降を表示させたい時に指定
for event in response['Body']:
    if 'PayloadPart' in event:
        chunk = event['PayloadPart']['Bytes'].decode("utf-8")
        if not has_think_ended:
            buffer += chunk
            if "</think>" in buffer:
                has_think_ended = True
                stop_blinking = True
                blink_thread.join()
                after_think = buffer.split("</think>")[-1]
                print(after_think, end="", flush=True)
                buffer = ""
            elif time.time() - start_time > timeout_sec:
                has_think_ended = True
                stop_blinking = True
                blink_thread.join()
                print("\n",buffer, end="", flush=True)
        else:
            print(chunk, end="", flush=True)