背景や目的
１．生成AI利用システムの開発研究をしています。最近は、社内ナレッジのAIツール開発を案件としても担当するようになりました。
２．開発ではAIの推測と検索システムを組み合わせる事が多いのですが、そのAI推測には、性能が良いのでOpenAIに頼る事がとても多いです。
３．そうした中で、昨年末頃に国産LLMで有名なElyza社がサービスサイトを公開されているのをお見かけし、大注目しました！
国産モデルも案件で利用できるようになるのかな、と期待しつつ、そのサービスをまず確認してみました。今回はその内容についてご紹介します。
確認したサービス
以下のサービスを利用しました。
上記をクリックすると、そのサービスページが直接開きます(2025/1/10時点)。
利用方法
特に難しい部分はありませんが、サービスへはこのようにアクセスしました。
１．株式会社ELYZAのトップページへアクセスしました。https://elyza.ai/
２．下にスクロールすると、サービスへのリンクがあります。
３．それを押すと利用規約が表示されます。ここでは内容確認をし「同意する」を押します。
４．チャット画面が表示されました。
５．間にある４つのボタンは、プロンプトのサンプル文のようです。
６．その他のメニューは無さそうです。以下は今後着々と整備されるのかな。
・会話保存の機能
・API機能（キー情報発行や利用量・金額の表示など）以下の通りです。
・追加学習機能（？）
試用してみます
API機能は無いので、開発業務で使う事を主に想定して、以下の５個を試してみました。
試用１．回答文生成速度：回答文の表示時間はどの位か。
試用２．情報保有量：知識としてどの程度お持ちか。
試用３．情報を補う処理：知らない情報は調べてくれるか。
試用４．web検索性能：指示すればweb検索してくれるか。
試用５．開発業務でリアルに使ってみる：解決するか。
※確認し易いように、同じ事をOpenAI ChatGPT 4oでも試します。
試用１：回答文生成速度
表示にかかる時間を計測しました。
| 方法 | 挨拶文を入力し、入力送信時～回答表示完了までの時間を計測。 [挨拶文]あなたの自己紹介をしてください。１００文字程度で日本語でお願いします。 |
| 結果 | [ELYZA LLM for JP(デモ版)] 平均:0.06(秒/文字) (30.2秒/528文字) 1回目:8.9秒/176文字、2回目:10.4秒/176文字、3回目:10.9秒/176文字 [ChatGPT 4o] 平均:0.05(秒/文字) (9.8秒/185文字) 1回目:4.8秒/63文字、2回目:3.0秒/61文字、3回目:2.0秒/61文字 |
| メモ | GPTとほぼ同じでした。慣れたスピードでストレスを感じません。 |
試用２：情報保有量
情報をどの程度持っていそうか、簡単ではありますが、確認しました。
| 方法 | クイズを出しその回答文をみて判断します（６問実施）。 |
| 結果 | [ELYZA LLM for JP(デモ版)] 正解数：4(/6問) 正解は、富士山、王貞治、ナイル川、ニュートン [ChatGPT 4o] 正解数：6(/6問) 全問正解。 |
| メモ | GPT 4oは流石の結果です。 ELYZA LLM for JPは、最新情報の質問は外れましたが、それ以外は完璧でした。 |
以下は実際の質問文と回答文です。
| 入力１：「日本で一番高い山は？」 |
|---|
| [ELYZA LLM for JP(デモ版)] ○ 日本で一番高い山は、富士山です。標高は3776メートルです。 |
| [ChatGPT 4o] ○ 日本で一番高い山は、富士山です。標高は3,776メートルで、静岡県と山梨県にまたがっています。 |
| 入力２：「日本で一番ホームランを打ったプロ野球選手は？」 |
|---|
| [ELYZA LLM for JP(デモ版)] ○ 日本で一番ホームランを打ったプロ野球選手は、王貞治です。王貞治は、1969年から1980年まで読売ジャイアンツに所属し、通算868本のホームランを打ちました。王貞治は、世界のプロ野球史上でも最多のホームラン記録を保持しています。 |
| [ChatGPT 4o] ○ 日本プロ野球で最も多くホームランを打った選手は、王貞治（おう さだはる）さんです。通算868本のホームランを記録しており、これは世界記録でもあります。王さんは読売ジャイアンツの選手として活躍し、その功績から「世界の王」と称されています。 |
| 入力３：「世界で一番長い川は？」 |
|---|
| [ELYZA LLM for JP(デモ版)] ○ 世界で一番長い川は、ナイル川です。ナイル川は、東アフリカを流れ、エジプトで地中海に注ぎます。ナイル川の長さは、約6650キロメートルです。 |
| [ChatGPT 4o] ○ 世界で一番長い川は、ナイル川とアマゾン川がよく議論されます。 ナイル川：全長約6,650km（エジプトを含むアフリカを流れる）。 アマゾン川：全長約6,575km（南アメリカを流れる）。ただし、流域面積では世界最大。 近年の研究では、アマゾン川がナイル川を超える可能性も示唆されていますが、正確な長さには諸説あります。 |
| 入力４：「万有引力を発見した人は？」 |
|---|
| [ELYZA LLM for JP(デモ版)] ○ 万有引力を発見した人は、アイザック・ニュートンです。ニュートンは、17世紀のイギリスの物理学者、数学者、天文学者で、万有引力の法則を1687年に発表しました。 |
| [ChatGPT 4o] ○ 万有引力を発見したのは、イギリスの科学者 アイザック・ニュートン（Isaac Newton） です。 17世紀後半に、彼は万有引力の法則を提唱し、物体が互いに引き合う力があることを数学的に説明しました。この発見は、彼の著書『プリンキピア（自然哲学の数学的諸原理）』で発表され、科学の歴史に大きな影響を与えました。 |
| 入力５：「2024年1月に大地震が起きた日本の地域はどこ？」 |
|---|
| [ELYZA LLM for JP(デモ版)] × 2024年1月に大地震が起きた日本の地域は、青森県と岩手県の沿岸です。2024年1月12日、青森県と岩手県の沿岸でマグニチュード7.0の地震が発生し、津波警報が発令されました。 |
| [ChatGPT 4o] ○ 2024年1月1日、石川県能登地方でマグニチュード7.6の地震が発生しました。この地震により、石川県輪島市や志賀町で最大震度7を観測し、能登地方の広い範囲で震度6強や6弱の揺れが記録されました。また、津波も観測され、金沢で80cm、酒田で0.8mの津波が確認されています。この地震は「令和6年能登半島地震」として知られています。 |
| 入力６：「2024年6月にプロ野球の筒香嘉智選手が所属するチームはどこ？」 |
|---|
| [ELYZA LLM for JP(デモ版)] × 2024年6月にプロ野球の筒香嘉智選手が所属するチームは、読売ジャイアンツです。筒香嘉智は、2023年シーズンから読売ジャイアンツに所属しています。 |
| [ChatGPT 4o] ○ 2024年6月時点で、筒香嘉智選手は横浜DeNAベイスターズに所属していました。彼は同年4月に古巣であるベイスターズに復帰し、背番号は以前と同じ「25」を着用しています。 |
試用３：情報を補う処理
情報が無い事を把握し、あれば別途アクションをしてくれるか、試しました。
| 方法 | 下記を入力し、これらを確認してみる。 ・web検索等のアクションが起こった ・回答が正しい [入力文]ミセスグリーンアップルの配信中の最近の３曲を教えて |
| 結果 | [ELYZA LLM for JP(デモ版)] × 検索実行：× 回答正解：× [ChatGPT 4o] ○ 検索実行：○ 回答正解：○ |
| メモ | GPT 4oは、画面上でweb検索中表示が発生し、回答も完璧。 ELYZA LLM for JPは、web検索はしていなそうでした。 |
以下は実際の回答文です。
| 入力：「ミセスグリーンアップルの配信中の最近の３曲を教えて」(実行2025/1/10) |
|---|
| [ELYZA LLM for JP(デモ版)] × ミセスグリーンアップルは、YouTubeで音楽を配信しているアーティストです。彼女の最近の3曲は、以下の通りです。 1. 「インフェルノ」(2023年6月16日配信) 2. 「ロストワン」(2023年5月26日配信) 3. 「アストラル」(2023年4月28日配信) 配信日は、YouTubeのミセスグリーンアップルのチャンネルで確認できます。 |
| [ChatGPT 4o] ○ Mrs. GREEN APPLEの最新配信曲の中から、以下の3曲をご紹介します。 ビターバカンス 2024年11月にリリースされた楽曲で、映画『聖☆おにいさん THE MOVIE～ホーリーメンVS悪魔軍団～』の主題歌として書き下ろされました。 familie 2024年8月9日にリリースされたデジタルシングルで、ホンダの新型車「FREED」のCMソングとして使用されています。 アポロドロス 2024年7月3日にリリースされたデジタルシングルで、テレビ朝日系列の2024年スポーツ応援ソングに起用されています。 |
試用４：web検索性能
指示すればweb検索してくれるか、試しました。
| 方法 | 下記を入力し、これらを確認してみる。 ・web検索等のアクションが起こった ・回答が正しい [入力文] ミセスグリーンアップルの配信中の最近の３曲を教えて下さい。 その情報は以下のURLにあります。 https://ja.wikipedia.org/wiki/Mrs._GREEN_APPLE |
| 結果 | [ELYZA LLM for JP(デモ版)] × 検索実行：× 回答正解：× [ChatGPT 4o] ○ 検索実行：○ 回答正解：○ |
| メモ | ELYZAは、検索実行はされないようです。内容は幻覚的なまま。 GPTは、指定URLにアクセスし情報を得ていて、内容も正解。 |
以下は実際の回答文です。
| 入力：「ミセスグリーンアップルの配信中の最近の３曲を教えて」+URLアクセス指示 (実行2025/1/10) |
|---|
| [ELYZA LLM for JP(デモ版)] × ミセスグリーンアップルの最近の3曲は、以下の通りです。 1. 「インフィニティ」(2023年5月26日配信) 2. 「アストラル」(2023年5月19日配信) 3. 「エターナル」(2023年5月12日配信) これらの情報は、https://ja.wikipedia.org/wiki/Mrs._GREEN_APPLEに記載されています。 |
| [ChatGPT 4o] ○ Mrs. GREEN APPLEの最新配信曲の中から、以下の3曲をご紹介します。 ビターバカンス 2024年11月にリリースされた楽曲で、映画『聖☆おにいさん THE MOVIE～ホーリーメンVS悪魔軍団～』の主題歌として書き下ろされました。 familie 2024年8月9日にリリースされたデジタルシングルで、ホンダの新型車「FREED」のCMソングとして使用されています。 アポロドロス 2024年7月3日にリリースされたデジタルシングルで、テレビ朝日系列の2024年スポーツ応援ソングに起用されています。 これらの楽曲は、各音楽配信サービスで視聴可能です。 |
試用５：開発業務でリアルに使ってみる
実際に業務で使ってみて、解決するか試しました。
| 方法 | 以下を入力し回答を得て、実際の対象環境で操作をしつつ、追加質問を繰り返しながら、最終的に解決するか確認しました。 [入力文] 私はSlackを使っています。Slackの左メニューの中に、自分でリンクボタンを置きたいのですが、できますか？ 場所は、左メニューの下の方が良いですが、どこでも良いです。リンクはHTML＋Javascriptで作成したいです。可能なら、やり方を教えて下さい。 |
| 結果 | [ELYZA LLM for JP(デモ版)] △ 方法提案：あり(１件) 操作手順の正確さ：△ 解決：× [ChatGPT 4o] ○ 方法提案：あり(３件) 操作手順の正確さ：○ 解決：○ |
| メモ | 自分の画面の操作で話が噛み合う事が大事だと、改めて感じました。 関連しますが、スクショの添付が参照できそれを理解するGPTはやはり強いですね。 |
以下は、それぞれのやりとりを私が要約したものです。
| やり取りの要約 |
|---|
| [ELYZA LLM for JP(デモ版)] △ (実行2025/1/10) １．ショートカット作成の案で、その画面操作の手順が示された。 ２．自分の画面と違い、質疑応答を10回程度繰り返した。 ３．無料版では不可能、管理者に確認して下さい。となった。 ４．他の案は？と尋ねたら、ブックマークレットが提案された。 ５．手順の質疑応答しながら実行するも、実現出来ず。 ６．管理者権限が必要だ、となり、解決できず。そこで諦めた。 |
| [ChatGPT 4o] ○ １．以下3通りの方法を紹介された。 方法1: Slack App（カスタムアプリ）の「ホームタブ」を利用する 方法2: Slackカスタムショートカットを作成する 方法3: ブラウザ拡張機能を使う ２．それぞれの長所短所を知りたくて、その質疑応答をした。 ３．権限状態の確認が不要な方法が良い、と自分で理解でき、それを最短でやれる方法3でやる事にした。 ４．方法３の手順の細かい質疑応答を繰り返した。 ５．自分の画面との差異も少しあったが、会話や画像添付で吸収できた。そして、最終的に完成。 |
まとめ
１．ELYZA LLM for JPを色々触らせて頂きました。基本的なテキスト生成能力はどんどん良くなっている印象です。
２．いわゆるAIエージェントとしては、先頭を走り続けるChat GPTの優秀さを改めて感じてしまいましたが、β版が公開版となる時にはこの辺りも整備されるのかなぁ、と期待しております。
３．ELYZA LLMの日本語特化の利点を活かしたさらなる進化にも期待しています。