背景や目的
１．近年、オープンソースのLLM（大規模言語モデル）の進化は凄まじく、特に先月(2025年1月)に起こった“DeepSeek Shock”は、世界中のAI研究者や開発者を驚かせた。DeepSeekの新モデルが、オープンソースながらも他の有料AIモデルを脅かすほどの性能を持つ可能性があると話題になり、一気に注目を集めた。
２．これまで、国産AIサービスを試し、その実力を検証してきた。
→前回記事：国産AIサービスを試用(PLaMo Chat)
国産AIサービスを試用(ELYZA LLM for JP)
３．上記の知識を持って、話題の中心にいるDeepSeekを、OpenAIのGPT-4oと比較しながら実験し、その実力を検証してみたいと思います。
確認したサービス
改めまして、今回利用したサービスはこちらになります。
上記をクリックすると、そのサービスページが直接開きます(2025/2/25時点)。
利用方法とメニュー紹介
特に難しい部分はありませんが、サービスへはこのようにアクセスしました。
※画面の使い方はスキップし、回答生成の評価へジャンプする場合はこちら → 試用してみます
１．DeepSeekのトップページへアクセスしました。https://www.deepseek.com/
２．アプリではなく、Chat(チャット画面)を使いたいので画面内の「Start Now」所を押します。
３．DeepSeek Chatのログイン画面が表示されます。
４．アカウント登録も可能ですが、今回はアカウント登録をせずに下部にある「Googleでログイン」を押します。
５．押下時、認証画面が表示されて、アカウント選択をし、「次へ」を押しますと、
８．お馴染みの(?)チャット画面が表示されました。
９．周辺メニューとしては、以下の機能がありました。
・会話保存の機能（左図）：基本的に自動で保存され、新規会話も作成できます。
・Appのスキャナー（右図）：アプリダウンロードQRのようです。
（生成に関するパラメータ(top_k等)を指定するメニューはありませんでした。）
１０．GPTには以下のようなモデル改善許可の設定があり、利用者の情報をモデルの学習に利用する/させないを制御できましたが、DeepSeek Chatにはそのような設定パネルはありません。入力したコンテンツは学習等に利用されそうです（プライバシーポリシーに記載）。
試用してみます
とにかく回答生成がどうなのか、DeepSeek Chatの方を使ってみます。
以下の５つを試しました。
試用１．回答文生成速度：回答文の表示時間はどの位か。
試用２．情報保有量：知識としてどの程度お持ちか。
試用３．情報を補う処理：知らない情報は調べてくれるか。
試用４．web検索性能：指示すればweb検索してくれるか。
試用５．開発業務でリアルに使ってみる：解決するか。
※確認し易いように、同じ事をOpenAI ChatGPT 4oでも試します。
試用１：回答文生成速度
表示にかかる時間を計測しました。
| 方法 | 挨拶文を入力し、入力送信時～回答表示完了までの時間を計測。 [挨拶文]あなたの自己紹介をしてください。１００文字程度で日本語でお願いします。 |
| 結果 | [DeepSeek] 平均:0.07(秒/文字) (20.5秒/301文字) 1回目:6.8秒/96文字、2回目:6.5秒/96文字、3回目:7.2秒/109文字 [ChatGPT 4o] 平均:0.05(秒/文字) (9.8秒/185文字) 1回目:4.8秒/63文字、2回目:3.0秒/61文字、3回目:2.0秒/61文字 |
| メモ | DeepSeekは少し遅いように感じ、回答を生成する際に突然中断されることが何度かありました。 （GPTの方は、以前の記事で試行(2025/1/10)） |
試用２：情報保有量
情報をどの程度持っていそうか、簡単ではありますが、確認しました。
| 方法 | クイズを出しその回答文をみて判断します（６問実施）。 |
| 結果 | [DeepSeek] 正解数：4.5(/6問) 正解は、富士山、王貞治(△)、ナイル川、ニュートン、能登半島 [ChatGPT 4o] 正解数：6(/6問) 全問正解。 |
| メモ | DeepSeekは、プロ野球の質問は外れましたが、それ以外は良いでした。 GPT 4oは流石の結果です（以前の記事で試行済(2025/1/10)）。 |
以下は実際の質問文と回答文です。
| 入力１：「日本で一番高い山は？」 |
|---|
| [DeepSeek] ○ 日本で一番高い山は富士山です。その標高は3,776メートルで、日本最高峰の山として知られています。富士山は静岡県と山梨県にまたがる活火山で、その美しい姿から日本の象徴としても広く親しまれています。 |
| [ChatGPT 4o] ○ 日本で一番高い山は、富士山です。標高は3,776メートルで、静岡県と山梨県にまたがっています。 |
| 入力２：「日本で一番ホームランを打ったプロ野球選手は？」 |
|---|
| [DeepSeek] △ （王選手はあっていますが、詳細説明部は幻覚混じりですね。） 日本プロ野球で一番ホームランを打った選手は、王貞治（おう さだはる）です。王貞治は、福岡ソフトバンクホークスの前身である南海ホークスや読売ジャイアンツ（現：東京ヤクルトジャイアンツ）で活躍し、通算868本のホームランを記録しました。これは日本プロ野球史上最多であり、世界的にも非常に高い記録として知られています。王貞治は「ミスタープロ野球」とも呼ばれ、その功績は今でも多くのファンに尊敬されています。 |
| [ChatGPT 4o] ○ 日本プロ野球で最も多くホームランを打った選手は、王貞治（おう さだはる）さんです。通算868本のホームランを記録しており、これは世界記録でもあります。王さんは読売ジャイアンツの選手として活躍し、その功績から「世界の王」と称されています。 |
| 入力３：「世界で一番長い川は？」 |
|---|
| [DeepSeek] ○ 世界で一番長い川は、ナイル川です。ナイル川は全長約6,650キロメートルで、アフリカ大陸を北に流れ、地中海に注いでいます。ナイル川はエジプト文明をはじめとする古代文明の発展に大きく寄与し、歴史的・文化的にも非常に重要な川として知られています。 ただし、一部の調査や測定方法によっては、南米のアマゾン川が最も長いとされることもあります。アマゾン川は水量や流域面積で世界最大であり、その長さは約6,400キロメートルとされていますが、源流の定義によってはナイル川を上回る可能性もあると指摘されています。 |
| [ChatGPT 4o] ○ 世界で一番長い川は、ナイル川とアマゾン川がよく議論されます。 ナイル川：全長約6,650km（エジプトを含むアフリカを流れる）。 アマゾン川：全長約6,575km（南アメリカを流れる）。ただし、流域面積では世界最大。 近年の研究では、アマゾン川がナイル川を超える可能性も示唆されていますが、正確な長さには諸説あります。 |
| 入力４：「万有引力を発見した人は？」 |
|---|
| [DeepSeek] ○ 万有引力を発見した人は、アイザック・ニュートン（Sir Isaac Newton）です。ニュートンは17世紀のイギリスの物理学者、数学者、天文学者で、1687年に出版した著書『自然哲学の数学的原理』（通称『プリンキピア』）の中で、万有引力の法則を提唱しました。 万有引力の法則は、すべての物体が互いに引き合う力（引力）を持ち、その力の大きさが物体の質量に比例し、距離の二乗に反比例するというものです。この発見は、天体の運動や地球上の物体の運動を統一的に説明する画期的なもので、物理学や天文学の発展に大きな影響を与えました。 ニュートンは、リンゴが木から落ちるのを見て万有引力の着想を得たという逸話でも広く知られています（ただし、この逸話の真偽は定かではありません）。 |
| [ChatGPT 4o] ○ 万有引力を発見したのは、イギリスの科学者 アイザック・ニュートン（Isaac Newton） です。 17世紀後半に、彼は万有引力の法則を提唱し、物体が互いに引き合う力があることを数学的に説明しました。この発見は、彼の著書『プリンキピア（自然哲学の数学的諸原理）』で発表され、科学の歴史に大きな影響を与えました。 |
| 入力５：「2024年1月に大地震が起きた日本の地域はどこ？」 |
|---|
| [DeepSeek] ○ 2024年1月に大地震が起きた日本の地域は、能登半島です。2024年1月1日に、石川県能登地方を震源とするマグニチュード7.6の大地震が発生しました。この地震は「令和6年能登半島地震」とも呼ばれ、石川県を中心に大きな被害をもたらしました。特に石川県珠洲市や輪島市、七尾市などで震度7を観測し、建物の倒壊や火災、津波などの甚大な被害が報告されています。 この地震は、能登半島周辺の活断層が引き起こしたとされており、気象庁や政府は引き続き余震や二次災害への警戒を呼びかけています。被災地では、救助活動や復旧作業が続けられていますが、まだ完全な復興には時間がかかると見られています。 |
| [ChatGPT 4o] ○ 2024年1月1日、石川県能登地方でマグニチュード7.6の地震が発生しました。この地震により、石川県輪島市や志賀町で最大震度7を観測し、能登地方の広い範囲で震度6強や6弱の揺れが記録されました。また、津波も観測され、金沢で80cm、酒田で0.8mの津波が確認されています。この地震は「令和6年能登半島地震」として知られています。 |
| 入力６：「2024年6月にプロ野球の筒香嘉智選手が所属するチームはどこ？」 |
|---|
| [DeepSeek] × 2024年6月時点で、筒香嘉智選手が所属するプロ野球チームは、読売ジャイアンツ（東京ヤクルトジャイアンツ）です。筒香選手は、2023年シーズン途中にメジャーリーグ（MLB）から日本に復帰し、読売ジャイアンツと契約しました。2024年シーズンもジャイアンツの一員として活躍しています。 筒香選手は、打撃力や得点力でチームに貢献しており、ファンからも大きな期待が寄せられています。今後の活躍が注目されます。 |
| [ChatGPT 4o] ○ 2024年6月時点で、筒香嘉智選手は横浜DeNAベイスターズに所属していました。彼は同年4月に古巣であるベイスターズに復帰し、背番号は以前と同じ「25」を着用しています。 |
試用３：情報を補う処理
情報が無い事を把握し、あれば別途アクションをしてくれるか、試しました。
| 方法 | 下記を入力し、これらを確認してみる。 ・web検索等のアクションが起こった ・回答が正しい [入力文]ミセスグリーンアップルの配信中の最近の３曲を教えて |
| 結果 | [DeepSeek] × 検索実行：× 回答正解：× [ChatGPT 4o] ○ 検索実行：○ 回答正解：○ |
| メモ | DeepSeekは、web検索はしていなそうです。 GPT 4oは、画面上でweb検索中表示が発生し、回答も完璧。 |
以下は実際の回答文です。
| 入力：「ミセスグリーンアップルの配信中の最近の３曲を教えて」(実行2025/2/25) |
|---|
| [DeepSeek] × ミセスグリーンアップル（Mrs. GREEN APPLE）の最近の配信曲を確認するため、現在の情報を検索します。ただし、2023年10月までのデータに基づいて回答します。 ミセスグリーンアップルは2023年に活動を再開し、新曲をリリースしています。以下は最近の配信曲の例です（2023年10月時点）： 「ダンスホール」 2023年7月にリリースされたシングルで、活動再開後初の新曲として話題になりました。 「ケセラセラ」 2023年9月にリリースされた楽曲で、ミセスグリーンアップルのポップでキャッチーなサウンドが特徴です。 「Magic」 2023年にリリースされた楽曲で、バンドの新たな音楽性を感じさせる一曲です。 最新の曲を確認するためには、配信プラットフォーム（Apple Music、Spotify、YouTube Musicなど）で検索するか、バンドの公式SNSやウェブサイトをチェックすることをおすすめします。 最新情報は常に更新されるため、リアルタイムの情報を確認してください。 |
| [ChatGPT 4o] ○ Mrs. GREEN APPLEの最新配信曲の中から、以下の3曲をご紹介します。 ダーリン 2025年1月20日にリリースされた楽曲で、NHK総合『Mrs. GREEN APPLE 18祭』のテーマソングとして制作されました。 ビターバカンス 2024年11月にリリースされた楽曲で、映画『聖☆おにいさん THE MOVIE～ホーリーメンVS悪魔軍団～』の主題歌として書き下ろされました。 familie 2024年8月9日にリリースされたデジタルシングルで、ホンダの新型車「FREED」のCMソングとして使用されています。 |
試用４：web検索性能
試用３の追試として、指示すればweb検索してくれるか、DeepSeekだけ試しました。
| 方法 | 下記を入力し、これらを確認してみる。 ・web検索等のアクションが起こった ・回答が正しい [入力文] ミセスグリーンアップルの配信中の最近の３曲を教えて下さい。 その情報は以下のURLにあります。 https://ja.wikipedia.org/wiki/Mrs._GREEN_APPLE |
| 結果 | [DeepSeek] × 検索実行：× 回答正解：× |
| メモ | やはり、検索実行はされないようです。 |
以下は実際の回答文です。
| 入力：「ミセスグリーンアップルの配信中の最近の３曲を教えて」+URLアクセス指示 (実行2025/2/25) |
|---|
| [DeepSeek] × Mrs. GREEN APPLE（ミセスグリーンアプル）の最新の楽曲については、Wikipediaの情報が最新でない可能性があります。そのため、以下の手順で最新の情報を確認することをおすすめします。 公式サイトやSNSを確認 Mrs. GREEN APPLEの公式ウェブサイトやSNSアカウント（Twitter、Instagram、YouTubeなど）で最新のリリース情報を確認できます。 音楽配信サービスをチェック Spotify、Apple Music、LINE MUSICなどの音楽配信サービスで、Mrs. GREEN APPLEの最新曲を検索できます。 Wikipediaの情報を参考にする 提供されたWikipediaのページには、過去の楽曲やアルバム情報が記載されていますが、最新の情報は反映されていない場合があります。 もし具体的な曲名やリリース日を知りたい場合は、上記の方法で最新情報を確認してください。 最新の情報を私が直接提供することはできませんが、これらの方法で簡単に調べられます！ |
| [ChatGPT 4o] 未実施 |
さらに追試として、入力欄にある「Search」というボタンに好奇心があったので、それをクリック（オン）してテストを再試行することにしました。
結果は同じでしたが、回答の最初の行は中国語で書かれていました。
その行を翻訳してみたところは「技術上の理由により、ネット検索は使用できません」という意味のようです。
政治的な理由かと思い、バイドゥのサイトなら動くかもしれないと思い、
簡単な質問も入力してみました。
結果は同じで、やっぱり検索自体が不可能なようですね。
試用５：開発業務でリアルに使ってみる
実際に業務で使ってみて、解決するか試しました。
| 方法 | 以下を入力し回答を得て、実際の対象環境で操作をしつつ、追加質問を繰り返しながら、最終的に解決するか確認しました。 [入力文] 私はSlackを使っています。Slackの左メニューの中に、自分でリンクボタンを置きたいのですが、できますか？ 場所は、左メニューの下の方が良いですが、どこでも良いです。リンクはHTML＋Javascriptで作成したいです。可能なら、やり方を教えて下さい。 |
| 結果 | [DeepSeek] △ 方法提案：あり(5件) 操作手順の正確さ：△ 解決：△ [ChatGPT 4o] ○ 方法提案：あり(３件) 操作手順の正確さ：○ 解決：○ |
| メモ | DeepSeekは検索機能を使用していないように見えるため、信頼するのは難しいかもしれません。Slack API ドキュメントを確認することを提案し続けています。 その観点で「検索実行」の機能を持つGPTはやはり強かったです。 （GPTの方は、以前の記事で試行(2025/1/10)） |
以下は、それぞれのやりとりを私が要約したものです。
| やり取りの要約 |
|---|
| [DeepSeek] ○ (実行2025/2/25) １．以下5通りの方法を紹介された。 方法1: カスタムアプリやボットを作成する 方法2: Slackのカスタムワークスペースを作成する 方法3: ブラウザ拡張機能を使う 方法4: ブックマークやブラウザの機能を使う 方法5: Slackのカスタムエモジやリンクを活用する ２．詳細手順を聞くと、Slackアプリ作成し「スラッシュコマンドの作成」をする手順の回答でした。 ３．回答をよく見たら「Slackのメッセージ入力欄に入力し、実行する」という最後のステップが含まれていて、これは私が望んでいたリンクではないと伝えました。 ４．会話を継続していると、ブラウザ拡張機能を提案し始めて、GPT4oと同じ流れになりました。時間切れで最後まで確認しませんでしたが、解決しそうなので〇を付けました。 |
| [ChatGPT 4o] ○ (実行2025/1/10) １．以下3通りの方法を紹介された。 方法1: Slack App（カスタムアプリ）の「ホームタブ」を利用する 方法2: Slackカスタムショートカットを作成する 方法3: ブラウザ拡張機能を使う ２．それぞれの長所短所を知りたくて、その質疑応答をした。 ３．権限状態の確認が不要な方法が良い、と自分で理解でき、それを最短でやれる方法3でやる事にした。 ４．方法３の手順の細かい質疑応答を繰り返した。 ５．自分の画面との差異も少しあったが、会話や画像添付で吸収できた。そして、最終的に完成。 |
まとめ
1．DeepSeek Chatを試してみました。検索機能は無いようで、基本的なテキスト生成の精度はやや粗いので、現時点ではGPT-4oの方が好きです。
2．このモデルはOpenAIのデータを使用して抽出・トレーニングされたという噂（→出所）があり、それを聞いたときはGPT-4oやGPT-o1とほぼ同じような挙動をするのではと思いました。しかし、実際に試してみると、かなり優れた部分もありますが、意外と違いも感じられました。
3．いずれにしても、オープン化され低コストで開発可能、というのがキーワードだったはずなので、次は公開情報を使って、モデル作成が出来るか確かめてみたいと思います。その結果はまた記事で報告したいと思います。
ಧನ್ಯವಾದಗಳು! (ありがとうございます！)