低価格AIモデルが市場を席巻し、計算能力の限界効用はすでに底を打ったのか。今年初めに登場したDeepSeekは、多くの企業家を活気づけ、AIアプリケーションの時代がついに到来すると考えさせた。しかし、一ヶ月が経過した今も、「大量のAIアプリケーションの開花」は見られない。その間に何が足りなかったのか。実は、DeepSeekに対する見方は楽観的すぎたのかもしれない。台湾大学電気工学科の李宏毅教授は、DeepSeekの意義は企業がAIを理解し、アプリケーションのイマジネーションを刺激することにあると分析している。
DeepSeekと以前のAIモデルとの違いについて、李教授はDeepSeek-R1の大きな特徴として推論プロセスを公開していることを挙げている。R1はDeepSeekが発表した推論モデルであり、同社の現在最も有名なAI製品だ。ユーザーはR1との対話中に、モデルがどのように段階的に問題を考え、検証し、最終的に回答を生成するかを観察できる。李教授は「どのように考えているかを教えてくれ、時には自分の元の考えを否定することさえある...平たく言えば、『脳内劇場』のようなものだ」と表現している。
DSはAIが人間の誘導なしに「思考を学習できる」ことを証明
このような反省や検証の能力は「reasoning(推論)」と呼ばれるが、R1が初めてではない。昨年8月にOpenAIが最初の推論モデル「Strawberry(ストロベリー)」を発表し、同社が昨年末に発表したo1正式版は、R1登場以前、世界最強の推論モデルであった。
しかし、OpenAIのモデルはオープンソースではなく、外部からその内部動作を理解することが難しい。o1の中には思考と検証を担当する異なるモデルがあり、最終的に一つの答えにまとめられるのではないかという議論もあった。一方、R1は回答を生成する前に思考プロセスを公開しており、これが研究者がAIの進化プロセスを理解するのに役立っている。
OpenAIのモデルはオープンソース化されておらず、外部からその内部動作を理解することが困難である。(資料写真、AP通信)
さらに重要なのは、R1が強化学習(Reinforcement Learning, RL)のみを通じて、大量の人工的なラベル付けデータを準備することなく、自己反省と推論能力をモデルに持たせることができることを証明したことだ。
従来のAIトレーニングプロセスは3段階に分かれており、最後には人工的なラベル付けデータを使用してファインチューニング(fine-tune)を行い、AIの「学習」を助ける必要があった。しかし、研究者はAIが「どのように思考能力を生み出すか」を明確に理解していなかった。今回、DeepSeekはファインチューニングプロセスを経ずにR1をリリースしたにも関わらず、様々なベンチマークテストでo1に近い性能を示した。
(関連記事:
DeepSeekの奇襲で2億ドルが蒸発!中国が米国のビッグ・テック7社を複製中
|
関連記事をもっと読む
)
騙されないで:オープンソースは完全な透明性を意味せず、DSのコストは深刻に過小評価されている
李教授によれば、DeepSeekの成果により研究者は「reasoningを実現するためには強化学習だけで可能である」ことを知ることができた。彼らの発表から、チームは強化学習、つまりRLの方法だけを通じて、モデル自体がこの種の推論・検証能力を持つようになることがわかる。
しかし李教授は、DeepSeekチームの成果は「ファインチューニングがなくても非常に悪くはないかもしれないが、ファインチューニングがあればさらに良くなる」ということだと警告している。彼は、ユーザーが最もよく使用するR1も、後のトレーニングを経てからリリースされていると指摘する。
DeepSeekはオープンソースとして知られているが、すべてのトレーニングデータを公開しているわけではない。これは、DeepSeekの成果を完全に複製するには、まだ隠れたリソースと技術的障壁があることを意味している。李教授は、技術報告書がDeepSeekの一部の動作方法を説明していても、「どのようなトレーニングデータを使用したかは教えていない」と指摘している。トレーニングデータの非公開は、一方では自社の技術的優位性を保護するためであり、他方では著作権問題も含まれる可能性がある。
DeepSeek社が訓練に600万ドル未満しかかからなかったと主張していることについては、多くの半導体専門家とAI学者がこれを覆し、公表されたトレーニングコストは「最後の微調整の計算コストのみ」である可能性があると述べている。李教授は、あるモデルの成果を再現するために必要なリソースそのものが資源格差を形成していると考えており、「たとえ8000枚だけ必要だとしても、ほとんどの人はそれを用意できず、さらには借りることもできない」と述べている。
台湾の公共計算能力プールとDeepSeekの「ハードウェア」の差
DeepSeekが使用したと称する2048枚のH800と比較して、台湾政府が構築した公共計算能力プール、国家高速ネットワーク計算センターの「晶創台湾プロジェクト」は96枚のH100と128枚のH200を持つのみで、「DeepSeekを複製する」には遠く及ばない。
DeepSeekの登場は各チームが容易に複製できることを意味するわけではないが、モデル開発に新しいアプローチをもたらした。従来のデータトレーニングとファインチューニングの他に、一部の研究者は非伝統的なモデル開発方法を探り始めている。例えば、モデル融合(model merging)は、異なるモデルのパラメータを融合させ、ユニークな能力を持つ新しいモデルを作り出す。李教授は一つの事例を共有している:「DeepSeekの中で最小のモデルと、国家科学技術委員会が開発した繁体字中国語モデルTAIDE(台徳)を、model mergeの方法で直接融合させた人もいる」。
(関連記事:
DeepSeekの奇襲で2億ドルが蒸発!中国が米国のビッグ・テック7社を複製中
|
関連記事をもっと読む
)
国家実験研究院の「晶創台湾プロジェクト」はNvidia H100が96枚、Nvidia H200が128枚のみである。写真はNvidia H100チップ。(資料写真、Nvidia公式サイトより)
国際間で激化するAIモデル競争に直面し、多くの専門家や学者は、台湾が独自の特徴を持つAIモデルをどのように開発すべきかを考えるべきだと考えている。これについて、李宏毅は、台湾独自のモデルを開発するかどうかを議論する前に、「実はまずベンチマークを行うべきだ」と提案している。
企業の上級管理職はAIについてより包括的に理解する必要がある
「現在のモデルがあなたが必要とする能力をすべて実現できないことを確認してから(始める)べきだ。おそらく現在すでにできるモデルがあるかもしれない!もし既存のモデルができるなら、実際には自分のモデルを開発する必要はない」と李教授は強調する。まず明確な目標とアプリケーションシナリオを設定し、既存のモデルに対してベンチマークテストを行い、既存のモデルが要件を満たせないことを確認してから、リソースを投入して独自開発を進めるべきだとしている。
DeepSeekの登場はAI分野に新たな可能性をもたらした。多くの論争や安全上の懸念がある中でも、そのオープンソースの特性とユニークな技術的アプローチは、依然としてAI技術の発展を推進し、社会のAIに対する想像力を刺激している。李教授は、企業の上級管理職がAIについてより包括的に理解することが、AIの効果を発揮する鍵だと考えており、社会のDeepSeekへの高い関心が企業の変革を推進することを期待している。
李教授は次のように例えている:「それはまるで、あなたがナイフを持っているけれど切るものがない状態で、誰かがより鋭いナイフをくれても、まだ切るものがないようなものだ」。AIを使用するのは個人と企業であり、ユーザー自身がAIの能力をより明確に理解してこそ、アプリケーションの面で考えを巡らせ、AIをより良く活用できるのだ。