生成AIが急速に賢くなる一方、「インターネット上の文章を読み尽くせば、進歩は止まるのか」という疑問が広がっています。結論からいえば、人間が作った高品質な公開データには限りがありますが、AI開発そのものが行き詰まるわけではありません。今後の競争は、合成データを大量に作る力より、実データと組み合わせ、正しさを検証しながら学ばせる力へ移ります。
AIの学習データは本当に枯渇するのか？
枯渇が懸念されているのは世界の情報そのものではなく、大規模モデルの訓練に使いやすい高品質な公開データである。
大規模言語モデルは、ウェブページ、書籍、論文、プログラムコードなどから言葉の規則や知識の関係を学びます。モデルを大きくするほど多くの計算量とデータが必要になるため、従来は学習素材の規模を広げることが性能向上の有力な方法でした。
しかし、公開されていて、重複が少なく、一定の品質を持ち、権利面でも利用可能な文章は無限ではありません。さらに、ネット上には広告目的の量産記事、誤情報、個人情報、AIが生成した文章も混在し、集めた情報のすべてをそのまま学習には使えません。
Epoch AIの研究者らが2024年に改訂した論文は、現在の傾向が続けば、モデルが利用可能な公開人間テキストに匹敵する規模のデータで訓練される時期を2026～2032年と予測しました。これは予測であって「その年に文章が消える」という意味ではなく、従来と同じ拡大方法が限界に近づく可能性を示しています。
「データ不足」という言葉は、次の三つに分けると理解しやすくなります。
- まだ学習されていない高品質な公開文章が減る
- 著作権や契約のため、存在しても自由に使えない情報がある
- 多言語、専門領域、珍しい事例など、必要な部分ほど集まりにくい
つまり問題は、情報の総量よりも「目的に合い、出所が明確で、学習に使える情報」の不足です。データが枯渇するという表現だけが独り歩きすると、この違いを見失います。
合成データとは何なのか？
合成データとは、現実から直接収集した記録ではなく、生成AI、シミュレーター、数理規則などを使って人工的に作る学習用データである。
文章であれば、教師役のAIに問題と模範解答を作らせる方法があります。画像なら条件を変えた場面を生成し、ロボットや自動運転では仮想空間に多様な道路、天候、障害物を再現して、現実では危険な状況を繰り返し学ばせることができます。
合成データは、単なる「AIが書いた文章」の総称ではありません。開発現場では、目的と作り方によって主に次のような役割を持ちます。
- 少ない実例を言い換えや条件変更で補う
- 問題、解答、説明を一組にして推論手順を教える
- 珍しい事故や不正など、収集しにくい事例を再現する
- 個人を直接示さない形で、データの統計的特徴を模擬する
価値が生まれるのは、必要な能力を逆算してデータを設計できるからです。既存のウェブ情報を無差別に増やすのではなく、「何を学ばせ、どう正解を確かめるか」を先に決められる点が重要です。
合成データは無限でも、有用なデータは無限ではない
AIに文章や画像を作らせれば、ファイルの数だけは際限なく増やせます。しかし、同じ傾向の回答を言い換えただけなら、新しい知識はほとんど増えず、計算費用と重複だけが膨らみます。
有用な合成データには、難易度の調整、多様性の確保、誤答の除去、正解の検証が欠かせません。量産能力よりも、選別と評価の仕組みが性能を左右するため、合成データは「無料で湧く資源」ではなく、設計して精製する工業製品に近い存在です。
合成データはどこで成果を上げているのか？
合成データは、正解を機械的に確かめられる数学やプログラミングなどで、すでにデータ不足を補う有力な手段になっている。
AlphaGeometryは人間の解答例なしで学んだ
Google DeepMindが2024年に発表したAlphaGeometryは、幾何学の図形を大量に生成し、論理規則によって成り立つ関係を導き出しました。重複に近い例を除いた1億件の合成例を使い、人間による証明例なしで訓練した点が特徴です。
同社によると、2000～2022年の数学オリンピックから構成した幾何30問の評価で、AlphaGeometryは制限時間内に25問を解きました。幾何学では証明を規則で検証できるため、「大量生成した後に正しい例だけを残す」という方法が機能しやすかったのです。
小型モデルでもデータの質が効く
Microsoft Researchの研究者らが2023年に公表した「Textbooks Are All You Need」では、コード向けの小型言語モデルphi-1を、選別したウェブ上の教材とAIが作った教科書・練習問題で訓練しました。この研究は、モデルやデータを大きくするだけでなく、教材のように一貫した高品質データを作る方向を示しました。
二つの事例に共通するのは、生成した内容を無条件で信じていないことです。数学なら証明器、コードなら実行テストという外部の判定手段があり、合成データの誤りを見つけやすい領域ほど導入しやすくなります。
合成データだけで学ぶと何が起きるのか？
質を管理しない合成データで世代ごとの学習を繰り返すと、珍しい情報が失われ、誤りや偏りが増幅する「モデル崩壊」が起こり得る。
2024年に科学誌Natureへ掲載されたShumailov氏らの研究は、生成モデルの出力で次のモデルを再帰的に訓練すると、元データの分布の端にある情報が失われていく現象を示しました。多数派の典型例ばかりが残り、珍しい表現や少数の事例が消えていくため、表面上は自然でも内容の幅が狭くなります。
たとえば、AIが平均的な文章を作り、その文章を次のAIが学び続ければ、方言、専門家特有の説明、例外的な症例などが薄まる恐れがあります。誤った説明も、もっともらしく整えられて再利用されれば、出所を追えないまま学習データへ戻ってきます。
注意すべき兆候は次の通りです。
- 回答の言い回しや結論が似通い、多様性が失われる
- まれな事例や少数派の情報に弱くなる
- 生成元と根拠を追跡できず、誤りの修正が難しくなる
- 評価用の問題まで学習に混ざり、実力以上の点数が出る
ただし、合成データを使えば必ず崩壊するわけではありません。Gerstgrasser氏らが2024年の研究で示したように、元の実データを捨てて合成データに置き換えるのではなく、実データを残して新しいデータを蓄積する条件では、崩壊を避けられる可能性があります。
AI開発競争の勝敗はデータの設計で決まる
今後のAI開発では、計算資源とモデル規模に加え、独自の実データ、合成手順、検証装置を一体で運用する能力が競争力になる。
従来の開発競争では、高性能な半導体を大量に確保し、より大きなモデルへ膨大な公開データを投入する企業が有利でした。これからも計算資源は重要ですが、同じ公開情報を各社が学習すれば、データだけによる差はつきにくくなります。
そこで価値を持つのが、利用者から適切な同意を得た対話履歴、企業内の業務記録、専門家の判断、機器の測定値といった独自データです。そこへ合成データを加え、専門家や自動検証で品質を測れば、特定業務に強いモデルを継続的に改善できます。
競争軸は、次のように変わると考えられます。
- データ量から、重複や誤りを除いたデータ品質へ
- 一度の大規模学習から、利用結果を反映する継続改善へ
- 万能モデルだけでなく、業務に合わせた小型・専門モデルへ
- AI単独の採点から、専門家や外部ツールを使う検証へ
- 公開情報の収集から、出所と利用条件を管理するデータ基盤へ
ここで見落とせないのは、合成データを生む教師AIも、もとは人間の知識や記録から学んでいる点です。合成データは知識の複製、整理、練習問題化には強くても、未知の現実を観測して新事実を発見する役割までは代替できません。
日本企業は合成データをどう生かすべきか？
日本企業には、公開ウェブの量で競うより、現場に蓄積した固有データを整備し、限定された業務から合成データを使う戦略が現実的である。
製造現場の不良記録、設備保全、顧客対応、医療や介護の専門用語など、日本語の業務データには大きな価値があります。一方で、紙、画像、担当者の経験に分散し、学習可能な形になっていない情報も多く、AI導入前の整理が成果を左右します。
導入では、まず正解を判定しやすく、失敗時の影響を管理できる仕事を選ぶべきです。社内規程への質問、製品検査の補助、ソフトウェアのテスト作成などは、参照文書や判定基準を用意しやすく、人が最終確認する流れも組み込みやすい分野です。
実務では次の順序が重要になります。
- 実データの出所、権利、個人情報、更新日を確認する
- 不足する事例だけを合成し、生成条件を記録する
- 実データと合成データを分けて保存し、混合比率を管理する
- 現実の未使用データで評価し、専門家が誤りを点検する
- 運用後に生じた新しい実データを戻し、継続的に改善する
この流れなら、合成データは不足分を補う「増幅器」として機能します。反対に、整理されていない社内資料をAIに入れ、AIの回答を再び教材にするだけでは、誤りの循環を速める恐れがあります。
まとめ
AIの学習データ問題の本質は、情報が完全になくなることではなく、高品質で利用可能な人間由来の公開データを、従来の速度で増やし続けられないことである。
合成データは、希少な事例や練習問題を目的に合わせて増やし、AI開発を先へ進める有力な技術です。とくに正解を機械で検証できる領域では、数学やコードの事例が示すように、大量の人手データがなくても成果を上げられます。
一方、AIの出力だけで学習を回せば、多様性や例外が失われる危険があります。今後の開発競争を決めるのは、合成データの量ではなく、信頼できる実データを残し、出所を管理し、正解を検証できる仕組みです。