GPT-5の開発

Gigazinの2024根n12月24日の記事では、Open-AIの次世代モデルである「GPT-5」の開発が遅れているというWSIのニュースを取り上げている。それに対してはCEOのアルトマンがXに皮肉を飛ばしている。

いわば「GPT-4」と「GPT-5」の間には、壁があるようで、ここを乗り越えることで新たな境地に到達できるのかもしれない。

生成AIを使ったことがある人の多くは気が付いていることだが、既存のAIは間違った情報を事実であるかのように断言してしまう幻覚（ハルシネーション：hallucination）の問題を抱えている。

一般にAIモデルはトレーニングに用いるデータが多ければ多いほど性能が高くなるとされており、これまでOpenAIはインターネットからスクレイピング（scraping：削り取る）したニュース記事やSNSの投稿、科学論文などのデータを使用していた。

しかし、それでは他のAIに対する優位性を保つことはできないし、現状の品質をブレイクスルー（Breakthrough）することはできない。

そこで必要になったのが「より多様で高品質なデータセット」ということ。

そこでOpenAIは、自らの手でゼロからデータを作成するという手法を採用し、数学者やプログラマーを雇用し難問を多様に説かせて、推論モデルを構築しようとした。

GPT-4は推定13兆ものトークンでトレーニングしたのに比べて、そのような手法では1000人が1日あたり5000語を書いたとしても10億トークンを生成するのに数カ月もかかってしまうため、別のAIモデルが生成したデータを組み合わせているとのこと。

将棋ソフトのポナンザ（Ponanza）を作った山本一成さんも、ポナンザを強くするためにポナンザ同士を戦わせたりしていたとのことだし、ロボット博士の古田貴之さんも、仮想空間に何千体のロボットを何万世代に課題を与えて進化せるというような手法を使っていたようだ。

つまり、人間を超えるには、人間に頼っていては「人間の壁」を超えられるはずはない。

結局、トレーニングを開始すると「学習データが思っていたほど多様ではなく、学習が制限される可能性がある」という問題が露呈したようだ。

「more-is-more(トレーニングデータが多いほどAIモデルの性能が高くなる)」の戦略の限界が見えてきた。明確な有意性を持たない限り、生成AIは莫大なコストがかかるのに、価格競争へと入っていかざるを得ない。そうなれば、資金力で市場が決まることになってしまう。

ここから先は「推論」エンジンの完成度が勝負どころになっていく。

将棋ソフトの成田さんは「物ごとを要素に分解して個々の要素を理解し、最終的に要素を再集合させれば全体がわかるという還元主義の考え方は、理解すべき要素のボリュームが人間の脳には苦しい」とのことを言っていますが、まさに、その還元主義に壁が現れてきていて、生成AIも苦しい所に来ているようです。

現在のコンピュータサイエンスでは、解釈性を放置して性能向上を追求しているのが現状。機械学習を使って解釈性・説明性を上げることは可能であるが、むしろこのようなチャレンジは終わった段階に入ったということ。

将棋ソフトにおいて名人が指した手を「わかる」ことはできない。おそらく名人も経験からくる直感で、その手を指しているわけで、そのことの意味を分かろうとするより、その手がいかに有効かを数値化することの方が重要である。

現状はチューリングテストをクリアした段階であるけれど、これから先は指数的に成長していくと思われる。そうなれば人間の使う英語だの日本語だのは無駄な言語であって、生成AIにとって有効な言語に人間が馴染んでいくことが効率の良い思考を支えるようになるだろう。

なぜなら、おおよその言語には矛盾や無駄や慣習、慣用が少なからず含まれており、非論理的な会話を持って良しとするような場面も少なからずある。それらを内包することで言語的に濁るよりも、エスペラントのような、論理性のみを追求する言語にしていく方が合理的である。

つまり、人間にとっての道具であったはずが、生成AIの提供する知識を人間の知性とする時代になっていくことは必至である。

AIが人間の天才たちを凌駕しており、将棋や囲碁においては、まさにそうなってしまっている。