大規模言語モデルの不思議

大規模言語モデル（LLM）は、ニューラルネットワークという機械学習システムに基づいている。「自己修正アルゴリズム」を構成することで、文中で次に出現する確率の最も高そうな単語を膨大な統計解析から選び出すパラメータを自らが修正して最適化をしていく仕組み。

「自己修正アルゴリズム」がこのように広範な能力を獲得することで、司法試験でも優秀な成績を収めるようになってきた。

生成AIは、実世界に関するある種の表象を自分で作り上げるようになっている。大規模言語モデルが表面的な統計解析を超えた内的複雑さを発達させていると考えられる。そのことによって、人間でいう「理解」の領域に到達していると考えられるようになった。

なぜなら、「理解」することが最善の方法であるというレベルに到達していると言えそうだからだ。

システムが「知的」になる以外に方法がない。これらの能力を「創発」的ということができる。「創発」とは、たくさんのニューロンが果たしている役割に近似しているとも言えそうだ。

要素が膨大である場合には、規則（ルール）がなければ渾沌（カオス）になるのが今までの解釈であったが、ニューロンには自己組織化という仕組みがあって知性を創発している。

システムは、その意味で「演繹」によって秩序を形成していたが、「大規模言語モデル」は「帰納」によって最適解を見つけるための自己修正を積み重ねることにより演繹的ルールを創発することができるようになっている。

2017年にグーグルは「Transformer」を発表し、2018年にTransformerを用いたBERTを世に出した。BERTは国語の文章題で空欄補充を解くようにして「注意の向け方」を学習する。そんなBERTを追い越したのがGPTだった。

BERTは事前学習が精度に直結したが、GPTは、そのままでもタスクをこなすことができ事前調整することでさらに精度を上げることができた。

一般にニューラルネットワークは規模が大きくなりすぎると「過学習」になり正答率が落ちるとされていたが、GPTでは言語の理解度も上がっている。しかも、教師なしで正解を探す方法について教師を不要にしている点が解明されていない。

人が作ったシステムなのに、ヒトに理解することができない振る舞いをしている背景に、言語処理には通常は文法があって単語に意味がありという風に「演繹的」なやり方が通常であったが、大規模言語モデルは「帰納的」の言語処理をしていることが、人間の理解を超える振る舞いにつながっているとされているとされている。

そもそも、言語にはルールからの逸脱も許容する面があり、また、人間は言語のルールをすべて習得しているわけでもないのに会話や文書が成立していることを考えれば大規模言語モデルの振る舞いにも通じるものがある。

fMRI（磁気共鳴機能画像装置）を使って、人が解いたのと同じ課題を大規模言語モデルにも解かせてニューラルネット内部のベクトルと比較する研究がされている。

AIを十分に理解することで、さらなる進化が望めると同時に、人間の脳の働きも違う視点から解明が進むことが期待されている。

Ponanza（ポナンザ）を開発した山本一成さんが、「自己修正アルゴリズム」によって書き換えられるパラメータが理解不能だと何かに書いていたことを思い出した。AIが「到達」することに意志による目的はなく、最適化を極めることで「到達」せざるを得ないのだと思う。

それは、AIにおいてごく自然なことで、そこが人間と根本的に異なる能力のような気がする。