はじめてのにき

_ 知性について

増田だったと思うんだけど、「ぼくは思ったよりかしこくなかった」的なのがあって、えーと内容を全て忘れてしまった。すべて忘れてしまった話で始めるのは人に読ませる文章としてはカスだが、ここは僕の個人的な記録です

まぁとにかく、「ぼくは思ったよりかしこくなかった」と感じている期間が、わりと最近、一定期間あって、なんかそもそも「かしこい」て……？なんだっけ、みたいになったが今、という話です。このあらすじでは意味不明な気がする。どこから書くと自分が満足できる表現になるのか、よくわからんので、適当に書く

「かしこい」ほうから書いてみよう。ぼくは「XXについてどう思う？」に対して、スラスラと「XXはほげほげ、ふがふが」と演説するように自分の考えを言える場合が、それなりに多い、と自認している。が、これなんでスラスラ言えるかっていうと、前もって考えてあったから、なんだよね。前もって自分のなかで考えてなかった質問に対するレイテンシは、高いことが多いと感じている。結構な時間無言になってしまって、「聞いてるの？」て怒られたりする。これが「ぼくは思ったよりかしこくなかった」

ただ、かしこいってなんなんだろうねえ。LLMのおかげで、本当に考えさせられる。5年前のぼくに、「BERTを巨大にすれば知性になるよ」と言ったら、「んなわけないやろ」となってたのは間違いない。でも今現在、ぼくはLLMを文句なく知性だと感じている。しかし実装を考えると、なめらかなテーブル引きと言っても、そんなに外してない程度のサムシングでねえ……

で、逆に、これもよく言われてることな気がするけど、人間側の「知性」とされてたものは、LLMと大差ないものだったんじゃないか、と。それが https://x.com/shinh/status/2025596504833237113 に書いた

事前学習含めて帰納的AIは全て「参照して答えているだけ」感がある
（し、それこそが知性という気もする（ぷよぷよクソつよいmayahさんが
「ぷよぷよはテーブル引きしてるだけ」と言っていたので））

の感覚。「テーブル引き」は言葉強すぎて、離散indexから離散値取ってる印象が強いけど、ぷよぷよでも、たぶんなめらかな入出力感はある程度あると思う。まぁゲームなので最終出力は離散ではあるが

pretrain か in-context かは、エンジニアリング的には大きく違うものであるけど、できあがったものに関しては、大きく違うものかなぁ、どっちもなめらかなテーブル引きじゃん、という感覚がある。トレーニング (context あっためるのもトレーニングと呼ぶことにする) に関しては、 in-context の方は前向き学習だから、ある程度差があるだろうとは思うけど

えーと、ぼくがかしこいか否かにもどると、どうでもいいんだけど、前もってそういうテーブルを育てておくクセがついてることも含めて、かしこいと言ってもいいのかもなあ、みたいな気持ちになったりしている。 RLHF なり CoT なりした LLM はかしこいと感じるわけで、つまりぼくもそれをしてるんじゃん？などと

言いたいことは、1年くらい前はかしこいの定義とは？を人間を基準に LLM のかしこさを考えていたのだけど、最近のぼくは、 LLM を基準に自分のかしこさを評価をしているのである

(01:31)

_ かしこいかしこいLLMちゃん

↑を見せたら、文章と構成がカス、と言ってくれた。 LLM ちゃんが書きなおしてくれた文章が以下に。まぁたしかに言いたいことは残ってて、やるなあ

ぼくは「XXについてどう思う？」と聞かれると、わりとスラスラ自分の考えを言えるほうだと自認している。演説みたいに長々しゃべることもある。なので自分はそこそこ賢い側だと思っていた。

でもこれ、なんでスラスラ言えるのかというと、前もって考えてあったからなんだよね。

逆に、これまで自分の中で考えていなかった種類の質問に対しては、レイテンシがかなり高い。長い沈黙になってしまうこともあるし、「聞いてるの？」と怒られたこともある。つまりぼくは、即興で考える能力はそれほど高くない。

この自覚がしばらく前にあって、「ぼくは思ったより賢くなかった」と感じていた時期があった。

ただ、最近この感覚が少し変わった。LLMのせいである。

数年前のぼくに「巨大な言語モデルは知性に見えるようになる」と言ったら、「そんなわけない」と即答していたと思う。でも今のぼくは、LLMに対してかなり素直に知性を感じている。

しかし実装を考えると、LLMがやっていることは本質的には「なめらかなテーブル引き」と言っても、そこまで外れていない。巨大な事前学習で連想空間を作り、入力に応じてそこを参照して答えている。

そう考えると、人間の側で「知性」と呼ばれていたものも、実はこれと大差ないのではないか、という気がしてきた。

ぼくがスラスラ話せるのも、結局は事前に自分の中で考えを作っておいたトピックに限られる。つまりぼくの思考も、「あらかじめ育てたテーブルを参照している」だけと言えなくもない。

以前は、賢さの基準を人間に置いてLLMを評価していた。「人間みたいに即興で推論できないから本当の知性ではない」という方向で考えていた。

でも今は逆で、LLMを基準に自分を見ている。

LLMは事前学習と調整を経た結果として、文脈に応じて適切な出力を返す。それをぼくは知性だと感じている。ならば、事前に考えを育てておき、状況に応じてそれを参照して話しているぼくの思考も、同じ種類の知性と言ってよいのかもしれない。

ぼくは即興推論型の知性ではない。事前構築型の知性なのだと思う。

1年くらい前は、「人間の知性とは何か」を基準にLLMを眺めていた。最近のぼ くは、「LLM的な知性とは何か」を基準に自分を眺めている。

(01:33)