はじめてのにき

_ LLM に思ったこと

しばらくバブルが続きそうで、労働者としては何より。個人の興味的には AI バブルは終わって別のバブルが起きて欲しかった。残りはポエム的な話

NMT を見て、「あ、これは面白そう」と思ってチーム移って、ニューラル翻訳について思ったのは

https://twitter.com/shinh/status/797982306564587521

にあるように、「マンガに出てくるような学位とか取ってる系の7歳くらいの子。活字中毒でなんでもよく知ってるけど、発言に困ると「ニュースぽいから【ロイター】てつけちゃえ」みたいな知ったかぶりをはじめる」だった。データ量やモデルが良くなったのはあるけど、この認識は LLM に至ってもあまり変わっていない。いやまぁこれだけのことができるようになるんだなぁ……という感嘆はもちろんあるし、 ChatGPT 普通に使ったりしているけど

結局、論理というか、「確実に正しいものを積んでいって非自明なものを生む」というプロセスの不在が気にいらないんだよな。自然科学って基本的に、なんか世界に対する観測事実があって、それをモデル化して、そこから演繹してくと色々便利です、という話だと思うんだけど、計算機科学は、モデル化あたりまで人間が勝手にできる、つまり世界を好き勝手に作れるところが魅力だと思ってたのだけど、今 AI と呼ばれている、帰納的な AI はそれがないんだよな。「AI が何故こんなに賢いのか？」を人間が考えないといけないというのは、まさに自然科学ぽい

別に自然科学が嫌いというわけではないし、帰納的な AI が大手をふるってくれると僕の労働環境的にも都合が良いのだけど、でもやっぱ論理と抽象化を積む所業を AI にやってもらいたさがあるんだよなぁ

個人的には、現世代の帰納的な AI を論理で補強するとか、そこまでいかなくても、帰納的な AI の研究により論理やら計算やらについてわかることが増える、という、ということを期待してたのだけど、今の雰囲気的には帰納的な AI と、人類の理解の差は開いていきそうという感じ

まぁそれはそれでいいんだけど……ブラックボックスのまま人類が利用してきたことなんていくらでもあるし……ただまぁ、ルールを人間が作ってるところからくる全知全能感が計算科学の魅力のひとつだったのだけど、自然科学ぽくなってしまうんだなぁ、という感じだろうか

(01:11)

_ いや

step-by-step など、論理的なものを獲得してるぽいという話があるので、論理が無い、というのは言いすぎなんだろう。その論理が確率的に運用されてるのがもにょるところなんだけど、ただ人間も別に論理間違えるからと言われると、だんだんと哲学的な話になっていく

(13:41)