ToDo:
増田だったと思うんだけど、「ぼくは思ったよりかしこくなかった」的なのがあって、えーと内容を全て忘れてしまった。すべて忘れてしまった話で始めるのは人に読ませる文章としてはカスだが、ここは僕の個人的な記録です
まぁとにかく、「ぼくは思ったよりかしこくなかった」と感じている期間が、わりと最近、一定期間あって、なんかそもそも「かしこい」て……？なんだっけ、みたいになったが今、という話です。このあらすじでは意味不明な気がする。どこから書くと自分が満足できる表現になるのか、よくわからんので、適当に書く
「かしこい」ほうから書いてみよう。ぼくは「XXについてどう思う？」に対して、スラスラと「XXはほげほげ、ふがふが」と演説するように自分の考えを言える場合が、それなりに多い、と自認している。が、これなんでスラスラ言えるかっていうと、前もって考えてあったから、なんだよね。前もって自分のなかで考えてなかった質問に対するレイテンシは、高いことが多いと感じている。結構な時間無言になってしまって、「聞いてるの？」て怒られたりする。これが「ぼくは思ったよりかしこくなかった」
ただ、かしこいってなんなんだろうねえ。LLMのおかげで、本当に考えさせられる。5年前のぼくに、「BERTを巨大にすれば知性になるよ」と言ったら、「んなわけないやろ」となってたのは間違いない。でも今現在、ぼくはLLMを文句なく知性だと感じている。しかし実装を考えると、なめらかなテーブル引きと言っても、そんなに外してない程度のサムシングでねえ……
で、逆に、これもよく言われてることな気がするけど、人間側の「知性」とされてたものは、LLMと大差ないものだったんじゃないか、と。それが https://x.com/shinh/status/2025596504833237113 に書いた
事前学習含めて帰納的AIは全て「参照して答えているだけ」感がある （し、それこそが知性という気もする（ぷよぷよクソつよいmayahさんが 「ぷよぷよはテーブル引きしてるだけ」と言っていたので））
の感覚。「テーブル引き」は言葉強すぎて、離散indexから離散値取ってる印象が強いけど、ぷよぷよでも、たぶんなめらかな入出力感はある程度あると思う。まぁゲームなので最終出力は離散ではあるが
pretrain か in-context かは、エンジニアリング的には大きく違うものであるけど、できあがったものに関しては、大きく違うものかなぁ、どっちもなめらかなテーブル引きじゃん、という感覚がある。トレーニング (context あっためるのもトレーニングと呼ぶことにする) に関しては、 in-context の方は前向き学習だから、ある程度差があるだろうとは思うけど
えーと、ぼくがかしこいか否かにもどると、どうでもいいんだけど、前もってそういうテーブルを育てておくクセがついてることも含めて、かしこいと言ってもいいのかもなあ、みたいな気持ちになったりしている。 RLHF なり CoT なりした LLM はかしこいと感じるわけで、つまりぼくもそれをしてるんじゃん？などと
言いたいことは、1年くらい前はかしこいの定義とは？を人間を基準に LLM のかしこさを考えていたのだけど、最近のぼくは、 LLM を基準に自分のかしこさを評価をしているのである
(01:31)
↑を見せたら、文章と構成がカス、と言ってくれた。 LLM ちゃんが書きなおしてくれた文章が以下に。まぁたしかに言いたいことは残ってて、やるなあ
ぼくは「XXについてどう思う？」と聞かれると、わりとスラスラ自分の考えを言えるほうだと自認している。演説みたいに長々しゃべることもある。なので自分はそこそこ賢い側だと思っていた。
でもこれ、なんでスラスラ言えるのかというと、前もって考えてあったからなんだよね。
逆に、これまで自分の中で考えていなかった種類の質問に対しては、レイテンシがかなり高い。長い沈黙になってしまうこともあるし、「聞いてるの？」と怒られたこともある。つまりぼくは、即興で考える能力はそれほど高くない。
この自覚がしばらく前にあって、「ぼくは思ったより賢くなかった」と感じていた時期があった。
ただ、最近この感覚が少し変わった。LLMのせいである。
数年前のぼくに「巨大な言語モデルは知性に見えるようになる」と言ったら、「そんなわけない」と即答していたと思う。でも今のぼくは、LLMに対してかなり素直に知性を感じている。
しかし実装を考えると、LLMがやっていることは本質的には「なめらかなテーブル引き」と言っても、そこまで外れていない。巨大な事前学習で連想空間を作り、入力に応じてそこを参照して答えている。
そう考えると、人間の側で「知性」と呼ばれていたものも、実はこれと大差ないのではないか、という気がしてきた。
ぼくがスラスラ話せるのも、結局は事前に自分の中で考えを作っておいたトピックに限られる。つまりぼくの思考も、「あらかじめ育てたテーブルを参照している」だけと言えなくもない。
以前は、賢さの基準を人間に置いてLLMを評価していた。「人間みたいに即興で推論できないから本当の知性ではない」という方向で考えていた。
でも今は逆で、LLMを基準に自分を見ている。
LLMは事前学習と調整を経た結果として、文脈に応じて適切な出力を返す。それをぼくは知性だと感じている。ならば、事前に考えを育てておき、状況に応じてそれを参照して話しているぼくの思考も、同じ種類の知性と言ってよいのかもしれない。
ぼくは即興推論型の知性ではない。事前構築型の知性なのだと思う。
1年くらい前は、「人間の知性とは何か」を基準にLLMを眺めていた。最近のぼ くは、「LLM的な知性とは何か」を基準に自分を眺めている。
(01:33)
4+1/4歳と、0ヶ月
次子は、現段階では、ラク。長子の時の記憶が残ってないのだけど、ここまでラクではなかったような……？ミルク飲ませても寝ず騒ぐので、ゆらしている、みたいなのが今のところない。ただそれは2週間くらいから出るみたいな話だったかもしれない、よくわからない
育休というやつ、今回は公的なものを取っていない。前回1ヶ月で大きな問題を感じなかった(気がする)し、それなら普通に弊社有給たくさんあるので……でいけるという作戦。個人的に、旅行するのでなければ、長い休みを取りたいという嗜好がいっさいなくて、かなり事前に期間を決めて、連続して休む、という形態の育休に不満がある。基本出たとこ勝負ですべてを決めるタイプなので、「なんで子の特性もわかってない段階で休む期間を決められると思っているの？」みたいな気持ちを持っている。かりに事前申請を受け入れるとしても、毎週水曜は育休、みたいなのを許して欲しいよね。「事前にどの期間休むかわかってないと会社も困る」的な意見に対しては「会社ごときが個人の幸福に優先できると思ってるの？」という立場です
とはいえ長子の時の育休は有益な面もあった。単純に全てが始めてなので苦労したりムダに不安になったりなどもあったと思うし、なんかとにかくたくさん育児書ぽいやつ読んだり、 baba is you をやったり。育児書はもう、すこし読めば十分な時代だろうなぁ。普遍的かつ重要な基礎をふんわり把握さえすれば、あとは AI に相談すれば補強と拡張をやってくれると感じる
長子の方はやや赤ちゃん返り気味。が、もともとあまえんぼで、妻への依存が強かったので、いまのところ、この程度であれば、想定してた良いケースと平均ケースの間くらい。これもまぁ今後どうなるかはわからんが……
長子、「4人家族やだ、3人がよかった」「パパ死んじゃえ」など、それはいかがなものか……な発言をするようになってきたけど、気のせいでなければバツの悪そうな雰囲気を出すし、少し時間をおけばそういう過激発言と矛盾した発言をするしで、これはこれで成長だよなぁ、などと思っている。つまり4歳児が、40をわりと過ぎた人間に、言語だけでもやっとしたものを作れるのは、これはすごいことだと感じる。もちろん公共の場で暴れるなどの手段で、ぼくを困らせるということは、ずいぶん前からできていると思うのだけど、言語だけで、ていうあたりに、やるなぁと
ほっこりする系の発言は無限にあるが
みたいな現代的なやつは特にたのしい
ネット検索やらAIやらで、「子のこういう状態は対処をした方が良いものか」などを頻繁に調べ、おおむね「まぁ特に対処いらんな」となるのだけど、幼稚園のよく会うおやごさんや、子の従兄弟の親と話すと、当然ながら似たようなことが起きていて、より安心感を得られる。科学的、あるいは統計学的な思考を指向したいと思っている身としては、「身近の2,3サンプルよりさぁ……」な気持ちは常にあるのだけど、そんな人間でも、よく話す親御さんの体験は重視してしまう。まぁそういうもんなんだろうなぁ
(00:34)
_ https://en.wikipedia.org/wiki/Killing_of_Alex_Pretti
_ この話、基本的には左派はもちろん右派も批判に回りがちな話題だけど
_ と、いろいろあり、右派が右派的主張を全部取りにくくて、ちょっと面白いなと
_ (09:04)
https://arxiv.org/abs/2601.03220
面白そうな話だけど、多分に相対的な指標なので、厳しいものがありそうかなぁ。モデルやロスや学習アルゴリズムに依存する時点で、しんどそう
関連して、プログラムや手順を出すのもアリというルールで、圧縮率だけをロスにして、なんてことを、もやもやと考えたけど、まぁ普通に測れない
(15:19)
かなりサボっていたが、4歳ちょい
意外な変化としては、ママがいない状態でも「文句を言い、スローダウンするが、機能する」くらいになった。例えばママがいなくても、普段のスケジュールからちょっとずれたくらいのタイミングで、飯食って歯を磨いて寝る、みたいなやつができるようになった。冗長性の確保という観点ですばらしい。ママはちょっとさみしそうではある。が、ママ最強は不動ではある
おもちゃで遊ばなくなり、ひたすら折り紙なりなんなりをごにょごにょしている。おかげで、節目のプレゼントなどで、なにをあげれば良くわからん感じにはなっている。折り紙やらなにやらは、ひいきめもあると思うけど、なかなか速いなあとか、なかなか丁寧に作るなあとか、そういう感心がある
足し算やひらがなや、そのへん、そのへんは、まぁそんなもんかなぁ、という感じである。わりとできるようだったり、あやしかったり。まぁマイペースでねえ、くらいの気持ちなので、そのへんはなんでも良いのだけど、「間違っているかもしれないこと」を言いたがらないのは、気になっている。間違ったことを言うこと、間違ったとわかったらなるはやで間違ったねと言うこと、みたいなのは意識しているつもりではあるのだけど、そもそも子はまだ、あらゆることに絶対的な正解が欲しいタイミングで、ふにゃふなした返答はまだ不適切なのかもしれない
折り紙やらハサミの運用で、器用になったというのもあるけど、アスレチック的な遊具で割といろんなことができる程度に、体をうまく使えるようになったというのもある。補助輪つきの自転車の補助輪を外した時の挙動を見ると、はて……という感じで微妙な感じなんだけど、ブランコでも、それ以外の遊具でも、なんか思うよりちゃんとしてるなあ、と。あまり覚えていないが、自分の幼児時代て、もっととんでもなくどんくさかったと思うんだよなぁ、的な
言語の運用は、すごいなぁ、と思うことも多い。特に感動したのは「もう知らないになっちゃった」。「忘れた」の意であるが、そう、こういう知ってる語彙で喋るやつができれば、僕ももうちょい、英語喋れた気がするんや！的な
よくいわれる「あれはなに」的なのも出てきてたのしい。最近は「Xはどう作るの？」がよく出る。知っているがうまく説明できない、あるいはそもそも知らないかあやふや、が多く、やはり大変
スマホのカメラを渡すと、以前は被写体が写っている画面を相手に向ける、つまり結果として子自身を撮ることが多かったのだけど、最近は被写体が写っている画面を自分に向けるようになった。なんかこのへんサリーとアンの話と関係あるんかなぁ、とぼんやり思っているんだけど、特に確認はしていない
さいきんは長年苦労していた便秘もなくなって、すばらしい状態だが、そろそろとりあえずオムツは外せよとは思っている
(02:48)
(09:28)
https://www.bbc.com/news/articles/cy83958r2d0o
なんかかなり興味深い人たちだなーと。もちろん悪い意味で。反AIその他、いろいろ先鋭的な主張がいろいろあるけど、なんかそれとはあまり関係なく(本人たちは犯行当時はその主張にそって行動しているのだとは想像するけど)、かなりどうしようもない種類の犯罪、家賃払わず、大家襲ったり殺したり、をして今に至る、みたいな感じか
連合赤軍とかに通じるものがあるなぁと。かれらの「暴力革命しかない」という論理に立ってもかれらの行動(仲間殺し)はどうしようもなく正しくなかったと、かれら自身が後から認めているわけで、このひとたちもそういう反省はする気はする？的な。連合赤軍の方が、最初の方は警察襲ったり、かれらの論理からすれば「正しい」行動をしてインパクトを与えていた(一般的な観点からすればもちろん「悪い」インパクトではあるが)ので、マシな感もある
(20:52)
| 前 | 2026年 2月 |
次 | ||||
| 日 | 月 | 火 | 水 | 木 | 金 | 土 |
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
全てリンクフリーです。 コード片は自由に使用していただいて構いません。 その他のものはGPL扱いであればあらゆる使用に関して文句は言いません。 なにかあれば下記メールアドレスへ。
_ ma [一姫二太郎でいいね、と思ったけどパパしんじゃえは草]
_ shinh [今はいっときの感情で言ってるんでしょうけど、そのうち本心から言われるようになるんですかね]