はじめてのにき

_ 冬休み中に目に入ったもの

• nanogpt speedrun: https://github.com/KellerJordan/modded-nanogpt
• cnn with forward forward: https://arxiv.org/abs/2312.14924
• barracuda: https://www.usenix.org/system/files/usenixsecurity25-horvath.pdf

(09:28)

_ zizians

https://www.bbc.com/news/articles/cy83958r2d0o

なんかかなり興味深い人たちだなーと。もちろん悪い意味で。反AIその他、いろいろ先鋭的な主張がいろいろあるけど、なんかそれとはあまり関係なく(本人たちは犯行当時はその主張にそって行動しているのだとは想像するけど)、かなりどうしようもない種類の犯罪、家賃払わず、大家襲ったり殺したり、をして今に至る、みたいな感じか

連合赤軍とかに通じるものがあるなぁと。かれらの「暴力革命しかない」という論理に立ってもかれらの行動(仲間殺し)はどうしようもなく正しくなかったと、かれら自身が後から認めているわけで、このひとたちもそういう反省はする気はする？的な。連合赤軍の方が、最初の方は警察襲ったり、かれらの論理からすれば「正しい」行動をしてインパクトを与えていた(一般的な観点からすればもちろん「悪い」インパクトではあるが)ので、マシな感もある

(20:52)

_ excel-esports

microsoft excel は esports らしい

https://excel-esports.com/

(20:53)

_ openai

が google に負けそう、みたいな話で、一世を風靡した新興企業が既存大企業に結局負けるって話、意外と無い？と思った。 univac が ibm に……くらいしか思いつかなかったけど、 chatgpt に聞いたら netscape が出てきて、おおこれはなるほど、という感じだった

今から openai の失墜が始まるとすると、この世の春を謳歌した期間が3年くらい、というのも一致するぽい

(19:52)

_ コードフォーマッタ嫌い

gofmt 以来のコードフォーマッタ文化、好きでないなぁ、と。実利とされるのは「些細なことの議論に時間を使わないよう、フォーマットを強制してしまおう」というところだろう。しかしそんなの、「lint に通ってる限り、常識の範囲で細かいスタイルのレビューに時間使うな」で良くない？と。 lint に通るヤバいコードを投げる常識外な人はもちろん存在するけど、それはなんかどちらにせよ問題が起きるので、採用や議論での工夫はどっちにせよ必要なのでは？と。なので相手を選べないし教育/同調コストをかけられない OSS とかだとフォーマッタ欲しいのは理解できる

フォーマッタは、 diff を見づらくするなど、若干実用的な不便もあると思ってるんだけど、そのへんは割愛して、実利から遠い、宗教に近い話をしたい

ミーティングなんかで、例えばバリバリの関西弁で話してる人がいて、標準語で話せと、とがめる人はいないと思う。空白や改行どこに入れるかみたいなやつって、それと同じような話じゃないのと、思うんだよねえ。そのくらいある程度、自分が良いと思うやりかたに自由にやらせてよと

たまに聞く反論の「コードを読んでる時にフォーマットの揺れで思考が持っていかれる」は、ほぼほぼウソだと思っていて、フォーマッタが指摘しない揺れでもっと思考が持ってかれるものはいくらでもあって、例えば python だと [fn(x) for x in xs] と list(map(fn, xs)) とか。あるいは変数名とかね

コードの個性がある的な話で、楽しいと思った件を2つほど

• 何年だったか前に @tanakmura さんと同僚になったのは、長年のファンとしては、かなり嬉しかったのだけど、彼が書いたコードを見たときに、「わーなかむらさんやんけ」て実感したりした
• みつなりさんに聞いた「コードは全部アセンブリだけど、レジスタ使う順番やクセで、誰が書いたコードか判別できた」という話

僕は動作するプログラムと同じかそれ以上に、コード自体が好きなので、いろんなコードを見るのが好き。なのでフォーマッタに楽しみを奪われてる感も感じる。なんとなく、自転車の補助輪をつけられている的な不愉快さを感じるんだよな……

同じような不快さは、素晴らしい型システム、自分が体感したものだと Haskell と Rust 、にも感じるんだけど、アンチフォーマッタ以上に大手をふって歩ける主張ではない (し、まぁ僕も特に Rust は普通に好き)

(16:19)

_ code-golf

https://www.kaggle.com/competitions/google-code-golf-2025/discussion/611311#3301582

を見ると

Google Deepmind Code Golf is not code golf! It is code golf + algorithm golf + domain golf!

とか書いてあって、下を見ると、もともとその3つひっくるめてコードゴルフなんだよ！！というかメインはアルゴリズム！！！という気持ちになったんだけど、まぁなんか一つ目の文法トリックだけがゴルフと考えられてるってのは、なんかむかしから、よくあるなぁと

(14:54)

_ インターネット

fb にせよ x にせよ、まぁそれらはあまりマジメに見てないが、他人のブログやらなんやら含めて、なんにせよ、あまり友人知人的なやつのなんやらを見ない生活が続いている。どのくらいだ？少なくとも10年以上？よくわからん。記憶が腐っているので

これはよく考えると異常な状態である。15年以上前か？もうよくわからんが、僕は要するにネットストーカーだったはずである。つまり、この人は面白いことを書いている、と思ったが最後、その人のブログ的なやつが存在するなら過去ログを全て読み (これは徹夜とかで済む話ではなく、場合によっては数日かかる) 、しかるのちに、はてなアンテナと、それだけでは捕捉できないサムシングがあったので、自作のアンテナ的なやつにひっかけ、うんぬん、かんぬん

なんでそういうの見るの、やめたんだろうな。わりと理由は謎である、いや、たぶんそんなに謎ではない。単純に僕の日常に、僕が満足できる程度の技術的な刺激がもたらされた、というのは妥当な話ではある。つまり、そういうブログやらなんやら見なくても、まわりにうじゃうじゃそういうのいるじゃん、と。まぁでもそういう話よりは、自分の劣化というか、こう、知識への貪欲さへの消失みたいな、そういうのを感じるかなぁ

くっそ久々に、いろいろ見た感じ、半分くらいが見られなくなっているなあ、という感じだった。残り半分のうち半分は、よくわからなくて、残った1/4くらいは、あいかわらずという感じでほっこりというか、そんな感じだった

いろいろとあったけど、とりあえず、ABAさんが徹頭徹尾ABAさんで幸せな気持ちになった

(01:53)

_ 政局

というのは楽しいのだなぁ

最近躍進した党は正直きつい気持ちしかないけど、自民が弱くなるとエンタメ性が上がるというメリットがあったと

あと最近、どんなに好きでない言動をする政治家であっても、だいたいそういう人たちのスーパーセットがアメリカ大統領をやっているので、「まぁアメリカよりマシだしいいか……」みたいな気持ちになれて、これも意外なメリット

(17:19)

_ 親バカ日記

生後何ヶ月で数えるのはもう無理、そろそろ4歳ですね、というタイミング

幼稚園の夏休みは、いつもはお昼のあとからであった、預かり保育を一日中やる感じで、子はあまり好きでないようで、イヤがっていたかわいそうだった。いじめられたりするんかいな、とちょっと気になったりもしたけど、話す感じでは、預かり保育に不満があるというよりは、家にいたり、幼稚園のカリキュラムの時間や、幼稚園のクラスやその担任が好きなようだ、というのが僕の理解。たぶんだけど

ママといる > 僕と外出 = 家にいる = 幼稚園 > あずかり保育

くらいの式が成立してるくらいと想像している。真ん中は気分で大小関係が変わるくらいの

最近そればかり書いている気がするけど、頭が良くなってきているなぁ、と。もう何回か書いてそうだけど、「あ、そういう頭の使いかたできるんだ！あれより先なんだなぁ」的な感じで、予想から外れるところで「おおっ」となる感じがある

直近の例。幼稚園には行きはバスだが、帰りは預かり保育があるので、パパかママが迎えに行く。当然子はママが来てほしい。パパが行くと、許されることもあるが、うじうじと言うこともある。今週頭、僕はカゼをひいて寝ていて、そのあとだいたい回復したころ。「でもパパまだ風邪だから、今日のお迎えママだね」。もちろんせつなくはあるが、ママがいいーとわめくのは日常すぎて慣れていることもあり、「おおーそういう論理の運用できるんだなぁ」的な感心の方が強かった。同じく風邪の時に使ってた布団を僕が干しているのを見て、「なんでおふとん外に置いてるのー」「風邪ひいてたから……(ウィルスを説明する言葉に悩んでごにょってる)」「せきでよだれが出てよごれちゃったの？」書いてみるとどうでもよいな。がなんか、おお、推論しているねえ、とぼくは感じたのだった

そういうちょっとしたことがいろいろとあり、3-4歳くらいで頭脳系イベントで感心しそうなことというと、ひらがなと数字なんだけど、そういうわかりやすいところとちょっとずれたところで、プチ感心させられることが多いなぁ、などとなっていたのだった

それとは別に、ひらがなと数字も、ごく最近、それぞれなんかちょっと成長を感じたり

ルールを覚えてゲームをやる、みたいなのがイマイチ噛み合わなくて、かくれんぼとかすると謎のゲームになったりしていたのだけど、なんかちゃんと成立するようになっていたり。その手のルールを教える的なやつは、感覚としては、幼稚園つえーなーと感じたりもしている。保育園もすごいなぁ、と思っていたけど、幼稚園もすごいねえ。特に担任の先生へのなつきっぷりがすごくて、すごいなぁ、などと

オムツは外れてない。あと便秘もこじらせている。ちょっと心配だけど、排泄以外に心配ごとはないし、比較的平和な心配だなぁ、と

(02:39)

_ 伝言ゲーム

QuizKnock面白いなーと時々見るんだけど

https://www.youtube.com/watch?v=a34NUi4P6_o

が面白かった

ちょっと考えると、ちょっと似たようなことをやったことがあった

https://shinh.hatenablog.com/entries/2014/03/18

なんか割と、制限プログラミングとヘンなクイズとか、お互い交換可能なアイデアが結構あるのかも

(13:25)

_ AIに書いてもらった世迷い言

ひさびさにゴルフしてたら、自分の妄想をまとめたくなってきた。が、自分でやるのはバカバカしいので、AIにやってもらった

率直に言ってたのしい。以下生成された文章。ChatGPTは僕を豊かにしてくれた。ありがとうありがとう。。

エントロピーは「どれだけ冗長さを削れるか」という共通通貨になる。量子力学を情報と確率で見直すと、波動関数（粒子の取りうる状態をすべて振幅で束ねたもの）が現象の最小コスト符号で、Holevo bound（1 qubit から取り出せる古典情報量の上限）が示すように、測定で得られるのは多くても 1 bit。測定によって失われる自由度が、物理が請求するエントロピーの支払いだ。

シャノンは 1950 年ごろ、英語のエントロピーを「1 単語あたりざっくり 1 bit程度」と見積もった。いまの大規模言語モデル（LLM）は学習後のクロスエントロピーがトークン当たり 1〜2 bit まで下がり、この古い下限に漸近している。つまり巨大なパラメータ空間がテキストをほぼシャノン極限まで圧縮している計算だ。ただしパラメータは連続値で、明示的な制御構造が外からは見えにくい。分岐に相当する機能は擬似的に用意されていて、Mixture-of-Experts（MoE、入力に応じて一部のサブネットだけ動かす仕組み）や attention（重要なトークンだけを重み付けする仕組み）が if 文の役をこなすが、繰り返しを明示するループや再帰は依然として内部に存在しない。

ここでプログラミング言語の「圧縮用の抽象化手段」が効いてくる。if 文は場合分けを短く書くランレングス圧縮、ループや再帰は繰り返しをまとめる辞書圧縮、高階関数は「パターンのパターン」を束ねるメタ圧縮だ。型システムは変数の取りうる状態を事前に限定し、エントロピーを静的に削る仕組みでもある。コードゴルフが数文字で仕様を満たせるのは、こうした圧縮技法を極限まで突き詰めているからだ。

物理法則は究極の圧縮のひとつだ。たとえば「電磁場をすべて記述する四つの式である Maxwell 方程式」は、光や電波、電子回路のふるまいをわずかな数式に畳み込み、膨大な観測データを再現できる。ニュートンの運動方程式やアインシュタインの E=mc^2 も同じく、世界を極短のソースコードで生成しているとみなせる。

もし AI が連続パラメータに加えて、こうした離散的なプログラム構造、特に今欠けているループや再帰、を中間層に取り込めば、量子計算の「振幅（連続）＋ゲート列（離散）」に近いハイブリッド形式になる。ここでは“圧縮後の長さ”を測る物差しとして 統一 Kolmogorov 複雑性を持ち出す余地があるかもしれない。連続と離散の両方を扱えるモデルなら、量子情報、圧縮、プログラミング言語、深層学習を同じエントロピー軸で比較できる。

最終的には、こうしたプログラム内蔵型 AI が物理法則を含むさまざまな知識を最小限の記述でまとめ直す方向に進むんじゃないかな、と思う。その先で、情報と物理と知能をひとつに結ぶ大統一理論が見えてくるかもしれない。

(09:14)