はじめてのにき

_ AIに書いてもらった世迷い言

ひさびさにゴルフしてたら、自分の妄想をまとめたくなってきた。が、自分でやるのはバカバカしいので、AIにやってもらった

率直に言ってたのしい。以下生成された文章。ChatGPTは僕を豊かにしてくれた。ありがとうありがとう。。

エントロピーは「どれだけ冗長さを削れるか」という共通通貨になる。量子力学を情報と確率で見直すと、波動関数（粒子の取りうる状態をすべて振幅で束ねたもの）が現象の最小コスト符号で、Holevo bound（1 qubit から取り出せる古典情報量の上限）が示すように、測定で得られるのは多くても 1 bit。測定によって失われる自由度が、物理が請求するエントロピーの支払いだ。

シャノンは 1950 年ごろ、英語のエントロピーを「1 単語あたりざっくり 1 bit程度」と見積もった。いまの大規模言語モデル（LLM）は学習後のクロスエントロピーがトークン当たり 1〜2 bit まで下がり、この古い下限に漸近している。つまり巨大なパラメータ空間がテキストをほぼシャノン極限まで圧縮している計算だ。ただしパラメータは連続値で、明示的な制御構造が外からは見えにくい。分岐に相当する機能は擬似的に用意されていて、Mixture-of-Experts（MoE、入力に応じて一部のサブネットだけ動かす仕組み）や attention（重要なトークンだけを重み付けする仕組み）が if 文の役をこなすが、繰り返しを明示するループや再帰は依然として内部に存在しない。

ここでプログラミング言語の「圧縮用の抽象化手段」が効いてくる。if 文は場合分けを短く書くランレングス圧縮、ループや再帰は繰り返しをまとめる辞書圧縮、高階関数は「パターンのパターン」を束ねるメタ圧縮だ。型システムは変数の取りうる状態を事前に限定し、エントロピーを静的に削る仕組みでもある。コードゴルフが数文字で仕様を満たせるのは、こうした圧縮技法を極限まで突き詰めているからだ。

物理法則は究極の圧縮のひとつだ。たとえば「電磁場をすべて記述する四つの式である Maxwell 方程式」は、光や電波、電子回路のふるまいをわずかな数式に畳み込み、膨大な観測データを再現できる。ニュートンの運動方程式やアインシュタインの E=mc^2 も同じく、世界を極短のソースコードで生成しているとみなせる。

もし AI が連続パラメータに加えて、こうした離散的なプログラム構造、特に今欠けているループや再帰、を中間層に取り込めば、量子計算の「振幅（連続）＋ゲート列（離散）」に近いハイブリッド形式になる。ここでは“圧縮後の長さ”を測る物差しとして 統一 Kolmogorov 複雑性を持ち出す余地があるかもしれない。連続と離散の両方を扱えるモデルなら、量子情報、圧縮、プログラミング言語、深層学習を同じエントロピー軸で比較できる。

最終的には、こうしたプログラム内蔵型 AI が物理法則を含むさまざまな知識を最小限の記述でまとめ直す方向に進むんじゃないかな、と思う。その先で、情報と物理と知能をひとつに結ぶ大統一理論が見えてくるかもしれない。

(09:14)