はじめてのにき

_ Mojo

https://docs.modular.com/mojo/

うーむ。なんかこうプログラム言語を楽しく思う気持ちがすりへってしまっているな。 swift ではなにがダメだったんだろう

(15:04)

_ LLM に思ったこと

http://shinh.skr.jp/m/?date=20230326#p01

では使う方面側だったので、技術よりな感想

パラメータを増やせば性能が上がる、というのは、かなり楽しくない。速いメモリがたくさん必要です、以上のことにならないので……特に学習側はどうなんだろうねえ。推論の方はマシというか、バカみたいにあるパラメータを圧縮する話になると、学習側も楽しそうではある

圧縮と言っても、データ圧縮がんばるぞ、てよりは、現状の LLM だと、少ないパラメータ量をコスパ良く使うような構造を発見するところからなんだろうけど……方向性としていろいろありそうだけど

• CNN みたいな再利用。画素みたいに自明な方向はないので、同じ重みを複数のチャンネルグループに使う、とかなのかねえ
• 重みを明示的に再利用する。 RNN 以外であまりうまくいったイメージがないけど
• factorize する系
• 重みがあるのはしょうがないが、条件次第で読まない。つまり MoE
• それ系で言うとやっぱ決定木的なやつとのハイブリッドをやって欲しいけど。決定木って圧縮効率高いよねえたぶん

データ圧縮がんばるぞ系でいうと、本質的に符号と仮数部がおおむねランダムなので、なんというか難しいよな。いや非可逆圧縮は単に仮数分の下捨てればいいのはシンプルなんだけど。えーと例えば、指数部が小さいデータの仮数部は捨てる、とかどうなんだろう

(16:43)