はじめてのにき

_ Psyho さん

マラソン会の万年レジェンドみたいな人(たぶんなんか20年くらいトップクラスみたいな感じ？)が最近ツイッターに色々アドバイスを書いていて面白い。これはすごく長い総論的なやつ

https://twitter.com/FakePsyho/status/1605570944537280512

最近、 optuna みたいなハイパラ自動最適化に否定的ということを知り、その指摘はなるほどなぁと。ハイパラはおおむね素直な挙動をするからグリッドサーチで十分で、それを自分でやらないことで問題を理解するチャンスを失なっているから損だ、という話らしい

https://twitter.com/FakePsyho/status/1631275687058219010

一理あるような気がして、なるほどなーと思っていたのだけど

https://twitter.com/ToastUz/status/1631783993560694784

の反論がより腑に落ちた。たしかに Psyho さん無限に時間使えドンドンアイデア試せ、と言うてるんですが、そんなにアイデアって無限に湧かないんだよな……

(13:38)

_ 重み圧縮

去年一番楽しかった論文はたぶんこれ

https://arxiv.org/abs/2212.09720

重みの低精度化のトレードオフを、 int とか float とか、色んなフォーマットで試しているやつ。おおむね、筋悪そうというか情報の密度低そう、というやつは微妙になっていて、それなりに密度高そうなやつはだいたい似たような精度になる、という雰囲気だったと理解している

B/F 比は悪くなるばかり、モデルは大きくなる、ということを仮定すると、重みはドンドン圧縮していくべきという話になるという気がする。圧縮って最終的には「元のデータを出せるプログラム」という形になると思っているんだけど、そういう感じになっていったりするのかな

重みの持つ総情報量とか、なんか定義して考えられないもんだろうか

(16:07)