はじめてのにき

_ 親バカ日記

17ヶ月

保育園に行くようになり、月ごとの差分が小さくなってきていた昨今としては、非常に大きな変化となった

最初の1週間は、到着すると大泣き、手を前に出して助けて〜的に泣き、外に出ても鳴き声が聞こえていた。「そうは言ってもしょうがないじゃないか、すぐに慣れるし、物心つくころには忘れているよ」と思いつつも、なんとなくちょっと重い気持ちで帰宅する感じだった。同時入園の子の中でも一番泣いてる、くらいだったと思う。でも2週間目くらいで慣れたらしく、軽くぐずり泣きするくらいになった。最初のうちは公園に一人だけ連れていけない、など色々あったようだけど、そのへんも問題なくなったようだ。園から送られる写真を見ると、笑ってはいないが、楽しそうにはしている

なんだかしらないが、かたくなに飲まなかった麦茶も飲むようになった。哺乳瓶を強制的にやめるなんて、ひからびてしまうぞ？と思っていたが、ひからびるくらいなら飲むようだった。基本頑固なんだけど、しょせん子供

「物心つくころには忘れているよ」について、それはそうなんだけど、それを肯定してしまうと、「人間死ねば何も覚えてないから、何をしようが人生に意味がない」論の肯定に直結してしまう気がして、どうなんだろうなぁ、と思ってしまう。物心ついたら忘れてるとしても、今この瞬間非常に大きな不安を持って泣き叫んでるのは事実で、痕跡が残らないからってそれは良いのか？的な。5億年ボタンの是非なんかとからめて考えると良さそうだけど、実のところわりとどうでも良いので、特に何も考えてはいない

そういえば、保育園に入る前に、えいやっと僕一人で実家に連れていく、というのもやってみた。母がいないと泣いて話にならない、とまではいかず、おおむね楽しくやれたような気がするが、写真を見ると「笑ってないなぁ」という感じ。僕もかなりたくさんの時間を費しているわけで、「母がいないと絶対ダメ！」となったら僕も納得できないし、とはいえいろいろと悲しそうで、「母なんかいなくても良いよ」というわけでもなし、割と双方に忖度された結果だった、という感想だった

保育園以降、親の生活としては、早起きを強制されるようになった。昔は早起きなんてとんでもない、という感覚だったが、何故か最近はわりと起きられるようになってきているので、そんなに問題ない。とはいえ、たまに深夜の深酒するのが好きなんで、それすると翌日が死にます、というのが、結構しんどい。昼間に寝ればいいんだけど、なんだかミーティングが多いということもあり……

保育園、「どこかに入れるか、否か」を決める条件に年収を入れるのはなんの不満もないのだけど、「どこに入園させるか」の条件に年収が入るのは、おかしいやろ、という気持ちになる。アルゴリズム的には、希望者を条件でソートする、希望者の上位から希望順位が上の園に入園していく、という感じらしく、まぁそれが一番実装しやすいアルゴリズムというのはそうなんだけど……

コンピュータを使っていいとしても、どうするのが良いのかな。既存のアルゴリズムで入園可否と、仮に入園する先を決めてから、ランダムに二者を選び、その二者の園を一定確率でスワップする。その確率は二者の希望順位の合計の変化量に依存する関数で適当に決める、とかを思いつく。これを十分な iter 数まわせばそれなりに公平になる。決定論的というか一回で終了するアルゴリズムは、ぱっと考える限り無いんでないのって感じ

何が言いたいかというと、保育園が遠いので、それはちょっとしんどい

(13:26)

_ Mojo

https://docs.modular.com/mojo/

うーむ。なんかこうプログラム言語を楽しく思う気持ちがすりへってしまっているな。 swift ではなにがダメだったんだろう

(15:04)

_ LLM に思ったこと

http://shinh.skr.jp/m/?date=20230326#p01

では使う方面側だったので、技術よりな感想

パラメータを増やせば性能が上がる、というのは、かなり楽しくない。速いメモリがたくさん必要です、以上のことにならないので……特に学習側はどうなんだろうねえ。推論の方はマシというか、バカみたいにあるパラメータを圧縮する話になると、学習側も楽しそうではある

圧縮と言っても、データ圧縮がんばるぞ、てよりは、現状の LLM だと、少ないパラメータ量をコスパ良く使うような構造を発見するところからなんだろうけど……方向性としていろいろありそうだけど

• CNN みたいな再利用。画素みたいに自明な方向はないので、同じ重みを複数のチャンネルグループに使う、とかなのかねえ
• 重みを明示的に再利用する。 RNN 以外であまりうまくいったイメージがないけど
• factorize する系
• 重みがあるのはしょうがないが、条件次第で読まない。つまり MoE
• それ系で言うとやっぱ決定木的なやつとのハイブリッドをやって欲しいけど。決定木って圧縮効率高いよねえたぶん

データ圧縮がんばるぞ系でいうと、本質的に符号と仮数部がおおむねランダムなので、なんというか難しいよな。いや非可逆圧縮は単に仮数分の下捨てればいいのはシンプルなんだけど。えーと例えば、指数部が小さいデータの仮数部は捨てる、とかどうなんだろう

(16:43)

_ we have no moat

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

かなり楽しくないと書いた直後に、かなり楽しい文章が。都合の良い怪文章を cherry pick して喜ぶとか陰謀論と変わらんという感じだけど、これは盛り上がる文章だなあ。他もいろいろ楽しいが、モデルでかくしすぎてもねえ話がとても良い

Giant models are slowing us down. In the long run, the best models are the ones
which can be iterated upon quickly. We should make small variants more than an
afterthought, now that we know what is possible in the <20B parameter regime.

プロプラバカデカモデルとか何も楽しくないんだよな。バカパラでない大規模計算の類が好きでなさすぎる病にかかっている身としては嬉しい。やっぱ計算はコンピュータ1台でできるくらいのが良いよね

Focusing on maintaining some of the largest models on the planet actually puts us at a disadvantage.

とかも良いねえ

(12:40)

_ 逆ポジショントーク

https://www.itmedia.co.jp/news/articles/2305/09/news195.html

ポジショントークってあるけど、「自分のポジション考えるとその発言は無いよね……」な感じで、逆パターンという気がして面白かった

賛否両論のようだ。仮に、いつものようにコンビニに行ったら、店員が「毎日コンビニ弁当とかありえないよなー自炊しろよ」とか大声で言ってて、店長が注意した、くらいの感覚で、まぁそれは注意するのではないの、と思った

まぁなんか一方で厳重注意側のツイートも、もうちょっとなんかねという感もわからんでもない

(21:58)

_ 脳外科医の竹田くん

https://www.pixiv.net/user/91224487/series/187899

実話ベースらしい。こわすぎ

そしてホントかウソか知らんけど、この人まだ現役で働いてるという情報も見た……

(20:43)

_ 突然質的変化する話への反論

どこだっけな、となったのでメモ

https://arxiv.org/abs/2304.15004

雑なたとえをすると「中二の課題を全小中学生に解かせて、中二になった途端正解率が上がったので教育は8年で質的な変化が！」みたいな話に思えるので、まぁ普通に考えてまともな反論だとは思う。一方で人類の大半が解けない問題を解けるようになると、もはや人間には有効性のある metrics を作ることもできなくなってくるので、そういう意味では質的転換が起きつつあるタイミングというのはまぁそんな気もする

(13:02)

_ ループ中に要素追加するやつ

https://twitter.com/kemuniku/status/1661635386916114438

面白いなあ

(13:56)