はじめてのにき

_ kronecker 分解

https://github.com/shinh/test/blob/master/test_kron.py

たぶんこれであってると思うんだけど、そんなに自信はない。つーか行列の中の行列に ^T とかついてるとマジで目が泳ぐ以外の気持ちがないので、数式なんていう厳密な意味論が定義されてないわけわからんものを使うのをやめて、操作的意味論が定義されてる numpy 関数として書いてほしい……

んーで、 pretrain をそのまま使う感じだと、素直な factorize の方がいい感じじゃない？という感触を得ているのだけど、 kronecker 積にするメリットてなんなんだ？

https://arxiv.org/abs/2109.06243

をちゃんと読むかというと、たぶん読まないんだけど……

Gemm(x, w1 @ w2)

と

Gemm(x, kron(w1, w2))

のどっちが嬉しいですかって話で、 fine tune したら後者が勝つってのはよくわからない。 kronecker 分解は僕の理解が正しければ

Gemm(x, kron(w1(0), w2(0)) + kron(w1(1), w2(1)) + ...)

みたいな感じで svd どこまで使うかというのが選べるとは思うけど、 usv の s がデカいので、まぁ追加学習なしでたいした効果ないのはそんな気がする

(00:49)

_ モデル圧縮

https://arxiv.org/abs/2202.07105

https://ojs.aaai.org/index.php/AAAI/article/view/26304

読んでないけど、後者によると transformer の weight は低ランク近似しづらいのかな

(13:06)

_ subformer

https://arxiv.org/abs/2101.00234

(21:09)

_ 圧縮

https://docs.google.com/document/d/1a5JTuZQrcU2cNFaI3Eg9kA0cPLaOaE5nzh8eHzXVZ4A/edit

こういう「熱意」て感じの文章好き

(17:12)

_ Language Modeling Is Compression

https://arxiv.org/abs/2309.10668

他はまぁ、そうやろうなという感じなんだけど、画像と音声の圧縮ができる、てのが相当意味がわからない

テキストって画像や音声と違って、隣と同じか近いの返しておくと当たりやすい、て特徴がないと思うんだけど……

にしても Hutter prize の人とかが著者に入ってるんだ

(10:08)

_ おうちが建ちました

現状、最高オブ最高という感じではある。全館空調と気密性高いというあたりがウリの一つなので、その主張の確認には冬と夏を越さないとわからんが……

最高なのは単純に広いということであり、単純に自分達が欲しいと思った間取りがそのままあるということである。自分達で10回近く間取りを書いたのだけど、今見返すと書きなおすたびに、現状に近い、より良い状態になっており、うーんイテレーションて大事よねえとなる

ちょっと面白いなと思っているのは、僕個人の部屋という観点ではここ15年くらいでは一番小さくなった。なんというか、自分に必要なスペースというのがわかってきて、このスペースがあれば問題ないやろうなぁ、というのが割とわかるという気がしていて、ちょうどそのくらいのサイズの、自分の部屋、という感じになっているので、それはそれで気にいっている。他の連中は正直どのくらいスペースが欲しいかわからんので、僕のように「これでいいでしょ」的なラインを作りにくいというのがある気がする

とりあえず、遊びに来てくださるかたは大歓迎です。ただし東村山ですが。。。。。

いやその、東村山なかなかいいところで

• いくつかの線の乗り換え駅である
• 八国山緑地がある (たぶんトトロがうんぬんの森もそれ系)
• 多摩湖と西武園遊園地が近すぎ

みたいな感じで、「自然があるが、それなりに便利なとこがいい」みたいな僕の要求を満たしてくれるんだよねえ

家自体としては、まぁその、クソ広い。家自体がまず広い。入口にムダに広い駐車場があり、裏にムダに広い庭がある。中もなんか、いちいち広いなぁ、という感じ。まぁでも、無限の富豪という感じではその、ないので……なんか庶民的な豪邸、みたいな感が僕としてはある

(23:41)

_ 親バカ日記

22ヶ月 & 23ヶ月

最初から限界だと思ってるかわいさがいくらでも限界突破する感がある

わりといろんな種類の二語文を話すなど、高い知能を持っていて、僕の感覚では、これはまぁ、万物の霊長と言って良いと思う

ふと思うんだけど、ベジタリアンなり今より進んだ動物愛護が常識になると、「万物の霊長」などという呼びかたも差別発言となり、僕もキャンセルの対象になるかもしれない。ちょっと考えてみると、このクソどうでもいい内容の日記でキャンセルされるくらいの偉人になっていれば、それは大成功というものだろう。えーとつまりそれはどうでもいい

さて「まめ、まめ、おかわり」なんて言ってて、やばいくらいかわいい。僕が黒くない服を着ていると「かわいー」とか言ってくれる。どうも黒い服は万物の霊長に不評らしい。覚える単語の順序には、色々と思うものがある。「でんしゃ」「ぶどう」「ぞうさん」「はりねずみ」「ロードローラー」なんかはかなりはっきりと話すが、「わんわん(つまり犬)」と「にゃーにゃー(つまり猫)」は結構間違えていて、でも少しずつ間違え率が落ちている感じで(最初は50%で今は体感15%くらい)、車ぽいものはとりあえず「きゅーきゅーしゃ」か「しょーぼーしゃ」か「ぶーぶー」をランダムに言ってる感じ。一方で救急車を本当に見つけた時は大人が気付いていない段階でも「きゅーきゅーしゃー！」と盛りあがっていたりする。なんというか、親が自分の感覚で考える「子供の思考モデル」とは全然違うもんだなぁ、と日々感じる

他人とのコミュニケーションは未だに控え目なようだけど、話を聞く感じでは、保育園では普通に自宅とかわらない態度を取り始めたらしい。つまり、保育園の先生方や、ひょっとしたら回りの子供は、身内と認識してるのかもという気もしないでもない

それ以外の、「他人」的な存在がいると、大人しくなるのは、相変わらず。義父母の実家に、従兄弟といっしょにいるとうじうじしてるが、従兄弟が帰ると、とたんに、この世の春とばかりにウロウロする。2歳近いのに1歳付近の従兄弟に泣かされている。外に出ると基本臆病で、無鉄砲な行動をしないので、そういう意味では扱いやすい子供なんではと思っている

(23:37)

_ knuth vs chatgpt

https://www-cs-faculty.stanford.edu/~knuth/chatGPT20.txt

面白そうすぎる、あとでよむ

(15:56)

_ 全ての対数グラフ

ttps://pubs.aip.org/view-large/figure/85295136/819_1_5.0150209.figures.online.f2.jpg

かっこいいなぁ。いくつか説明読んでもわからん線がある

auto link しちゃうけど html なんだよな。。

(08:30)

_ GSD

https://twitter.com/nsakki55/status/1705022651541156182

わらう

(08:52)

_ 昔のmac

つねづね、とりあえずなにはともあれ気持ちは若くありたいと思ってるので、老人ぶるみたいなのはしたくないのだけど、なことがあった

「昔はMacじゃないとプログラム書けないみたいな感じだったらしいですね」と言われて「えっ逆では」と言ってしまったのだけど、発言者の「昔は」OSX 10.4とかの時代をさしていて、僕はOSX以前をさしていたのだった。いちおう正当な言い訳はあって、その前の話題が「昔のMacはCRが改行だった」みたいな話だったんだ……

(00:44)

_ RetNet と RWKV

なんか途中であまり楽しくないと気付いたので放棄

https://medium.com/ai-fusion-labs/retentive-networks-retnet-explained-the-much-awaited-transformers-killer-is-here-6c17e3e8add8

を斜め読みして満足してしまった。要は Softmax がうっとうしいので、これを線形なもので代用したら、 inference 速くなるよね、と、それはそう、なんだけど、なんかこれで同じ表現力持つってのが信じられない

xPos はわかってないのでなんか見た方が良いのかも: https://arxiv.org/pdf/2212.10554.pdf

(09:39)