はじめてのにき

_ モデル圧縮

https://arxiv.org/abs/2202.07105

https://ojs.aaai.org/index.php/AAAI/article/view/26304

読んでないけど、後者によると transformer の weight は低ランク近似しづらいのかな

(13:06)

_ subformer

https://arxiv.org/abs/2101.00234

(21:09)

_ kronecker 分解

https://github.com/shinh/test/blob/master/test_kron.py

たぶんこれであってると思うんだけど、そんなに自信はない。つーか行列の中の行列に ^T とかついてるとマジで目が泳ぐ以外の気持ちがないので、数式なんていう厳密な意味論が定義されてないわけわからんものを使うのをやめて、操作的意味論が定義されてる numpy 関数として書いてほしい……

んーで、 pretrain をそのまま使う感じだと、素直な factorize の方がいい感じじゃない？という感触を得ているのだけど、 kronecker 積にするメリットてなんなんだ？

https://arxiv.org/abs/2109.06243

をちゃんと読むかというと、たぶん読まないんだけど……

Gemm(x, w1 @ w2)

と

Gemm(x, kron(w1, w2))

のどっちが嬉しいですかって話で、 fine tune したら後者が勝つってのはよくわからない。 kronecker 分解は僕の理解が正しければ

Gemm(x, kron(w1(0), w2(0)) + kron(w1(1), w2(1)) + ...)

みたいな感じで svd どこまで使うかというのが選べるとは思うけど、 usv の s がデカいので、まぁ追加学習なしでたいした効果ないのはそんな気がする

(00:49)

_ カーテンコール

筒井康隆がそろそろ打ち止め、ということで読んだ。もともとすごく好きな作家というわけではなく……記憶が定かではないが、中高生くらいの時、星新一が好きで(今も好きだ)、対比されてるらしいから読んで、下品で星新一より面白くない、みたいな印象で、まぁすごく好きな作家でないのは間違いない

読んでると、まぁたいていの短編は、面白くない。というかブツ切りすぎだろ！まぁでも好きな人がいることは想像できるし、文を読んでいて心地良い感じみたいなのは感じるんだよな。そういえばそんな感じだった気がする。あまりあわないと言いつつ、10冊ちょいくらいはたぶん読んだ？七瀬とか読んだはずだしな。マジメに話を追うとそんなに楽しくないが、軽妙な雰囲気を楽しむだけなら楽しい、みたいな。僕はそういうものを別に小説に求めてないんだけど、あまりうまい表現でないと思うのだけど「ああ、この人、なんかメチャクチャ文章書くの上手なのだなぁ」と感じる(この最後の僕の文を筒井康隆が書くとどれだけステキになるだろう……みたいなことを思う)

筒井康隆自身が出てくる話が時々出てきて、しんみりする。プレイバックやカーテンコールで自作キャラや自分の関係者集めてセルフパロする、みたいなノリも楽しいし(唯野教授のやつ読みたくなったからうまい宣伝だ……)、死別されたらしいお子さんとの話は、まぁ、しんみりする、くらいの表現しか僕はできないが、そんな感じ

全体的に、飄々としつつもところどころ感傷的、社会風刺の時事ネタなんかも自由にやっている、という感じで、なんかステキな晩年をお過ごしですね……という気持ちになった

(00:11)

_ 親バカ日記

24ヶ月

2歳。わりと身近で大変な話も聞くだけに、うちのこがおそらく特に大きな問題なく育っているのはありがたいことだなぁ……と思う

かなり前からそうだけど、救急車などの、いわゆる働く車やら、飛行機などが好きらしい。近くに航空公園というのがあるので、そこの飛行機博物館みたいなやつに連れていったところ、結構気に入っていた気配があった上、帰った後も自分が中にいる写真を指さして「コーキー、ヒコーキー」なんて言っているので、ちゃんとそこで見たものを覚えているのだなぁ、と感心する。いやまぁなんかそれ以前から、道を歩いてると「コーキー」とか言っていて、ふーんと上を見ると飛行機が飛んでいるという感じで、そもそもなんか僕より感度が高い

言葉といえば、子にとって「パパ」は母親or父親をさす言葉らしい。つまり母親に対しても「パパ」と呼ぶ。なんでそうなったかは、たぶんわかりやすくて、妻は「パパを起こしに行こうね〜」的な呼びかけをしてたのに対して、僕はフツーに「○○(名前)を起こしに行こうね〜」とやってたからかと思う

出かける前に自分が裸足だと「くつした、ないねー」みたいなことを言うのだけど、僕が裸足でもそう指摘して教えてくれるし、あげくの果てに、マッチ売りの少女の絵本で少女が裸足なことを指摘して「くつしたー、ないねー」などと言っていた

ここ最近ですごいな、と思うのこととして、「いっしょ」という言葉を適切に運用してるぽいことがある。飛行機の写真と飛行機の風船を比べて「いっしょ」と言ったり、トマトの絵と柿の写真を比べて「いっしょ」と言ったり。後者は間違っているわけであるが、同じものであるという主張は理解できるわけで、やるなあ……と

(02:23)

_ 謎の圧縮技術

夢の中で、任意の画像を四角形の組みあわせで表現して圧縮するという技術の github を見て、「えっ、すごい、そんなことできるの？」と思って説明文を読んで「なるほどー、すごい！」と感動していた

朝起きて、「えっ今の夢すごい発見してない……？自分が説明聞かないと意味がわからないような技術が夢の中で説明されるって、すごくない？普通、夢の中の説明とか起きてみると意味不明だけど、今のやつははっきり理屈理解できるし。大発見だ！早くメモを取ろう！」と興奮していたけど、普通に意味不明でした

(10:31)

_ この圧縮されたファイルは

□だけで構成されてるので、普通のポストスクリプトファイルとして表現できてブラウザで見られます！みたいな説明がなされていた

そもそもポストスクリプトブラウザで表示できないやろ

(10:33)