はじめてのにき

_ Psyho さん

マラソン会の万年レジェンドみたいな人(たぶんなんか20年くらいトップクラスみたいな感じ？)が最近ツイッターに色々アドバイスを書いていて面白い。これはすごく長い総論的なやつ

https://twitter.com/FakePsyho/status/1605570944537280512

最近、 optuna みたいなハイパラ自動最適化に否定的ということを知り、その指摘はなるほどなぁと。ハイパラはおおむね素直な挙動をするからグリッドサーチで十分で、それを自分でやらないことで問題を理解するチャンスを失なっているから損だ、という話らしい

https://twitter.com/FakePsyho/status/1631275687058219010

一理あるような気がして、なるほどなーと思っていたのだけど

https://twitter.com/ToastUz/status/1631783993560694784

の反論がより腑に落ちた。たしかに Psyho さん無限に時間使えドンドンアイデア試せ、と言うてるんですが、そんなにアイデアって無限に湧かないんだよな……

(13:38)

_ 重み圧縮

去年一番楽しかった論文はたぶんこれ

https://arxiv.org/abs/2212.09720

重みの低精度化のトレードオフを、 int とか float とか、色んなフォーマットで試しているやつ。おおむね、筋悪そうというか情報の密度低そう、というやつは微妙になっていて、それなりに密度高そうなやつはだいたい似たような精度になる、という雰囲気だったと理解している

B/F 比は悪くなるばかり、モデルは大きくなる、ということを仮定すると、重みはドンドン圧縮していくべきという話になるという気がする。圧縮って最終的には「元のデータを出せるプログラム」という形になると思っているんだけど、そういう感じになっていったりするのかな

重みの持つ総情報量とか、なんか定義して考えられないもんだろうか

(16:07)

_ いいはなしメモ

メモらないと失われることを学んだ！

https://medium.com/@yonatanzunger/the-sunk-benefit-fallacy-c7adb6eda761

会社とか気にせずやめろ！という趣旨だけど、もっと小さいレベルの書き直しとかにも適用できると思う。特に "don’t feel a microsecond’s guilt over abandoning a system" が好きだった

https://medium.com/newco/hard-and-soft-skills-in-tech-8be00216f67f

"a junior person’s job is to find answers to questions; a senior person’s job is to find the right questions to ask." は前読んだ時もそうよねーと思った記憶

_ Googley

まだ生きているかはわからないけど、 Googley という言葉があった。意味はかなり多義で、かなり恣意的に運用される微妙な語ではあったけど、「Google 的な良いカルチャーに則っている」くらいに思えば良いと思う。僕は Googler とか Googley とか、個人個人の能力や成果でなく、集団に属していることに誇りを感じるような言葉が総じて好きでないので、あまり使わないようにしていたけど、 Googley なものを尊ぶカルチャーは好きだった

僕が入ったころのグーグルは、「とにかくユーザにとって良いものを作れ、そうすれば金はついてくる」というのを本気でやっていた、と思う。最近ではあまり検索結果と区別がつかない、グーグル検索の出す広告の表示は象徴的なものの一つだと思っている。広告と検索結果の区別がつきにくい方が儲かることは自明だった。けど、かなり長い間、それをやらなかった。「それはユーザに対する裏切りだから」的な価値観だったのだと思う。グーグル検索の背景の変遷についてはここにあるということを教えてもらった: https://atechnocratblog.wordpress.com/2016/07/26/color-fade-a-visual-history-of-google-ad-labeling-in-search-results/

「とにかくユーザにとって良いものを作れ、そうすれば金はついてくる」は僕が入った頃は "Googleyness" の一つだったと思うけど、それは 2013 年頃くらいには無くなっていた、と僕は感じていたように思う。明確な時期は思い出せないけど。いや、背景の一件だけでは「広告のクォリティが十分に高ければ検索結果と区別がつかないことはユーザ利益を損なわない」などと言えそうではある。ただまぁ、なんかいろいろと、良くも悪くも営利企業、株式会社、ぽくなっていっていたと思う

それでグーグルが嫌いになるかというと、そこまででもなかった。依然として他の企業に比べて、美徳と言って良さそうな文化をいくつも維持しているように思っていたし。ただ最初の5年の方が、僕はグーグルが好きだったし、 2013 年頃にはだいぶ冷めた感じになっていた、という感じかなと。まぁ正直グーグルが美徳を犠牲に株価を上げれば僕の収入も増えるという利害があるという話もあったし、一般に会社というものにそれほど期待していないということもあったし、「それはそれでいいか」くらいの感じだったかなと

その後、グーグルは寡占に成功したプロダクトについては、ユーザの利益や使い勝手の向上をどんどんと軽視していく度合いを強めている、と感じている。これは会社を辞めてから特に顕著に感じている。一番このことを感じるのは、 YouTube に出る広告の頻度だろうか

今の僕は、ユーザとしては、正直グーグルはそんなに好きな会社じゃなくなってしまったなぁ、という感じ。僕は、グーグル検索に感動して、 maps とかにも感動して、入社して「ガチでユーザファーストでいくで」的な志の高さに感心したような人間なので、残念ではあるが、グーグルも普通の大企業になるということなのかなぁと、まぁしょうがない

でもまぁ、同じようなことを感じている人であっても、社員として働いていれば、やはり依然としてまだまだ良いところもあるぞ、という感じだったのだと思う。実際去年までは、僕も「割と普通の会社になってきていると思うけど、それでも働きやすくて良い会社だと思いますよ」的なことを言っていたように思う

今回のレイオフでは、「従業員を大事にすることによって、安心して良いものを作らせる」という美徳も失いそうで、これは対ユーザでなく対社員の美徳であるという点で、厳しそうだなぁ、と思う。 https://anond.hatelabo.jp/20230304143420 が中の人かは僕には判定できないけど、労働組合について、「会社にしがみつくためというよりは、社員を大事にするというGoogleのカルチャーを守りたいという動機をもった人がほとんどです」というのは、かなり説得力があるなぁ、と実感する感じ。別に何もしないが、応援したさがある

あとそういえば、ハタから見ると「とにかく技術的イノベーションを重視する」みたいな美徳も減ってきてそうな気がしているけど、どうなんだろう。このへんは中にいないとわかりづらそうではあるが……なんにせよ、グーグルらしい、グーグルを良い会社たらしめている美徳は、あといくつ残ってるんだろうなぁ、と

(01:35)

_ 映像研

https://twitter.com/dennou319/status/1632915348642222080/retweets/with_comments

よくわかってないけど、原作から結構離れた実写化がされて、それを嫌がる原作ファンを、厳しくたしなめる原作者、という感じなのかな

僕も映像研好きだけど、あまりそれは読み取れなかったな、という感じで、面白い

(12:36)

_ 有意差完全保証

https://www.orthomedico.jp/hctsap.html

わらう

(00:50)

_ 親バカ日記

16ヶ月

ごはんを食べるようになった。離乳食をスプーンで与える、みたいなのは非常に強く拒否してたのだけど、手掴みやスプーンを自分で使うのを許し、離乳食でなく普通の食べものを与える、とすると食べるようになった。そんなもんなのか、という気持ち。なんというか、自立心みたいなのが出てきてるのに気付いてなくて、本当はもっと速く食べるようにできていたのかも、という気もする。がまぁ、たまたまそういうタイミングだったのかもしれない

麦茶をコップから飲めると良いらしいのだけど、哺乳瓶からでないとイマイチ飲まない。ミルク依存を減らそうと、粉ミルクをむっちゃ薄めているが、それでも普通に飲む。コップからは、飲むヨーグルトとかは飲むけど、牛乳とかは飲まない。まぁでもなんかあと少しでなんとかなるかなぁという感じ

自立心みたいなのが増えてるのは、たいへん楽しい。自転車に乗り込んだり、二階に上がりたいと手をひっぱってきたり、欲しいごはんを指差したり。いくつかの単語も、言おうとしていることがわかる感じになってきた。アンパンマンなど

(17:39)

_ 緊急対談 川上量生、立花孝志

https://www.youtube.com/watch?v=KPwDlYmzEIA

面白かった。どちらに賛同するかはともかく、議論バトルとしてはカワンゴ完敗という感じかなぁと思った。本人も認めているようだ

https://twitter.com/gweoipfsd/status/1638343198660780039

立花孝志て、とんでもない人だと思っていたけど、なかなかどうして弁が立つのだなぁ。言ってることに同意するかはともかく、と書きかけたけど、言ってることには同意するんだよな。やってることを支持しないだけで

(17:57)

_ パソコンを買おう

5年前に買った12万のパソコンでずっと在宅勤務してるの……と気付いた

現状

• i7-8700 3.2GHz 6コア (coffee lake)
• geforce gtx 1060 3GB (pascal)

まず GPU を理解すると Ampere か Ada が最近ぽい。 RTX 16,20 が Turing で、 RTX 30 が Ampere 、 RTX 40 が Ada 。メモリがたくさんあれば速度は割となんでも良いので、 RTX 3060 12GB あたりがコスパ良さげ

Ryzen さんは 9, 7, 5, 3 が i7, i5 とかに対応してると理解。後ろの数字の 5xxx が Zen3 で 7xxx が Zen4 。持ってるノート PC は Ryzen 7 5800U 1.9GHz

https://www.dospara.co.jp/TC30/MC12198.html

https://www.dospara.co.jp/TC30/MC12100.html

あたりと出た。後者 DDR5 か

(19:03)

_ LLM に思ったこと

しばらくバブルが続きそうで、労働者としては何より。個人の興味的には AI バブルは終わって別のバブルが起きて欲しかった。残りはポエム的な話

NMT を見て、「あ、これは面白そう」と思ってチーム移って、ニューラル翻訳について思ったのは

https://twitter.com/shinh/status/797982306564587521

にあるように、「マンガに出てくるような学位とか取ってる系の7歳くらいの子。活字中毒でなんでもよく知ってるけど、発言に困ると「ニュースぽいから【ロイター】てつけちゃえ」みたいな知ったかぶりをはじめる」だった。データ量やモデルが良くなったのはあるけど、この認識は LLM に至ってもあまり変わっていない。いやまぁこれだけのことができるようになるんだなぁ……という感嘆はもちろんあるし、 ChatGPT 普通に使ったりしているけど

結局、論理というか、「確実に正しいものを積んでいって非自明なものを生む」というプロセスの不在が気にいらないんだよな。自然科学って基本的に、なんか世界に対する観測事実があって、それをモデル化して、そこから演繹してくと色々便利です、という話だと思うんだけど、計算機科学は、モデル化あたりまで人間が勝手にできる、つまり世界を好き勝手に作れるところが魅力だと思ってたのだけど、今 AI と呼ばれている、帰納的な AI はそれがないんだよな。「AI が何故こんなに賢いのか？」を人間が考えないといけないというのは、まさに自然科学ぽい

別に自然科学が嫌いというわけではないし、帰納的な AI が大手をふるってくれると僕の労働環境的にも都合が良いのだけど、でもやっぱ論理と抽象化を積む所業を AI にやってもらいたさがあるんだよなぁ

個人的には、現世代の帰納的な AI を論理で補強するとか、そこまでいかなくても、帰納的な AI の研究により論理やら計算やらについてわかることが増える、という、ということを期待してたのだけど、今の雰囲気的には帰納的な AI と、人類の理解の差は開いていきそうという感じ

まぁそれはそれでいいんだけど……ブラックボックスのまま人類が利用してきたことなんていくらでもあるし……ただまぁ、ルールを人間が作ってるところからくる全知全能感が計算科学の魅力のひとつだったのだけど、自然科学ぽくなってしまうんだなぁ、という感じだろうか

(01:11)

_ いや

step-by-step など、論理的なものを獲得してるぽいという話があるので、論理が無い、というのは言いすぎなんだろう。その論理が確率的に運用されてるのがもにょるところなんだけど、ただ人間も別に論理間違えるからと言われると、だんだんと哲学的な話になっていく

(13:41)

_ CET 問題

CET 問題、 CTF にあるだろうけど、どう問題にするのかなとぐぐったら出てきた

https://ctftime.org/writeup/23905

なるほどエミュだと同じプロセスに設定があるなんて問題か。ちょっと面白いな

(23:20)