はじめてのにき

_ CET 問題

CET 問題、 CTF にあるだろうけど、どう問題にするのかなとぐぐったら出てきた

https://ctftime.org/writeup/23905

なるほどエミュだと同じプロセスに設定があるなんて問題か。ちょっと面白いな

(23:20)

_ LLM に思ったこと

しばらくバブルが続きそうで、労働者としては何より。個人の興味的には AI バブルは終わって別のバブルが起きて欲しかった。残りはポエム的な話

NMT を見て、「あ、これは面白そう」と思ってチーム移って、ニューラル翻訳について思ったのは

https://twitter.com/shinh/status/797982306564587521

にあるように、「マンガに出てくるような学位とか取ってる系の7歳くらいの子。活字中毒でなんでもよく知ってるけど、発言に困ると「ニュースぽいから【ロイター】てつけちゃえ」みたいな知ったかぶりをはじめる」だった。データ量やモデルが良くなったのはあるけど、この認識は LLM に至ってもあまり変わっていない。いやまぁこれだけのことができるようになるんだなぁ……という感嘆はもちろんあるし、 ChatGPT 普通に使ったりしているけど

結局、論理というか、「確実に正しいものを積んでいって非自明なものを生む」というプロセスの不在が気にいらないんだよな。自然科学って基本的に、なんか世界に対する観測事実があって、それをモデル化して、そこから演繹してくと色々便利です、という話だと思うんだけど、計算機科学は、モデル化あたりまで人間が勝手にできる、つまり世界を好き勝手に作れるところが魅力だと思ってたのだけど、今 AI と呼ばれている、帰納的な AI はそれがないんだよな。「AI が何故こんなに賢いのか？」を人間が考えないといけないというのは、まさに自然科学ぽい

別に自然科学が嫌いというわけではないし、帰納的な AI が大手をふるってくれると僕の労働環境的にも都合が良いのだけど、でもやっぱ論理と抽象化を詰む所業を AI にやってもらいたさがあるんだよなぁ

個人的には、現世代の帰納的な AI を論理で補強するとか、そこまでいかなくても、帰納的な AI の研究により論理やら計算やらについてわかることが増える、という、ということを期待してたのだけど、今の雰囲気的には帰納的な AI と、人類の理解の差は開いていきそうという感じ

まぁそれはそれでいいんだけど……ブラックボックスのまま人類が利用してきたことなんていくらでもあるし……ただまぁ、ルールを人間が作ってるところからくる全知全能感が計算科学の魅力のひとつだったのだけど、自然科学ぽくなってしまうんだなぁ、という感じだろうか

(01:11)

_ いや

step-by-step など、論理的なものを獲得してるぽいという話があるので、論理が無い、というのは言いすぎなんだろう。その論理が確率的に運用されてるのがもにょるところなんだけど、ただ人間も別に論理間違えるからと言われると、だんだんと哲学的な話になっていく

(13:41)

_ パソコンを買おう

5年前に買った12万のパソコンでずっと在宅勤務してるの……と気付いた

現状

• i7-8700 3.2GHz 6コア (coffee lake)
• geforce gtx 1060 3GB (pascal)

まず GPU を理解すると Ampere か Ada が最近ぽい。 RTX 16,20 が Turing で、 RTX 30 が Ampere 、 RTX 40 が Ada 。メモリがたくさんあれば速度は割となんでも良いので、 RTX 3060 12GB あたりがコスパ良さげ

Ryzen さんは 9, 7, 5, 3 が i7, i5 とかに対応してると理解。後ろの数字の 5xxx が Zen3 で 7xxx が Zen4 。持ってるノート PC は Ryzen 7 5800U 1.9GHz

https://www.dospara.co.jp/TC30/MC12198.html

https://www.dospara.co.jp/TC30/MC12100.html

あたりと出た。後者 DDR5 か

(19:03)

_ 親バカ日記

16ヶ月

ごはんを食べるようになった。離乳食をスプーンで与える、みたいなのは非常に強く拒否してたのだけど、手掴みやスプーンを自分で使うのを許し、離乳食でなく普通の食べものを与える、とすると食べるようになった。そんなもんなのか、という気持ち。なんというか、自立心みたいなのが出てきてるのに気付いてなくて、本当はもっと速く食べるようにできていたのかも、という気もする。がまぁ、たまたまそういうタイミングだったのかもしれない

麦茶をコップから飲めると良いらしいのだけど、哺乳瓶からでないとイマイチ飲まない。ミルク依存を減らそうと、粉ミルクをむっちゃ薄めているが、それでも普通に飲む。コップからは、飲むヨーグルトとかは飲むけど、牛乳とかは飲まない。まぁでもなんかあと少しでなんとかなるかなぁという感じ

自立心みたいなのが増えてるのは、たいへん楽しい。自転車に乗り込んだり、二階に上がりたいと手をひっぱってきたり、欲しいごはんを指差したり。いくつかの単語も、言おうとしていることがわかる感じになってきた。アンパンマンなど

(17:39)

_ 緊急対談 川上量生、立花孝志

https://www.youtube.com/watch?v=KPwDlYmzEIA

面白かった。どちらに賛同するかはともかく、議論バトルとしてはカワンゴ完敗という感じかなぁと思った。本人も認めているようだ

https://twitter.com/gweoipfsd/status/1638343198660780039

立花孝志て、とんでもない人だと思っていたけど、なかなかどうして弁が立つのだなぁ。言ってることに同意するかはともかく、と書きかけたけど、言ってることには同意するんだよな。やってることを支持しないだけで

(17:57)

_ 有意差完全保証

https://www.orthomedico.jp/hctsap.html

わらう

(00:50)

_ Googley

まだ生きているかはわからないけど、 Googley という言葉があった。意味はかなり多義で、かなり恣意的に運用される微妙な語ではあったけど、「Google 的な良いカルチャーに則っている」くらいに思えば良いと思う。僕は Googler とか Googley とか、個人個人の能力や成果でなく、集団に属していることに誇りを感じるような言葉が総じて好きでないので、あまり使わないようにしていたけど、 Googley なものを尊ぶカルチャーは好きだった

僕が入ったころのグーグルは、「とにかくユーザにとって良いものを作れ、そうすれば金はついてくる」というのを本気でやっていた、と思う。最近ではあまり検索結果と区別がつかない、グーグル検索の出す広告の表示は象徴的なものの一つだと思っている。広告と検索結果の区別がつきにくい方が儲かることは自明だった。けど、かなり長い間、それをやらなかった。「それはユーザに対する裏切りだから」的な価値観だったのだと思う。グーグル検索の背景の変遷についてはここにあるということを教えてもらった: https://atechnocratblog.wordpress.com/2016/07/26/color-fade-a-visual-history-of-google-ad-labeling-in-search-results/

「とにかくユーザにとって良いものを作れ、そうすれば金はついてくる」は僕が入った頃は "Googleyness" の一つだったと思うけど、それは 2013 年頃くらいには無くなっていた、と僕は感じていたように思う。明確な時期は思い出せないけど。いや、背景の一件だけでは「広告のクォリティが十分に高ければ検索結果と区別がつかないことはユーザ利益を損なわない」などと言えそうではある。ただまぁ、なんかいろいろと、良くも悪くも営利企業、株式会社、ぽくなっていっていたと思う

それでグーグルが嫌いになるかというと、そこまででもなかった。依然として他の企業に比べて、美徳と言って良さそうな文化をいくつも維持しているように思っていたし。ただ最初の5年の方が、僕はグーグルが好きだったし、 2013 年頃にはだいぶ冷めた感じになっていた、という感じかなと。まぁ正直グーグルが美徳を犠牲に株価を上げれば僕の収入も増えるという利害があるという話もあったし、一般に会社というものにそれほど期待していないということもあったし、「それはそれでいいか」くらいの感じだったかなと

その後、グーグルは寡占に成功したプロダクトについては、ユーザの利益や使い勝手の向上をどんどんと軽視していく度合いを強めている、と感じている。これは会社を辞めてから特に顕著に感じている。一番このことを感じるのは、 YouTube に出る広告の頻度だろうか

今の僕は、ユーザとしては、正直グーグルはそんなに好きな会社じゃなくなってしまったなぁ、という感じ。僕は、グーグル検索に感動して、 maps とかにも感動して、入社して「ガチでユーザファーストでいくで」的な志の高さに感心したような人間なので、残念ではあるが、グーグルも普通の大企業になるということなのかなぁと、まぁしょうがない

でもまぁ、同じようなことを感じている人であっても、社員として働いていれば、やはり依然としてまだまだ良いところもあるぞ、という感じだったのだと思う。実際去年までは、僕も「割と普通の会社になってきていると思うけど、それでも働きやすくて良い会社だと思いますよ」的なことを言っていたように思う

今回のレイオフでは、「従業員を大事にすることによって、安心して良いものを作らせる」という美徳も失いそうで、これは対ユーザでなく対社員の美徳であるという点で、厳しそうだなぁ、と思う。 https://anond.hatelabo.jp/20230304143420 が中の人かは僕には判定できないけど、労働組合について、「会社にしがみつくためというよりは、社員を大事にするというGoogleのカルチャーを守りたいという動機をもった人がほとんどです」というのは、かなり説得力があるなぁ、と実感する感じ。別に何もしないが、応援したさがある

あとそういえば、ハタから見ると「とにかく技術的イノベーションを重視する」みたいな美徳も減ってきてそうな気がしているけど、どうなんだろう。このへんは中にいないとわかりづらそうではあるが……なんにせよ、グーグルらしい、グーグルを良い会社たらしめている美徳は、あといくつ残ってるんだろうなぁ、と

(01:35)

_ 映像研

https://twitter.com/dennou319/status/1632915348642222080/retweets/with_comments

よくわかってないけど、原作から結構離れた実写化がされて、それを嫌がる原作ファンを、厳しくたしなめる原作者、という感じなのかな

僕も映像研好きだけど、あまりそれは読み取れなかったな、という感じで、面白い

(12:36)

_ いいはなしメモ

メモらないと失われることを学んだ！

https://medium.com/@yonatanzunger/the-sunk-benefit-fallacy-c7adb6eda761

会社とか気にせずやめろ！という趣旨だけど、もっと小さいレベルの書き直しとかにも適用できると思う。特に "don’t feel a microsecond’s guilt over abandoning a system" が好きだった

https://medium.com/newco/hard-and-soft-skills-in-tech-8be00216f67f

"a junior person’s job is to find answers to questions; a senior person’s job is to find the right questions to ask." は前読んだ時もそうよねーと思った記憶

_ Psyho さん

マラソン会の万年レジェンドみたいな人(たぶんなんか20年くらいトップクラスみたいな感じ？)が最近ツイッターに色々アドバイスを書いていて面白い。これはすごく長い総論的なやつ

https://twitter.com/FakePsyho/status/1605570944537280512

最近、 optuna みたいなハイパラ自動最適化に否定的ということを知り、その指摘はなるほどなぁと。ハイパラはおおむね素直な挙動をするからグリッドサーチで十分で、それを自分でやらないことで問題を理解するチャンスを失なっているから損だ、という話らしい

https://twitter.com/FakePsyho/status/1631275687058219010

一理あるような気がして、なるほどなーと思っていたのだけど

https://twitter.com/ToastUz/status/1631783993560694784

の反論がより腑に落ちた。たしかに Psyho さん無限に時間使えドンドンアイデア試せ、と言うてるんですが、そんなにアイデアって無限に湧かないんだよな……

(13:38)

_ 重み圧縮

去年一番楽しかった論文はたぶんこれ

https://arxiv.org/abs/2212.09720

重みの低精度化のトレードオフを、 int とか float とか、色んなフォーマットで試しているやつ。おおむね、筋悪そうというか情報の密度低そう、というやつは微妙になっていて、それなりに密度高そうなやつはだいたい似たような精度になる、という雰囲気だったと理解している

B/F 比は悪くなるばかり、モデルは大きくなる、ということを仮定すると、重みはドンドン圧縮していくべきという話になるという気がする。圧縮って最終的には「元のデータを出せるプログラム」という形になると思っているんだけど、そういう感じになっていったりするのかな

重みの持つ総情報量とか、なんか定義して考えられないもんだろうか

(16:07)

_ 道筋

https://twitter.com/gtt5hbug7ijgf/status/1627870809883832321

こういうの良いな。大学入ってこういう知識の依存関係とかよくわからなくなった落ちこぼれていった気がする。でも思い出すに高校でも数学の先生が「これは物理のここに役に立つ」とか教えてくれた記憶は特に無いので、単に大学あたりで「全体の中での位置付けがわからんものをとりあえず学ぶ」みたいな体力が枯渇しただけかもしれない

特殊関数とかかなり謎だったような。「微分方程式ってのはとにかくまるで解けないので、よく見るやつには名前がついてて、特徴が調べられている」くらいの説明があればもう少し興味が持てたかもしれない。が、なんかそういうことがわかった上で、グウタラでやらなかっただけでは？？という気もする。もうよく覚えていない

定式化には複数種類ある、という考えかたも、なんか腑に落ちていなかったような気がする。これについては高校力学に対する解析力学、シュレーディンガー描像とハイゼンベルグ描像、みたいな感じでいろいろ明に説明されていたはずではあるが。そのことと、「今後どんどん抽象度の高い定式化をします。理解が大変になるが、抽象化は科学一般で非常に大事なのです」くらいのことを言われていれば、いろいろと納得感があったのでは？という気がする

ふわっとした言い方しかできないのだけど、量子力学って確率や情報理論的なのと共通の考えかたが出てきて、むしろ最初からそれらの語彙で定式化するとスッキリする、みたいな話が僕が学生の時くらいにあった気がしていて、最近では教科書とかもそっちのノリになってきている？みたいな印象を受けている。そういう手順で教えられるの、実際のところ学生としてはどうなのだろう。僕は具体的な例が無いと抽象的な話が絶対わからんマンなので、昔ながらの手順の方がわかりやすいのでは？とか思ってしまうが。抽象化の過程でいうと群論が特にトラウマなのだけど、あれも化学の人向け群論みたいなのでちょっとマシになった気がする

逆に今学びなおすなら抽象的なやりかたでも当時よりはついてける気がする？どうだろう

(16:22)

_ 物理学 70の不思議

https://www.jps.or.jp/books/gakkaishi/files/71-09_70fushigi.pdf

これはかなり楽しい読み物という気がする。もちろんまるでわからんが、わくわく感がある

(16:31)

_ 親バカ日記

14,15ヶ月

だんだん diff が小さくなってきたかもしれない。公園や児童館などに連れていくのが、ちょっと楽しい。新しいものを見た時の挙動などが、いろいろとマシになったので、運びがいがあるというか。とはいえ相変わらずおもちゃをなめるし、他の子供が話しかけてくれても無視するし、いろいろとそんな感じではあるけど

前に児童館に行くと、トランポリンが出してあって、さぞ楽しかろうと思って乗せたりしても、すぐ降りる。降りて、開かない扉の鍵を触ったり、消毒液を取ろうとがんばったり。まぁ楽しそうなので良いのだけど、何が楽しいかさっぱりわからんことを楽しんでいる感じがある。「子供は大人の意図とかまるで関係ない遊びかたをする」という本で読んだような現象を観測する感じというか。なんか一生懸命嬉しそうにデカい段ボールを運んでいたり、とか

保育園、良さそうと思っていたところにあらかた落ちてしまって、見学とかにも行っていない、だいぶ志望順位が低いところになってしまって、少しがっかり。けど、親が楽しそうと思ったとこととまるで違うことを楽しんでるのを見るに、まぁ安全であればどこでも良いのだろう、という気もする。口コミを見るに、そのへんの安心感はありそうなところではあった

(09:07)