はじめてのにき

_ we have no moat

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

かなり楽しくないと書いた直後に、かなり楽しい文章が。都合の良い怪文章を cherry pick して喜ぶとか陰謀論と変わらんという感じだけど、これは盛り上がる文章だなあ。他もいろいろ楽しいが、モデルでかくしすぎてもねえ話がとても良い

Giant models are slowing us down. In the long run, the best models are the ones
which can be iterated upon quickly. We should make small variants more than an
afterthought, now that we know what is possible in the <20B parameter regime.

プロプラバカデカモデルとか何も楽しくないんだよな。バカパラでない大規模計算の類が好きでなさすぎる病にかかっている身としては嬉しい。やっぱ計算はコンピュータ1台でできるくらいのが良いよね

Focusing on maintaining some of the largest models on the planet actually puts us at a disadvantage.

とかも良いねえ

(12:40)

_ Mojo

https://docs.modular.com/mojo/

うーむ。なんかこうプログラム言語を楽しく思う気持ちがすりへってしまっているな。 swift ではなにがダメだったんだろう

(15:04)

_ LLM に思ったこと

http://shinh.skr.jp/m/?date=20230326#p01

では使う方面側だったので、技術よりな感想

パラメータを増やせば性能が上がる、というのは、かなり楽しくない。速いメモリがたくさん必要です、以上のことにならないので……特に学習側はどうなんだろうねえ。推論の方はマシというか、バカみたいにあるパラメータを圧縮する話になると、学習側も楽しそうではある

圧縮と言っても、データ圧縮がんばるぞ、てよりは、現状の LLM だと、少ないパラメータ量をコスパ良く使うような構造を発見するところからなんだろうけど……方向性としていろいろありそうだけど

• CNN みたいな再利用。画素みたいに自明な方向はないので、同じ重みを複数のチャンネルグループに使う、とかなのかねえ
• 重みを明示的に再利用する。 RNN 以外であまりうまくいったイメージがないけど
• factorize する系
• 重みがあるのはしょうがないが、条件次第で読まない。つまり MoE
• それ系で言うとやっぱ決定木的なやつとのハイブリッドをやって欲しいけど。決定木って圧縮効率高いよねえたぶん

データ圧縮がんばるぞ系でいうと、本質的に符号と仮数部がおおむねランダムなので、なんというか難しいよな。いや非可逆圧縮は単に仮数分の下捨てればいいのはシンプルなんだけど。えーと例えば、指数部が小さいデータの仮数部は捨てる、とかどうなんだろう

(16:43)

_ 親バカ日記

17ヶ月

保育園に行くようになり、月ごとの差分が小さくなってきていた昨今としては、非常に大きな変化となった

最初の1週間は、到着すると大泣き、手を前に出して助けて〜的に泣き、外に出ても鳴き声が聞こえていた。「そうは言ってもしょうがないじゃないか、すぐに慣れるし、物心つくころには忘れているよ」と思いつつも、なんとなくちょっと重い気持ちで帰宅する感じだった。同時入園の子の中でも一番泣いてる、くらいだったと思う。でも2週間目くらいで慣れたらしく、軽くぐずり泣きするくらいになった。最初のうちは公園に一人だけ連れていけない、など色々あったようだけど、そのへんも問題なくなったようだ。園から送られる写真を見ると、笑ってはいないが、楽しそうにはしている

なんだかしらないが、かたくなに飲まなかった麦茶も飲むようになった。哺乳瓶を強制的にやめるなんて、ひからびてしまうぞ？と思っていたが、ひからびるくらいなら飲むようだった。基本頑固なんだけど、しょせん子供

「物心つくころには忘れているよ」について、それはそうなんだけど、それを肯定してしまうと、「人間死ねば何も覚えてないから、何をしようが人生に意味がない」論の肯定に直結してしまう気がして、どうなんだろうなぁ、と思ってしまう。物心ついたら忘れてるとしても、今この瞬間非常に大きな不安を持って泣き叫んでるのは事実で、痕跡が残らないからってそれは良いのか？的な。5億年ボタンの是非なんかとからめて考えると良さそうだけど、実のところわりとどうでも良いので、特に何も考えてはいない

そういえば、保育園に入る前に、えいやっと僕一人で実家に連れていく、というのもやってみた。母がいないと泣いて話にならない、とまではいかず、おおむね楽しくやれたような気がするが、写真を見ると「笑ってないなぁ」という感じ。僕もかなりたくさんの時間を費しているわけで、「母がいないと絶対ダメ！」となったら僕も納得できないし、とはいえいろいろと悲しそうで、「母なんかいなくても良いよ」というわけでもなし、割と双方に忖度された結果だった、という感想だった

保育園以降、親の生活としては、早起きを強制されるようになった。昔は早起きなんてとんでもない、という感覚だったが、何故か最近はわりと起きられるようになってきているので、そんなに問題ない。とはいえ、たまに深夜の深酒するのが好きなんで、それすると翌日が死にます、というのが、結構しんどい。昼間に寝ればいいんだけど、なんだかミーティングが多いということもあり……

保育園、「どこかに入れるか、否か」を決める条件に年収を入れるのはなんの不満もないのだけど、「どこに入園させるか」の条件に年収が入るのは、おかしいやろ、という気持ちになる。アルゴリズム的には、希望者を条件でソートする、希望者の上位から希望順位が上の園に入園していく、という感じらしく、まぁそれが一番実装しやすいアルゴリズムというのはそうなんだけど……

コンピュータを使っていいとしても、どうするのが良いのかな。既存のアルゴリズムで入園可否と、仮に入園する先を決めてから、ランダムに二者を選び、その二者の園を一定確率でスワップする。その確率は二者の希望順位の合計の変化量に依存する関数で適当に決める、とかを思いつく。これを十分な iter 数まわせばそれなりに公平になる。決定論的というか一回で終了するアルゴリズムは、ぱっと考える限り無いんでないのって感じ

何が言いたいかというと、保育園が遠いので、それはちょっとしんどい

(13:26)

_ 4TB

ディスクを集めた結果 4TB ある状態になった

( '-') sudo hdparm -Tt --direct /dev/nvme1n1

/dev/nvme1n1:
 Timing O_DIRECT cached reads:   3320 MB in  2.00 seconds = 1659.45 MB/sec
 Timing O_DIRECT disk reads: 8354 MB in  3.00 seconds = 2784.57 MB/sec

( '-') sudo hdparm -Tt --direct /dev/nvme0n1

/dev/nvme0n1:
 Timing O_DIRECT cached reads:   2774 MB in  2.00 seconds = 1386.64 MB/sec
 Timing O_DIRECT disk reads: 5566 MB in  3.00 seconds = 1854.66 MB/sec
i@u9 19:27

( '-') sudo hdparm -Tt --direct /dev/sda

/dev/sda:
 Timing O_DIRECT cached reads:   922 MB in  2.00 seconds = 460.79 MB/sec
 Timing O_DIRECT disk reads: 1082 MB in  3.13 seconds = 345.31 MB/sec

( '-') sudo hdparm -Tt --direct /dev/sdb

/dev/sdb:
 Timing O_DIRECT cached reads:   998 MB in  2.00 seconds = 498.05 MB/sec
 Timing O_DIRECT disk reads: 636 MB in  3.01 seconds = 211.58 MB/sec

これ /home を逆の方に置きたいやつだな……今さら面倒ではあるが、 4TB あるわけで順番に入れ変えていけば実現はまぁできるな

(19:36)

_ さくら

なんかコマンドとか送るとここに書けないということがあったのだけど、よくわからんセキュリティ機能の SQL インジェクション対策ということだった。面倒なので単にセキュリティ切ることで対処

(19:37)

_ nvme

なんか PC の口難しくなったなぁ、という感じ

AMD B650 チップセット ATXマザーボード
メモリ:DDR5対応メモリスロット ×4(最大128GB)
拡張スロット:PCIe 4.0 x16 ×1 / PCIe 4.0 x16 ×1 / PCIe x1 ×2
ストレージ:SATA 6GB ×4 / M.2 slot ×3 (PCIe 5.0 x4 ×1、PCIe 4.0 x4 ×1、PCIe 4.0 x2 ×1)

と言っていて、まずメモリは x4 で差すと遅くなるらしい。デュアルチャンネル的な話で、2枚を正しいところに入れると速いらしい。 64GB あれば十分やろ、と 32GB x2 を買ってさしたけど、もともとあった 16GB がもったいないなこれ……

PCIe はこの説明を見ると、普通のが 4 つあり、 M.2 のが 3 つあると言ってるのだろうか。 M.2 のうち1つぽいのは最初から SSD が入っていて、ただなんかゴツいヒートシンクついててよくわからん状態になっている。ささってる SSD は PCIe 4.0 のやつらしいが。そもそも M.2 て x4 と x2 で同じサイズなんかね

他の M.2 スロットは、ひとつはそれぽいのが見えていて、たぶんそれが PCIe 4.0 x4 のやつだと思うんだけど、だとすると、 PCIe 4.0 x2 のやつがどこにあるかはさっぱりわからない

PCIe ぽい口は、長いのと短いのがある。たぶんだけど PCIe 4.0 x16 の片方がグラボが差さっていて、残りの長いのが x16 てことなんだろうかな

とかやってると

https://download.asrock.com/Manual/B650%20PG%20Lightning_Japanese.pdf

がどうも仕様ぽいと気付いた。 M.2 は一個はグラボに隠れてて、上から 16GB/sec, 8GB/sec, 4GB/sec で、隠れてるやつが 8GB/sec なので刺しにくそう……

まぁ気にせず 4GB/sec に刺す安い 1TB 買うことに

(15:53)

_ パソコンセットアップ

前の手順がだいぶ古くなってきてたので書き直し

とりあえずインストール

sudo apt install git subversion g++ make gauche ruby python3 python3-pip lv libxrandr-dev libgc-dev libimlib2-dev libncurses-dev ghc ocaml rlwrap emacs gkrellm xscreensaver feh mlterm build-essential jq linux-image-extra-virtual linux-source zsh ninja-build cmake apt-file screen gauche vim

nvidia ドライバ

sudo apt-get install nvidia-driver-515 nvidia-dkms-515 nvidia-kernel-source-515
sudo vi /etc/modprobe.d/blacklist-nouveau.conf  # 以下二行を書く
blacklist nouveau
options nouveau modeset=0
sudo update-initramfs -u

CUDA: https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_network

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb
sudo dpkg -i cuda-keyring_1.0-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda

こまかいの

sudo apt-file update
sudo apt install autoconf automake libtool texinfo flex bison glibc-doc libc6-dev:i386 valgrind libopenblas-dev uim-skk ddskk libssl-dev libmpich-dev libcudnn8-dev libnuma-dev xclip hub mplayer vlc gcc-multilib curl wget daemonize nkf ncal git-lfs

諸事情で古い python が必要になってしまうので……

sudo add-apt-repository ppa:deadsnakes/ppa
apt -i python3.9 python3.9-pip python3.9-dev python3.9-distutils
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.9 100
cd /usr/lib/python3/dist-packages
sudo ln -s apt_pkg.cpython-310-x86_64-linux-gnu.so apt_pkg.cpython-39-x86_64-linux-gnu.so

sevilwm

cd ~/wrk/sevilwm
rsync -avr "i@xxx:wrk/sevilwm/dev" .
make
sudo cp sevilwm /usr/local/bin
sudo vi /usr/share/xsessions/custom.desktop
[Desktop Entry]
Name=Custom

その後 gdm を kill

w3m

scp -r i@xxx:.w3m .
cd ~/wrk
git clone git@github.com:shinh/w3m.git
cd w3m
./configure && m
sudo make install

apt-file

apt -i apt-file
sudo apt-file update

(11:17)

_ この日記システム

かなり謎の制約があるな……よくわからんが etc のパスを含めると forbidden 帰ってきたりするけど、これレンタルサーバがなんかしてないか

(11:23)

_ つまり

XSS で etc passwd を表示 するやつとかをフィルタしている気がする……？

(11:24)

_ CET 問題

CET 問題、 CTF にあるだろうけど、どう問題にするのかなとぐぐったら出てきた

https://ctftime.org/writeup/23905

なるほどエミュだと同じプロセスに設定があるなんて問題か。ちょっと面白いな

(23:20)

_ LLM に思ったこと

しばらくバブルが続きそうで、労働者としては何より。個人の興味的には AI バブルは終わって別のバブルが起きて欲しかった。残りはポエム的な話

NMT を見て、「あ、これは面白そう」と思ってチーム移って、ニューラル翻訳について思ったのは

https://twitter.com/shinh/status/797982306564587521

にあるように、「マンガに出てくるような学位とか取ってる系の7歳くらいの子。活字中毒でなんでもよく知ってるけど、発言に困ると「ニュースぽいから【ロイター】てつけちゃえ」みたいな知ったかぶりをはじめる」だった。データ量やモデルが良くなったのはあるけど、この認識は LLM に至ってもあまり変わっていない。いやまぁこれだけのことができるようになるんだなぁ……という感嘆はもちろんあるし、 ChatGPT 普通に使ったりしているけど

結局、論理というか、「確実に正しいものを積んでいって非自明なものを生む」というプロセスの不在が気にいらないんだよな。自然科学って基本的に、なんか世界に対する観測事実があって、それをモデル化して、そこから演繹してくと色々便利です、という話だと思うんだけど、計算機科学は、モデル化あたりまで人間が勝手にできる、つまり世界を好き勝手に作れるところが魅力だと思ってたのだけど、今 AI と呼ばれている、帰納的な AI はそれがないんだよな。「AI が何故こんなに賢いのか？」を人間が考えないといけないというのは、まさに自然科学ぽい

別に自然科学が嫌いというわけではないし、帰納的な AI が大手をふるってくれると僕の労働環境的にも都合が良いのだけど、でもやっぱ論理と抽象化を積む所業を AI にやってもらいたさがあるんだよなぁ

個人的には、現世代の帰納的な AI を論理で補強するとか、そこまでいかなくても、帰納的な AI の研究により論理やら計算やらについてわかることが増える、という、ということを期待してたのだけど、今の雰囲気的には帰納的な AI と、人類の理解の差は開いていきそうという感じ

まぁそれはそれでいいんだけど……ブラックボックスのまま人類が利用してきたことなんていくらでもあるし……ただまぁ、ルールを人間が作ってるところからくる全知全能感が計算科学の魅力のひとつだったのだけど、自然科学ぽくなってしまうんだなぁ、という感じだろうか

(01:11)

_ いや

step-by-step など、論理的なものを獲得してるぽいという話があるので、論理が無い、というのは言いすぎなんだろう。その論理が確率的に運用されてるのがもにょるところなんだけど、ただ人間も別に論理間違えるからと言われると、だんだんと哲学的な話になっていく

(13:41)

_ パソコンを買おう

5年前に買った12万のパソコンでずっと在宅勤務してるの……と気付いた

現状

• i7-8700 3.2GHz 6コア (coffee lake)
• geforce gtx 1060 3GB (pascal)

まず GPU を理解すると Ampere か Ada が最近ぽい。 RTX 16,20 が Turing で、 RTX 30 が Ampere 、 RTX 40 が Ada 。メモリがたくさんあれば速度は割となんでも良いので、 RTX 3060 12GB あたりがコスパ良さげ

Ryzen さんは 9, 7, 5, 3 が i7, i5 とかに対応してると理解。後ろの数字の 5xxx が Zen3 で 7xxx が Zen4 。持ってるノート PC は Ryzen 7 5800U 1.9GHz

https://www.dospara.co.jp/TC30/MC12198.html

https://www.dospara.co.jp/TC30/MC12100.html

あたりと出た。後者 DDR5 か

(19:03)

_ 親バカ日記

16ヶ月

ごはんを食べるようになった。離乳食をスプーンで与える、みたいなのは非常に強く拒否してたのだけど、手掴みやスプーンを自分で使うのを許し、離乳食でなく普通の食べものを与える、とすると食べるようになった。そんなもんなのか、という気持ち。なんというか、自立心みたいなのが出てきてるのに気付いてなくて、本当はもっと速く食べるようにできていたのかも、という気もする。がまぁ、たまたまそういうタイミングだったのかもしれない

麦茶をコップから飲めると良いらしいのだけど、哺乳瓶からでないとイマイチ飲まない。ミルク依存を減らそうと、粉ミルクをむっちゃ薄めているが、それでも普通に飲む。コップからは、飲むヨーグルトとかは飲むけど、牛乳とかは飲まない。まぁでもなんかあと少しでなんとかなるかなぁという感じ

自立心みたいなのが増えてるのは、たいへん楽しい。自転車に乗り込んだり、二階に上がりたいと手をひっぱってきたり、欲しいごはんを指差したり。いくつかの単語も、言おうとしていることがわかる感じになってきた。アンパンマンなど

(17:39)

_ 緊急対談 川上量生、立花孝志

https://www.youtube.com/watch?v=KPwDlYmzEIA

面白かった。どちらに賛同するかはともかく、議論バトルとしてはカワンゴ完敗という感じかなぁと思った。本人も認めているようだ

https://twitter.com/gweoipfsd/status/1638343198660780039

立花孝志て、とんでもない人だと思っていたけど、なかなかどうして弁が立つのだなぁ。言ってることに同意するかはともかく、と書きかけたけど、言ってることには同意するんだよな。やってることを支持しないだけで

(17:57)