はじめてのにき

_ がっちゃんこ

口から出る言葉の2割くらいが幼児語になってる気がするので、そろそろ仕事でも幼児語で喋りだしそうという気がしている

二つの配列を concat する的な意味で、「がっちゃんこ」という言葉を使っていたことに気付き、ぐぐってみると、むしろオッサン語だったようだった:

https://nlab.itmedia.co.jp/nl/articles/2204/30/news013.html

(16:53)

_ 親バカ日記

19ヶ月

10-20種類程度の単語を、いろいろとあやしいが使うようになってきた。読んでる本によると意味を過剰に拡大するのはあるあるらしく、そんなものらしい。「くぅき(おそらくクッキー)」は「なんかおいしいもの」くらいの認識で使ってそう。ただ僕のメガネもクッキーと呼んでいたのはかなり謎だった。「あんまん」はアンパンマンをさしているんだけど、アンパンマンのまわりの連中や、テレビにアニメキャラが出てきたら「アンマン」と言っている。犬でも猫でもライオンでもペンギンでも「ワンワン」は特にあるあるぽい

よく外を指して「パパ」と言っている。ごく稀に僕を指差して「パパ」ということもある気がするが、どっちかというと外出という行為を指しているのだろうか。まぁ「パパは出ていけ」という意味である可能性もあるが……体温計を取り出すと胸のあたりを指さして「ここ」と言うなど、「ここ」の概念は理解していそうで、意外と難しいところからわかるのだなぁ、などと思う。シナぷしゅという教育番組に「がっしゃーん」と言いながら色んなものを組みたてるコーナーがあるのだけど、「がっちー」と言ってなにかを組みあわせているので、かなり意味が読み取れてそう。音程やリズムがあっているので、他の単語のことを言っている可能性はなさそう。「がっしゃーん」を破壊でなく創造の意味で使っている、シナぷしゅのローカル表現を特に偏見なく吸収していると思うとちょっと面白い

猫に対して「ワンワン」と言い続けるので、これは「ニャーニャー」、と教え続けると、「ニャーニャー」を連呼するようになるが、そのモードに入ると今度は犬も「ニャーニャー」になる。色に関して、「あか」と「あお」はかなり早い段階で言っていた。ただ全ての色を「あか」と言っているので赤という概念はわからないらしく、よくわからない。これもワンワンと同じく、青が出てきた時に「青」と教えると、次からは赤でも青でも「あおー」になる。「これ仮に色盲だと、色を教えてる時間ムダよなぁ」と思っていたのだけど、レゴで同じ色をひたすらつなげたりしているので、どうも色の識別はできるらしい。つまり、「あかー」「あおー」は何のつもりで言ってるのかさっぱりわからない

二語文はほぼ使えていないが、「これ、おいしー」くらいは半分マグレかもしれないが、言ったりしている。文に関しては、二語と言わずかなり長大な演説をしていることが多く、8割くらいの発言はそういう意味不明な演説になっている。まるで意味がわからないが、何か考えて何か意図があって喋ってるのかなぁ、と思うと楽しくなる。たまに聞き取れる単語が混じっていて、何故か演説調なのもあり、おおむね「スターリン」だけ聞きとれる総統閣下はお怒りのようですシリーズに近い

また、言語外のコミュニケーションも強くなってきている。言葉が通じないなりに、冷蔵庫を指差してお茶が欲しいと伝えてきたり、スプーンを「ん」とか渡してきて、かわりにフォークが欲しいと伝えてきたりする。なんでカレーをフォークで食いたいかが謎なんだが、まぁその手の謎のこだわりは色々とあるようだ。自転車移動で超短距離になる予定なので、めんどくさいしいいかとヘルメット無しで行こうとすると、「ん」とかヘルメットを指差していたり。決まったやりかたでやるというこだわりが強いのかねえ。こっちの指を掴んでどこかに連れていこうとしたりするのはかわいいが、意図が伝わるぶん腹が立つ種類のこともある。特に、これはもう食いたくないということを伝えるために食事を床に捨てるのには辟易するが、まぁこれも超あるあるのやつだろう

(22:06)

_ geohot

https://twitter.com/pommedeterre33/status/1671263789914677248

これ結構な秘密だと思うんだけど、また訴えられたりしないんだろうか。なんかでもシリコンバレーあるあるで、外部にいると深淵な秘密に思えるけど、研究者界隈だと公知みたいな感じなのかもしれない。 LSTM からトランスフォーマーまでとか、かなり情報交換されてた印象があった

(11:14)

_ 親バカ日記

18ヶ月

マジであるあるらしいが、そのあるある通り、子が保育園から病気を家に運んできた、たぶん。僕自身も子の後で熱が出たし、僕自身は基本病弱にも関わらずコロナの間はゼロ風邪だったこともあり、状況証拠的には子が運んできた風邪に親がかかった、で良いだろう

なんか今回の風邪は不思議なカゼで僕は 39 度が二回出たんだけど、それ以外特に症状がないカゼで、まぁ僕というのは人生経験1年程度の若輩者と比べると、まあまあ強いので、あまり問題にならなかった。それより問題なのは子が元気なクセに熱が出ていて、家にいるとか、保育園に行ったにも関わらず熱出たと強制送還されるということであり……疲れた。1週間ほど、あまり仕事にならない感じの日が続いたが、これは仕事の状況を俯瞰する良い機会だったかもしれない、そうでもないかもしれない、わからないが、

子の病気についても、それ以外の近況についても、思うことはいろいろとあるが、僕からすると妻の姪に当たる、ほぼうちの子と似たような年代の子が、なんといえば良いのか、突然厳しい病気にかかり、なかなか厳しい病態であるらしい。ぼくがしんみりしていて良いことは何もないのだけど、しんみりとしてしまう

(22:13)

_ ループ中に要素追加するやつ

https://twitter.com/kemuniku/status/1661635386916114438

面白いなあ

(13:56)

_ 突然質的変化する話への反論

どこだっけな、となったのでメモ

https://arxiv.org/abs/2304.15004

雑なたとえをすると「中二の課題を全小中学生に解かせて、中二になった途端正解率が上がったので教育は8年で質的な変化が！」みたいな話に思えるので、まぁ普通に考えてまともな反論だとは思う。一方で人類の大半が解けない問題を解けるようになると、もはや人間には有効性のある metrics を作ることもできなくなってくるので、そういう意味では質的転換が起きつつあるタイミングというのはまぁそんな気もする

(13:02)

_ 脳外科医の竹田くん

https://www.pixiv.net/user/91224487/series/187899

実話ベースらしい。こわすぎ

そしてホントかウソか知らんけど、この人まだ現役で働いてるという情報も見た……

(20:43)

_ 逆ポジショントーク

https://www.itmedia.co.jp/news/articles/2305/09/news195.html

ポジショントークってあるけど、「自分のポジション考えるとその発言は無いよね……」な感じで、逆パターンという気がして面白かった

賛否両論のようだ。仮に、いつものようにコンビニに行ったら、店員が「毎日コンビニ弁当とかありえないよなー自炊しろよ」とか大声で言ってて、店長が注意した、くらいの感覚で、まぁそれは注意するのではないの、と思った

まぁなんか一方で厳重注意側のツイートも、もうちょっとなんかねという感もわからんでもない

(21:58)

_ we have no moat

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

かなり楽しくないと書いた直後に、かなり楽しい文章が。都合の良い怪文章を cherry pick して喜ぶとか陰謀論と変わらんという感じだけど、これは盛り上がる文章だなあ。他もいろいろ楽しいが、モデルでかくしすぎてもねえ話がとても良い

Giant models are slowing us down. In the long run, the best models are the ones
which can be iterated upon quickly. We should make small variants more than an
afterthought, now that we know what is possible in the <20B parameter regime.

プロプラバカデカモデルとか何も楽しくないんだよな。バカパラでない大規模計算の類が好きでなさすぎる病にかかっている身としては嬉しい。やっぱ計算はコンピュータ1台でできるくらいのが良いよね

Focusing on maintaining some of the largest models on the planet actually puts us at a disadvantage.

とかも良いねえ

(12:40)

_ Mojo

https://docs.modular.com/mojo/

うーむ。なんかこうプログラム言語を楽しく思う気持ちがすりへってしまっているな。 swift ではなにがダメだったんだろう

(15:04)

_ LLM に思ったこと

http://shinh.skr.jp/m/?date=20230326#p01

では使う方面側だったので、技術よりな感想

パラメータを増やせば性能が上がる、というのは、かなり楽しくない。速いメモリがたくさん必要です、以上のことにならないので……特に学習側はどうなんだろうねえ。推論の方はマシというか、バカみたいにあるパラメータを圧縮する話になると、学習側も楽しそうではある

圧縮と言っても、データ圧縮がんばるぞ、てよりは、現状の LLM だと、少ないパラメータ量をコスパ良く使うような構造を発見するところからなんだろうけど……方向性としていろいろありそうだけど

• CNN みたいな再利用。画素みたいに自明な方向はないので、同じ重みを複数のチャンネルグループに使う、とかなのかねえ
• 重みを明示的に再利用する。 RNN 以外であまりうまくいったイメージがないけど
• factorize する系
• 重みがあるのはしょうがないが、条件次第で読まない。つまり MoE
• それ系で言うとやっぱ決定木的なやつとのハイブリッドをやって欲しいけど。決定木って圧縮効率高いよねえたぶん

データ圧縮がんばるぞ系でいうと、本質的に符号と仮数部がおおむねランダムなので、なんというか難しいよな。いや非可逆圧縮は単に仮数分の下捨てればいいのはシンプルなんだけど。えーと例えば、指数部が小さいデータの仮数部は捨てる、とかどうなんだろう

(16:43)