はじめてのにき

_ まとまるくん

http://int.main.jp/txt/matmul/

を見ながら色々マネたり、その他いろんな方法でmatmulについての知見を深めた。

まず思ったのは、僕は本当に線型代数ダメやなーということで、もうなんかマジで行列の計算とかが正しく書けない。すぐに総当たりで色々やってみてテストが通ればOKみたいな感じになってしまう……「行列はギリギリ大丈夫だけど、3次元になるとサッパリわからなくなります、ゲヘゲヘ」みたいなこと言ってたけど、まあ2次元でもダメぽかった

知見と言ってもまあ常識と言って良いことなんだろうけど、僕はこういうの実感が伴ってないと生きないタイプなので……

• 物理屋というか僕の記憶では mat * row-vec てのが基本だった気がするんだけど、 col-vec * mat が基本なのよね情報系。 row-vec * mat みたいな意味不明な絵を描いて……うーん〜おかしいな〜〜みたいなムダな時間を使いまくり。
• 左辺の col-vec の方の row を増やすと batch が増えるてので使い勝手良いのはすごくよくわかった。
• mat * mat は速い。 vec * mat は遅い(ぽい)。いやー batch 増やした方がいいと言われるわけやね。
• mat * transpose(mat) は速い。これはうーんなるほどというか、普通にもっと知られてて良い、非常に有用な知見だと思ったが、そもそも僕の見識が足りないだけな気もする。
• 僕は普段最速を目指したいとか思うことはなくて、滅多に無い比較的マイクロな最適化があったら良い状況でも、「まあだいたいメモリのアクセス順が飛ばないようにしときゃいいしょ…」くらいでそんなに悪くない。でもまあ中二病的な理由でもちょい知っておきたいなあと思ったのだけど、相変わらずそのへんの知見はイマイチ深まらなかった。
• そもそも vec * mat で fma がスーパースカラにならん(たぶん)のはそんなもんなんだろうか……ちゃんと数勘定しないとなあという感じしかない

そんなこんな。

(02:26)

_ まとめて読むと

http://tyoshiki.hatenadiary.com/entry/2017/06/07/224433

ヨッピーさん微妙だなぁというか、

http://tyoshiki.hatenadiary.com/entry/2017/06/07/173553

の感想に同意する感じだった。おおつねさんと関わったらとりあえず不幸になる感がすごい

(03:04)

_ id:fromdusktildawn

http://b.hatena.ne.jp/entry/s/mstdn.onosendai.jp/@shi3z/523040

ひさびさに見た名前だった…

(03:31)

_ まともなまとめ

https://news.yahoo.co.jp/byline/tokurikimotohiko/20170610-00071939/

だなあと思った。 sさんには何も期待されてないというのがまた

(13:46)

_ 参戦

すごいのがきた感

http://b.hatena.ne.jp/entry/d.hatena.ne.jp/shi3z/20170609/1496959810

natsutanさんの「エンチャントムーンを買った人は、この人に好きな事言えるぞ」がよかった

(13:19)

_ ヨッピー vs otsune

https://www.facebook.com/yoppymodel/posts/1084637998332922

やねうらお vs void を思い出してるタイミングだったのでタイムリーだなぁとか思いながら見てた。

https://twitter.com/shinh/status/871705949895094273

感想としてはヨッピーという人つよいなぁというところでした。内容については特に意見はないけど、話のしかたとかなんとかで、はい

(01:56)

_ レグレッションの検知

最近入れたレグレッション検知装置がアラートメールを投げてくる。見てみるとパフォーマンスが良くなってるのに飛んできている。どうも良くなったらアラートが飛ぶように書いてしまっていたようで、かつ良くなったらレグレッションとみなされることを確認するテストまで念入りに書いてあった。

(23:39)

_ チャーハン

料理ブログが中断されていた。適当にチャーハン3つ。チャーハンはラクなので適当によく作ってた。以前はもう少しパラっと作れてた気がするけどベチャベチャする。難しい。というかどうやって作ってたのかよく思い出せない。

基本そのへんにあるものを適当にぶち込むので、ブリチャーハンとかあったはずだけど、写真無いな

だいたいの製法: 細かいタマネギと焼く。塩胡椒とニンニクと鷹の爪と一緒に焼く。肉なりネギなりなんなりを焼く。気が向いたら豆板醤とか入れる。ご飯を焼く。気が向いたらオイスターソースとか甜麺醤とかコンソメスープとかなんかそのへんにある調味料を適当に入れる。卵を入れて焼く。醤油を焼いて混ぜる。できあがり

韓国海苔、肉は何入れたんだろうこれ

ひき肉

豚バラ、ホウレンソウ

(10:36)

_ AVX

ひさびさに少しSIMDを書いて中二欲が満たされた

https://github.com/shinh/test/blob/master/topk.cc

(14:57)

_ LSTM based system call language modeling

https://openreview.net/pdf?id=rksfwnFxl

わーおもしろ。というかあーなるほどーその手があったか、て感じ。

システムコールの呼び出し順で言語モデル作って、それでアノマリーディテクションするっていう。 Figure 5 のシステムコールの embedding のビジュアライゼーションも笑える

(01:38)

_ WebAssembly

https://twitter.com/rui314/status/866525482937851904

むしろ逆張りした方が正解率が高くなると自負する私の予想では、wasmは流行らないんじゃないかなぁと思っているなぁ。流行って欲しくはある。以下の観測はたぶん結構間違っているが、あってるところもあると思う

• NaCl と比べてコンセプトがまとも、は全くその通りだと思う
• デザイン的な良し悪しで流行る流行らないは決まらない(がまあ良いものが流行るにこしたことはないのだけど)
• 何かできることが増えて、それが魅力的だと、デザイン的にゴミでも流行る(例えば AJAX)
• ブラウザ上でネイティブバイナリが高速安全に動く、はそれだけで流行るほど魅力的な要因では全くもってない
• 少なくともapt-getで入る程度のライブラリは、書いたコードがそのまま動きます、くらいになってないと本当に全然魅力的じゃない
• これは NaCl から学べることだと思うけど、一つ上を達成するのは、もうホントびっくりするくらい大変
• ツールチェインはまぁやれば有限の努力で完成する…が最新のツールチェインに追従するリソースが必要
• 意外とみんな asm("rdtsc") とか syscall(__NR_gettid) とかやってやがる。 fork はどうするの、とかランタイムレベル大変
• 例えばゲームのためのOpenGLとか、普通に考えて使いたいだろな、って用途をサポートするには、ブラウザのAPIをwasm側に見せるとかが必要で、これはランタイムより多い勢いの作業が必要 (NaClの場合Pepper)
• プラットフォームが流行るためには、実際にAPIを使ってくれるアーリーアダプターがガンガン使って宣伝してくれる必要があって、これはすごいエンジニアリングでない労力が必要

ネガティブなこと書くと正解率高くなるから、この手のネガティブ予想はあまり好きでないのだけど…まぁでもwasmは結構頑張ってほしいと思ってる。wasmはNaCl出身の人も関わってるので、そんなことわかっとるわ、という感じでうまくやってくれるかもしれない。けど、今のところほぼツールチェインのことを考えてて、ランタイムも少し考えるけど、それ以降はほとんど予定は未定、みたいな感じに見えるなぁという気がする

流行る未来があるとすると、ほとんど計算しかしないようなキラーアプリが現れる、てことしか無い気がしていて、これは最近ニューラル脳の僕に言わせれば、ニューラルさんのinferenceしか無くねーという気がする。幸いSIMDとかはランタイムとかよりは進んでる印象あるしなー

(00:21)

_ g940455

酔っ払って大学時代の計算機システムが面白かったという話をしていた。それはそうと、懐しく思って、自分の学部前期時代の学籍番号というか、計算機システムのユーザ名で検索をしてみた。後期時代は2年と短かったせいもあるだろうし、単純に大学の計算機システムへの依存が減ってたこともあって(具体的には自宅にインターネットが無かった)、番号を思い出せなかった。調べればまあわかるだろうけど。

黒歴史と言われるかもしれない結果が並ぶわけだけど、まぁ僕は黒歴史を大量に作ることによって黒歴史を隠すタイプの人間だと思うので、まあとくに問題はないということにしている。

で一番最初に出てきた結果のこれなんだけど

http://flex.phys.tohoku.ac.jp/japanese/book95/tex/Q3-3.tex

なーんか物理ぽい内容の TeX 。最初はこう、学生時代に割り振られたとかでイヤイヤ作った試験対策プリントみたいなのが生き延びてるのかな、とか思ってた。けどこれよく見ると tohoku.ac.jp で、かつ URL を削ってみると、本の公式サイトなのであった

例題の解答 TeX を全部まとめてコンパイルしたぽい PDF はここにあった

http://flex.phys.tohoku.ac.jp/japanese/book95/tex/QA.pdf

もう微塵も覚えてないのだけど、たぶんこの演習問題に解答した人は解答例として晒されうりますよ、て前提で課題を出していて、その解答例を今でも律義に残してるんだろうなと思う。なんか本自体は絶版されてるぽいのに。

当時は東大にいた先生だろうから、移転してもちゃんとこのディレクトリはコピーして Internet+Google accessible な感じで残してくれてたということだ。なんと言えばいいのかわからないけど、こういうのは大好きだ。

しかし問題は自分の書いたはずの数式+説明を、今現在全く理解できないことで…何言ってんだこれ。

(20:52)