はじめてのにき

_ まとまるくん

http://int.main.jp/txt/matmul/

を見ながら色々マネたり、その他いろんな方法でmatmulについての知見を深めた。

まず思ったのは、僕は本当に線型代数ダメやなーということで、もうなんかマジで行列の計算とかが正しく書けない。すぐに総当たりで色々やってみてテストが通ればOKみたいな感じになってしまう……「行列はギリギリ大丈夫だけど、3次元になるとサッパリわからなくなります、ゲヘゲヘ」みたいなこと言ってたけど、まあ2次元でもダメぽかった

知見と言ってもまあ常識と言って良いことなんだろうけど、僕はこういうの実感が伴ってないと生きないタイプなので……

• 物理屋というか僕の記憶では mat * row-vec てのが基本だった気がするんだけど、 col-vec * mat が基本なのよね情報系。 row-vec * mat みたいな意味不明な絵を描いて……うーん〜おかしいな〜〜みたいなムダな時間を使いまくり。
• 左辺の col-vec の方の row を増やすと batch が増えるてので使い勝手良いのはすごくよくわかった。
• mat * mat は速い。 vec * mat は遅い(ぽい)。いやー batch 増やした方がいいと言われるわけやね。
• mat * transpose(mat) は速い。これはうーんなるほどというか、普通にもっと知られてて良い、非常に有用な知見だと思ったが、そもそも僕の見識が足りないだけな気もする。
• 僕は普段最速を目指したいとか思うことはなくて、滅多に無い比較的マイクロな最適化があったら良い状況でも、「まあだいたいメモリのアクセス順が飛ばないようにしときゃいいしょ…」くらいでそんなに悪くない。でもまあ中二病的な理由でもちょい知っておきたいなあと思ったのだけど、相変わらずそのへんの知見はイマイチ深まらなかった。
• そもそも vec * mat で fma がスーパースカラにならん(たぶん)のはそんなもんなんだろうか……ちゃんと数勘定しないとなあという感じしかない

そんなこんな。

(02:26)