はじめてのにき

Brad Raffensperger: Mr. President, the problem you have with social media, people can say anything.

President Trump: No, this isn't social media. This is Trump media. It's not social media.
It's really not. It's not social media. I don't care about social media. I couldn't care
less. Social media is Big Tech. Big Tech is on your side. I don't even know why you have
a side, because you should want to have an accurate election. And you're a Republican.

しかし "on your side" とか本当に完全に世界を敵と味方に分類するような思考なのかなあ

(09:35)

[ツッコミを入れる]

2021-01-04

_ attention

なんかアイデアは知性に近づいてる感じがして好き。ただ、 transformer/BERT はやりすぎっていうか、 B/F がたまたまトレンドに反して上がったタイミングだった(要出典…… B/F の時系列グラフとか探したい)から刺さっただけで、もうちょい控えないと SOTA はともかく実用はしにくいんじゃないのかな……という気持ちがある

一方でそんなの関係なくハードウェアの進歩で SOTA そのまま乗っけりゃ動くからいいじゃん、となる可能性もあるが

(13:55)

_ chessformer

http://warpdoor.com/2021/01/02/chessformer/

おもしろかった。こんなシンプルなルールで面白いゲームになるとは

(23:04)

[ツッコミを入れる]

2021-01-03

_ bump allocator

について考えてた。コンパイラとかは最初にガーと alloc して、作ったデータ構造は解放せず、解析の中に解析用のデータ構造を alloc/free する、というパターンになる。これは割と GC 泣かせなアクセスパターンであることが知られている……らしい。なんか世代別があれば良いような気がするけど

やろうと思えば一瞬で作れるからだろうけど、案外実装が転がってないような気がする。昔からあるものとして、 libiberty の obstack や、 apache だと apr_pool だっけ、そんなのがある。まあ GNU とかいかにもコンパイラぽい最初にガーと alloc パターン多そうなのと、 apache もリクエストごとに確保した領域を途中で捨てる必要がないのはよくわかるので、まあそういうところにあるのはとてもよくわかる

bump allocator には地味に良い特徴があると思っていて、アドレスが昇順になるように実装が簡単にできる。これは結構おいしくない？というのは、なんか僕は気楽に `std::set<Value*>` みたいなのを作って、それだけならいいんだけど iteration してしまって、すぐプログラムを非決定論的にしてしまう癖があって。。。根本的に解決するいい方法ないかなあ、とあれこれ考えてて、 bump allocator は割と一石二鳥な感じで良いんじゃないかと……

昇順になってることを保証しようと思うと、 mmap を一回だけ行なうか、あふれた時にもっと先のアドレスを取りに行くように MAP_FIXED で指定しないといけない。まあ、なんか巨大な領域を一回だけ alloc すれば良いように思う

あと、 C++ フレンドリーにするとデストラクタを持たないといけない。単純に考えるとアロケートしたものに対して std::vector<std::pair<void*, std::function<void(void*)>>> みたいな感じで、アロケートしたオブジェクトと、デストラクタの組を管理領域に持っておけば良くて、これだと allocation ごとにオーバヘッドが 16B か。サイズ 4G は越えないっしょと int で持って、デストラクタなんて 4G 種類もないでしょと配列に入れたデストラクタを index で取ってくるような感じにすれば 8B には簡単になりそう。サイズが 65535 以下でデストラクタが 32767 種類以下の時だけ短く持つとかすれば 4B になるが、誰もそこをケチってくれとは言っていないのであった

元の話に戻ると、決定論的にするには、単に使いやすい ruby/python の Hash/dict 的な挿入順序覚えてくれるやつがあれば解決なんだよな。 torch に OrderedDict はあるけど……

なんというか、普段書いてるコードが多すぎて食傷気味で、こういうやつにぱっと手を動かすのがダルくなってる感じがある

(18:03)

_ ちなみに

map に入れたいオブジェクトに通し番号振っておいて、 std::less をそれ使うようにする、てのを最初にやってみて、まあそれで動くのだけど、 forward declaration してあるとダメというのがなあ……となっている

(18:09)

_ ordered map/set

https://github.com/shinh/test/blob/master/ordered.h

https://github.com/shinh/test/blob/master/ordered_test.cc

あと emplace operator[] の口用意するのと、 erase 2 種類くらいあれば実用できるくらいなのかな。。

(18:52)

[ツッコミを入れる]

2020-12-31

_ ふりかえり

コロナ除くと chainer 終了が大きかったかな……と思ったけどそれは去年だった

コロナは、自分の生活への影響ということだけを考えると、とても大きな事件だった。 911 とか地震とか、運良く、僕個人の生活にはあまり影響がなかったので。影響だけで言うとリーマンショックとかは収入への影響が大きかったのかもしれないけど、あまり理解してなかったな

コロナは、正直世間には申し訳ないが、うちの生活は向上したくらいな気がしている。二人とも精神状態が良い。一応仕事を10年以上やってることもあり、転職からは十分に時間が経ってたこともあり、出社しないと困るということは何も無かった。たまたま仕事が楽しい時期ということもあり、やることなければ、まあ暇潰しに仕事するか……となるだけだし。今のタイミングの新卒の人とかは大変そうだなーとは思っている

海外旅行できなかったなーというのはあるけど、まあ goto とかで国内旅行はしたしなぁ。コロナ以降、出社は15分くらいしかしなかったけど、普通に出歩いてるし大手町を通ったりはしてる、みたいな話をしたり。うちは全く出てない、みたいなことを言われて、なんか人によって対応の温度感が違う感じやね……と思ったり

会社はなかなかラクではないようだ。客が苦しいとこちらも苦しいという話だろうと思う。そういう意味では向上したというだけではないのだろうけど、会社のことは、議論とかもするけど、どことなく他人事というか、まあ所属組織に思い入れとかを持ちにくい考え方なのだろう。まあ会社が小さいぶん、グーグルにたいしてよりは PFN にたいしての方が思い入れはあるけど

生活といえば、なんかの間違いで中途半端にオサレ物件に引越してしまって(メゾネット！)、快適は快適なんだけど、コスパ悪って感じなので、まあまた引越すんだろうな。もう埼玉あたりでいいんじゃない、という感じなので、まあそうなる気がする。ただなんか、対面飲み会とかは、それはそれで恋しいものが少しあるし、遠すぎるとコロナから回復した後も全く出社しないのはそれはそれでどうなんだろう……という気もする。いやどう考えても自分のラクさを取る気もするが

WFH ラクなんだよなあラクだなあ……時間があまるぶん、仕事をするというのがある。愛社精神は足りてないが、特に苦もなく仕事できるもんだから、たくさん仕事をした。たぶん人生で一番働いた年だったと思う。たくさん働くのは美徳でもなんでもなく、労働を安くして他の人を不利にする悪行である、と思ってる僕ではあるけど……まあベンチャーなんだしいいんじゃね、としている。いや、ダメな気がするけど……自分の過剰労働を置いておいて、過剰労働を必要とする態勢を罵倒するダブスタ野郎になっていた。いや、過剰労働と言っても、まあせいぜいどのくらいだろう。1日10時間とかくらいな気がするので、普通の感覚ではたぶん、ちょっと多めくらいな気がする。まあ僕にとっては過剰ということで

罵倒といえば、強い言葉を使いすぎているというのがあって、なんか元々口は災いの元タイプなんだけど、その傾向が強くなってると思う。後で思い出して恥ずかしいやつなので、まあ控えたいな……ただ語調はともかく、思ったことをはっきり言っておくのはおおむね良いことが多いような気がしている

PFN はこうプロジェクトごとに割と文化がガラっと違うので一概には言えないぽいのだけど、今の自分の回りの人がおだやかな、静かな人が多くて、なんかおかしいな、と思った時にすぐ言わないと、割とそのまま流れて決定になっちゃう気がしている。だからまあなんかちゃんと言った方が良いことは多い気がしている……でも語調強い必要はないよねという話は当然あるのと、あともう一つ、僕が間違ってる時に困るというのがある。なんかたまに、間違った主張してるのに押し切れてしまっていることがある気がする……いや、普段静かなんだけど、僕がおかしなこと言ってる時にちゃんと潰してくれる人達というのは普通にいて、まあそれはとてもありがたい

まあ人々が静かでも強力なリーダーシップを持ってる人がいれば大丈夫という気がしていて、なんかそのへんは PFN もともと組織構造的にも集めてる人的にも弱いところなのかなあ、という気がしている。いや、 VP/director レベルの人がすべからく強いリーダーシップを持っている、グーグルがそのへんの意味で恵まれすぎていただけかもしれない。僕の言う強いリーダーシップというのは、1ヶ月後にキャンセルされるプロジェクトに従事している人に対して「これは会社にとっても最も重要なプロジェクトの一つだ……お前の貢献には感謝している、今後も頑張ってくれ」と目を見て言えるサイコパスのことなので、まあなんというか、かなり特殊技能というか、その能力を持っていないことを気に病むような性質のものではないと思っている……

仕事は……去年は chainer 閉じるとか、使うチップの選定だの、推論のデプロイ案件がどうこうだの、なんかごちゃごちゃと色々あった感じだったのだけど、今年は基本的に MN-Core のことだけ考えてた。いやデプロイも一つか二つあったけど

MN-Core は……こう僕のイメージでは cudnn とか mkldnn 的なやつをチップに詳しい人が作って、それをうまいこと使う感じなのかな、と思っていた。なんかでも、それは既にあるソフトウェア資産的にも、人の労働力的にも、色々と難しそうだなあと思ったのが去年で、なんかそれから積極的に関わるようになって、今に至っている

少なくとも1人プラス既にチップ関係に存在してる人の片手間、ではどうしようもなさそうだったので、とりあえず新しく採用した人2人と僕の3人ですごい基本的なことを色々やって、いつごろまで3人だったんだっけ……今年入ったくらいで、今の方向性でなんかそれなりにソフト書けそうみたいな雰囲気を説得できたのか、単にあまりに何もできてなくて焦ったのか、どかっと人が増えて、新卒とかも入って、今の体制になった。なんというか進んでないプロジェクトにドカっと人入れるとかバッドシグナルでしかない気がするけど、まあギリギリ人が来ればスケールできるくらいの体制になってたのでなんとかなったという面が少しと、入る人が有能でなんとかしてくれた、という面があったのかな

全てに満足とは言えないけど、強い人達がそれぞれに自分の強みを生かして働いている感じで、なるほどーということも多く、わりと楽しい。色んなものが期待通りではないものの動き始めていて、「何も動いてないけどこれやり続ければなんとかなるはず……」的な精神的には一番厳しいフェーズが終わった気がしている

問題の難易度を考えると、びっくりするくらいうまくいっているというか、そんな気がしているのだけど、気のせいかもしれないし、そもそもこれは解くべき問題なんだろうか。。という感もある。ここで書いた、「重要性のある簡単な問題を解く」方がコスパいい問題というか

http://shinh.skr.jp/m/?date=20200703#p01

いや僕個人としては、日々他で全く有用でなさそうな経験や知見を得て、とっても楽しいので良いのだけど。あと、ハードウェアの進歩(退化かもしれんが)の方向性として、まあ MN-Core みたいな演算器ヘビーなやつが今後もどんどん増える、てのは、まあそんな気もしている。つまり案外役に立つ経験という可能性は、薄いけど、ありそう

今年は視野を狭めて集中する年だったので、また俯瞰みたいなことに時間使いたいなと思っている。 TVM とか今どんな感じなんだろう。追わなくなってしまっている。あと CV 飽きたなという感がある。まあそれは別のこともやれそうな雰囲気が既にある。あとはせっかくなので HDL とかもっと読む感じになると楽しいかもしれないけど、どうだろうな……

あとは、引き続き普通に生きるというのと、引越しかな……引越しはあんま積極的にする必要もないのだけど

(23:16)

[ツッコミを入れる]

全てリンクフリーです。コード片は自由に使用していただいて構いません。その他のものはGPL扱いであればあらゆる使用に関して文句は言いません。なにかあれば下記メールアドレスへ。

はじめてのにき

2021-01-18

_ 議会動画群

_ ハイテク

2021-01-17

_ vscode

2021-01-14

_ 言論統制

2021-01-11

_ トランプ

_ parler

2021-01-09

_ Teacher attack chance!

_ CSS

2021-01-07

_ topk

2021-01-05

_ find 11780 votes

2021-01-04

_ attention

_ chessformer

2021-01-03

_ bump allocator

_ ちなみに

_ ordered map/set

2020-12-31

_ ふりかえり


		2024年 11月
日	月	火	水	木	金	土
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30