NNCP のアプローチは、デコード時にエンコード時と完全に同じ計算をしていないと、展開が破滅するため、再現性が必須
そういう理由で tensor library を C で自作するあたりが、「ああこの人だ……」という感じ
珍しく OSS じゃない、なんでだろう
llama.cpp の人も影響を受けたらしい
I was definitely inspired by Fabrice Bellard. He had a similar Tensor library, LibNC I think it’s called.
v2 はフツーに PyTorch と deterministic モードらしい (つまらない)
と思ってたら v3 は↑を書いたすぐ後に LibNC に回帰した (さすが)