はじめてのにき

_ we have no moat

https://www.semianalysis.com/p/google-we-have-no-moat-and-neither

かなり楽しくないと書いた直後に、かなり楽しい文章が。都合の良い怪文章を cherry pick して喜ぶとか陰謀論と変わらんという感じだけど、これは盛り上がる文章だなあ。他もいろいろ楽しいが、モデルでかくしすぎてもねえ話がとても良い

Giant models are slowing us down. In the long run, the best models are the ones
which can be iterated upon quickly. We should make small variants more than an
afterthought, now that we know what is possible in the <20B parameter regime.

プロプラバカデカモデルとか何も楽しくないんだよな。バカパラでない大規模計算の類が好きでなさすぎる病にかかっている身としては嬉しい。やっぱ計算はコンピュータ1台でできるくらいのが良いよね

Focusing on maintaining some of the largest models on the planet actually puts us at a disadvantage.

とかも良いねえ

(12:40)