はじめてのにき

_ 機械学習、温故知新

https://turingcomplete.fm/14

でshiroさんが、「昔やったことが意外なところで役に立つことがある」的なことを言っていて

http://rebuild.fm/206/

でも森田さんが、「今現世的な益がなさそうに見えても面白いと思ったことをやっておくと、後でその仕事が必要になって飛び込むことができるかもしれない」というようなことを言っていた。

これは本当に良い話(rebuild聞いてて気付いたけど、僕も「良い話」という言葉を時々使うのは完全に森田さんの影響だな)で、昨今の深層学習は温故知新的な話が多いなあと思う。大きいところでは

• ニューラルネットが深くなっても学習可能になって、不死鳥のように蘇えった
• Uberが「GAも生き返る！」とか発表したりしたり https://eng.uber.com/deep-neuroevolution/
• 計算リソースがアホみたいに必要だけど(現段階では)単純な処理しか必要ないため、GPUですら機能多すぎでオーバーキルで専用アクセラレータ作るってのが普通になった
• systolic arrayとか死語だったらしい
• プログラム言語もどういうのが適切かーみたいな話をみんな考えてて、突然swiftがあらわれたりと
• 型システムも再考されるべきだと思う。中途半端な依存型みたいなのがたぶん欲しい

などなど

(10:36)