NNCP のやりかた

• 入力データ X を使って予測器を学習させ、パラメータ W(t) を得る。この時 X は過去のデータしか参照しない方法を使い、 0 <= t < len(X) で学習過程で変化する
• F(X(t),W(t)) で出てきた確率分布をエントロピー符号で符号化して E を得る
• E のみを出力する
• デコード時も、エンコード時と完全に同じ学習プロセスを回し、デコード時に各時刻での W(t) を再現しながらデコードする

エンコードもデコードも、入力データの学習を 1 epoch やっている感じ。古典圧縮モデルのパラメータと違って、 NN は非常にパラメータが多いので、パラメータを出力しない、このアプローチのメリットが強い

言われてみると当たり前なのだけど、僕としては「なるほどー！！」が強かった

DeepMind 論文では online setting と言われている