はじめてのにき

_ 親バカモデル結果サンプル

http://shinh.skr.jp/m/?date=20220102#c01

バカモデルってどのくらいの精度なの？

と聞いていただいたので

まず、親バカ的な回答としては「うちの子は常軌を逸してかわいいので写ってれば精度100%です」となる。けど、そうは言っても特別良いシーンを切り抜くために涙を飲んで「かわいくない」とアノテーションしたシーンもたくさんあって、データを train/val split した場合 70% くらいの精度が出てた。同日同条件撮影が train/val 両方に入ってるので、ドメインがリークしてる状態で 70% はとても低い気がするけど、まあ、指摘いただいた通り、かわいいvsかわいくない、は非常に曖昧なんで、かわいくないことになってる教師データをかわいいと分類されたら、「これは教師データ作る時にミスったんだな……」となる

まあそもそも用途的に精度はたぶん、そんなに重要でない。やりたいことは良い写真の選択でなくて、動画から良いシーンを切り抜いてくることで、1フレームごとの精度はたいして重要じゃなくて、このへんふわっとかわいい判定続いてるな、て場所がわかれば十分なので。まあとはいえ写ってないシーン、暗すぎるシーン、寝てるシーン、あたりはほぼかわいい判定されない感じにはなっている

で、実物がこんな感じ。抽出された90分の動画はたぶん不規則発言とか入ってて、アップロードには不向きなので、ランダムに2秒*20シーンを切り取ってきた。他人の赤子の写真見せられるほど興味持てないことがないのは知ってるけど、これは研究発表だから、しょうがないね。なんか途中泣いてるとこ入っちゃったので音量注意

参考までに同じスクリプトで保存されている全動画からランダムサンプルしてきた動画(ちょっと期間がずれてるけど)。これ見るとわかるけど、そもそも写ってない時間が多くて、写っても寝てたりするんで、それらを捨てた上で割といいとこ切ってくれてると感じるので、かなり機能してると言っていいんじゃないかな、と思っている

次は声出してるシーンを切り抜いてくる、てのをやりたいなと

(13:36)

_ あとそうだ

↑のような短い動画を作るのであれば、 recall を落としまくって良いので、たぶん、もっといい感じにすることもできると思う

(13:55)