はじめてのにき

_ 依存型

Tensorflowでshapeに定数じゃない値で型つけたいみたいな気がするけど、依存型てそれ？て聞いたら、そうだがこれを読め、と言われて流し読みした

http://notogawa.hatenablog.com/entry/2016/11/19/145847

なるほどよくわからん…が銀の弾丸じゃないぽさが漂ってるなあ…と思った。僕が欲しいのは単にtype annotationに近いものな気がするな

それはそれとして、型だけじゃなくて、実行フェーズが二段階ある、てのも話をややこしくしてるなぁとか思う。なんかスコープが複数ある感じになるのがなぁという。スコープとかデバイスの設定にwithを使ったりするわけだけど、あれはmutexとかと似た面倒さがある気がする

def foo_in_scope:
  return ...

def foo:
  with scope():
    op = foo_in_scope()

def foo_and_bar:
  with scope():
    op = foo_in_scope()
    op = bar(op)

みたいなやつとか。foo_in_scopeにwith文持っていって共通部分をくくり出したい気がするけど、できない系

(10:10)

_ ディープ

最近話してて、ディープラーニングがどうこうって、自然科学ぽさがあるなと思った。計算機科学って人工物なので基本的に原理からきちんとわかってるところが多いわけだけど、ディープラーニングはあまりそうではない。なんだかよくわからないブラックボックスがあって、ミクロな原理はよくわかってないけど、マクロな観測から役に立つものを作ったり。

例えば薬とかって、「原子分子レベルの機序はよくわかってないけど、経験上この物質はこの病気に良くて、直感的な説明はほげほげ」くらいの感覚で実用物を作ってる面があると思う。ディープラーニングも、「quantizeして大丈夫ていう科学的な根拠はないけど、経験上結果に悪影響ないことが多くて、直感的な説明としては、元々ノイズに強いニューラルさんにとっては計算精度の低下もノイズの一つとして扱ってると考えられる」など、まあ似てる

こういう状態で取れる方向性としてはおおまかに二種類あるかなあ…と思う

• ブラックボックスのふるまいを観測し、より良く理解して、その理解を応用してより良いものを作る
• ブラックボックスはそのままに、とにかく色々やってより良いものを作る

前者はまさに自然科学という感じで、仮にブラックボックスをきちんと理解できれば、他の計算機科学に近づくかなぁ、と思う。

後者は色々やる、てのを今は人手でやることが多いと思うんだけど、その色々やること自体を機械にやらせることになるのかなぁと思う。そうなるとますますブラックボックスが大きくなることになって、ディストピア感もあるが、それはそれで面白い展開かもなぁと思う

20XX年、ディープラーニングがどう動いてるかをディープラーニングで動くAIに考えてもらったところ、1年ほどの計算の後AIはAIの動作原理を理解したという。しかし人間にはAIの説明するAIの動作原理は理解できなかった……

などという

(22:12)

_ 下訳

http://blog.practical-scheme.net/shiro/20161124-machine-translation-as-draft

大変建設的な議論で良いなあ

機械翻訳を下訳に使うての、欧米の言語だと割と普通にやってることらしいですね。EUとかが無限にクオリティの高いコーパスを作ってくれて、それのおかげで機械翻訳のクオリティが良くなり、さらにそれが翻訳作業を加速させてコーパスがたくさんできて……みたいな

(22:16)

_ 大統領選

http://www.huffingtonpost.jp/michael-moore/5-reasons-why-trump-will-win_b_11254142.html

via https://twitter.com/kinu/status/796257849886183424

マイケルムーアの選挙前の文章、全部面白かったけどきぬこさんがはってた上と

http://www.huffingtonpost.jp/michael-moore/5-ways-to-make-sure-trump-loses_b_11900362.html

はコイツ本当にすごいやつだなあと思った。前者の読みはこれだけ危機感出しても甘かったくらいだったのが現実なわけだが

(02:01)

_ 人生の転機

最近機械学習ぽいこと、というか機械翻訳という、流行りの深層学習を使ってるぽいチームに移ったりしてた。理由は流行りぽいからという、まあ

というような話を結構前にした時に、人生の転機と書いてたのは、結婚か転職かと思われた、というようなことを言われて、そんなの書いたっけ、と思った。まあ結構前に

http://shinh.skr.jp/m/?date=20160609#p01

で思い出して調べたら、ホントだ書いてた。まあ今みたいに酔っぱらって適当なことを書いてたのだと思われる…特に全然違う話題が2行目にあるあたり酔っぱらってる感がある。が調べるとタイミング的にはまあこのへんに異動したぽい

しかし人生の転機でないかと言われるとまあ転機ではなくはないと思う。がまあ結婚か転職でないなら違うというのが通常の考え方かなあと思う。せめて海外転勤くらいしてくれないとという感がある

ええとそんなことよりディープラーニング。よくわからないなあというのが正直なところ。何がわかってないか、何がわかってないとわかってるのか、何がさっぱりわかってないのか、考えてみると

• オーバーオールとして、何故これがうまくいくのか。わからん、そしてこれはどうも、誰もわかってない。謎であるということがわかった
• 古典(とはいえAI研究としては僕の分類では3つ目くらいの世代の)、というか統計ベースな機械学習。全くわからん。今ならこのレイヤの研究を完全にすべてすっとばせそう、という理由で今のタイミングで異動したと言って問題なかったように思う
• いうてSVMとかK-meansとか、まあうん、「ああそれ授業でやったな〜」学生程度の理解はしたような気もする
• まあそのへんすっとばしたのは正解であろう。別にいらない気がする
• 深層学習。重みがたくさんあって、十分に深くて、もうなんでもいいから非線型なんかを入れると、なんかうまくいく。うまくいかないなら次元を増やすか深さを増やせ。というような世界観に思う。いやそんなことはないんだろうが、現段階で結果的にそうなる気がする
• 既存のモデル、こういうことを期待してこういう作りになってます〜、実際結果もいいんですよ〜と主張している。実際結果もいいし、部分的にはその期待通りに動いているような値を出してる場所もあるんだけど…しかし誰も何故本当にその作りで期待されている学習が行なわれるか、本当に期待されている学習が行なわれているのか、あまり確認できてないように思われる。とにかく入口と出口以外に人間が評価できるポイントがあまりない(翻訳の場合少しあるんだが、うーんホント感)
• 論文。そのよくわからないところに、さらに上乗せで「こういう問題に対処するためにこういう解決が起きることを期待してこういう実験をしてみました〜」みたいなのが多いという印象。たいていうまくいった例がくっついているが…定量的にその部分に関してうまくいったということを測る指標がないのが、ウーン
• あとネットワークを複雑化すると常に一定よくなるというのがあると思っていて、提案手法はたいていベースより複雑になってるので、その効果を越えられているん？というと、ウーン
• そもそも https://xkcd.com/882/ が起きてないの？ていうと、ウーン

ちょっとこのへんで話題が変わってるというか、個人的な話が増える

• tensorflowがわからない。コードが読みにくい。どうも数式がコードに落ちてる…ていうのに馴染みが少ない
• そもそも数式が読めない(まあ適当に流す)。3次元を越えたものは僕にはわからないということが、物理学科の学生として学んだことであった
• P(Y|X) を見るとウッヤラレタと思う
• しかし驚くべきことに、Πとかが登場する複雑な式は読めるケースがある。何故ならそういう式は割と思いつきで作られてる(素人の感想です)
• 毎度LSTM/GRNのこれてなんだっけ、みたいなことになる(まあ適当に流す)
• tensorflowで作ったグラフをダンプしたやつがデカすぎてよくわからない(そもそもダンプして読むみたいなobjdump読む的発想が良くないという批判はあると思う)
• グラフを理解したとして(してないが)、それが実際どう計算されるか想像できてない
• ネットワークまたいで何MBの転送が起きてるんだろうか
• CPU-GPU間で何MBの転送が起きてるんだろうか
• GPU-GPU間で何MBの転送が起きてるんだろうか
• GPU内の並列性てどのくらいの規模のなに
• パラメータサーバちゃん、本当に必要なの
• SGDはわかる。それをadaptiveにしようてのもわかるんだが…なんで何種類もあるの
• 簡単なコードを足すと…typoでこける。Pythonていうか動的型付け言語苦手やねん
• self が無いとかね(たぶんこのグチ100回目くらい)、もっと早く教えてほしい
• テンソルの形が違うとかね(new!)、もっと早く教えてほしい
• tensorflow、使いかたのドキュメント多いけど、中どうなってる、ての少ないような。whileとかどうなってるねん。なんでcondに渡すのlambdaやねん
• それはそれとして、とりくむ対象に対する、古典的なアプローチについての勉強は重要に思う。やはりドメインの理解は重要だなあとか
• 少なくとも機械翻訳はそう感じる。alignmentとかBLEUとかは知らないとどうしようもない感があった

などなど……まだまだあったと思うけど

(23:23)

_ 将棋

なんだか

• 三浦九段シロ派
• 連盟不手際派
• 三浦九段クロ派

みたいなのの、後者2つが多い論調だった気がするんだけど、少しずつ上2つが増えていって、なんかもはやクロと思ってる人いないんじゃないかレベルまで巻き返してて、面白いなあ……とか。

それはそれとして

http://i2chmeijin.blog.fc2.com/blog-entry-4726.html

はひどすぎるっていうか、この人の中ではこれで辻褄あう感じなんだろうか……ていう。まあ元々面白キャラなので、原発美味しんぼで突然「雁屋哲トンデモ！」とか言いだすのと同じで、まあ元々こいう人ですよ……て話なんだろうけど

しかしなんというか「東大生は勉強はできるが常識がない」の東大生を棋士に読み変える的な感想を持つ

(21:14)

_ まあ

色々な人いるていう当たり前の話だが…

そういえば早々に逃げをうったというか安全圏に入った羽生はすごいんじゃないかとか思った。政治力あるというか……

(21:15)

_ これまた

http://blog.goo.ne.jp/kishi-akira/d/20161101

すごいなと

出るだけで1000万単位もらえる場に出られなくなくキッカケを作ったわけで、それについて遺憾とも言わない時点でまあ、クロだと思ってるてこと、なのかな

(22:37)

_ 意見

この意見が一致すればいいやつみたいなのすごいな

http://anonymous-post.com/archives/15144

(03:39)

_ SHENZHEN I/O

コード行数が評価軸に追加された。

これは電力と違ってあやしげなコーナーケースつきみたいなことしなくていい明確な指標でかつ、普通にゴルフしてて面白いと思うので、一気に面白くなったように感じる

(00:59)

_ bondage-and-discipline-language

jargon file にあった単語。

http://www.eps.mcgill.ca/jargon/html/entry/bondage-and-discipline-language.html

Pascal, Ada, APL, or Prolog ねえ

今だとなんだろう。 Go はそうだよな。

(20:25)

_ ボコスカウォーズの勝率計算

http://tsumiru.gozaru.jp/bokosuka/bokosuka_06.html

割とそれっぽいとメモ

(22:15)

_ SHENZHEN I/O

マイコン基盤作ってアセンブリ書いて機能を実現するゲーム。一通り実装するのは仕事感しかなくてつらかった。ゴルフとしては結構面白い。しかし本当のプログラミング言語でのゴルフの方が面白い気がする。

ゴルフする指標として、値段と電力消費があって、前者は使ったチップの質と量で、後者は動作ステップ数。指標が2つあって、最高記録は同時に記録されないので、値段は高いけど電力消費少ないパターンと、その逆とを作ったりすると、記録としてすごそうになる。

これはなんかイマイチ感があって、値段優先でタイブレイカーとして電力消費、みたいな感じで評価してもらった方が面白いよなあと思う。

(19:02)

_ スマホ疑惑

https://twitter.com/kemamake/status/788684510128857092

将棋ファンでは決してないけど、棋士の話とか見るのが好きな僕としては、まあ楽しく眺めている。

色々と情報出てくると、まぁどうもクロなのかな…という雰囲気があるけど、乱数関わらないゲームのプロが、偶然の一致とかそのへんをどの程度考慮に入れられてるかっていうと…どうなんだろう。

なんかスマホゲーのスレとか見てると、ガチャ操作されてるとか、桃鉄みたいなサイコロ関係あるゲームだとサイコロ操作されてるとか、まあなんか人というのはそう感じるらしいし。これとか面白いよな

http://entcog.c.ooco.jp/entcog/contents/symposium/date/2015/1-3-p.pdf

連盟としては、かなり確信度が高くクロだと思ってるのは確定でいいのかな。竜王戦での現行犯逮捕とかそういう形での発覚は避けたい。というかそもそもプロからインチキ確定の人を出すのも信頼の低下みたいな意味で避けたい。かといって放置しておいてバレるともっと悪い。よって12月の検査導入までは、曖昧な形で出禁にしておきたい…て感じなのかなぁ。

しかしそれによって推定無罪の原則みたいなのが守られなくなってるわけで…身体チェックの導入を急遽早める、とかできたらベストだったのかなぁとは思う。

しかしまあどうなるんだろ。特にファンでもない身としては、不謹慎だがわくわく感しかない

(22:39)

_ control_flow.ops.cond

これなんで関数取るんだろうなぁ、TFて全部が全部遅延実行じゃん…とか疑問だった。が

http://stackoverflow.com/questions/34931121/can-cond-support-tf-ops-with-side-effects

で解決したような気がする。ふーむ

(23:04)