ToDo:
深層学習が予想した物理量、誤差の評価ができないのは良くない、て面白い話だな
標準模型から計算した誤差を越えて、実験で得られた値がずれてる場合、なんか標準模型に足りない気がする、と議論できるけど、それができない、と
なんかでもこれ、 AI は推論の理由を説明できない、て話と同型の話だな、たぶん。色々立場があるだろうけど、「別に説明しなくてもいいんだ、有用な結果が出るのだから」て立場が強くなってきてる気がするけど、それで物質探すとかはいいかもだけど、まあ理論の人とかはそれでは困るわけだ、なるほど
(11:54)
「ガザ地区大変だねえ……乳幼児死亡率とかも高いんだなあ」「別の区の医者に行けばいいんじゃないの？」「出れないんじゃないの、壁とかあるし」「えっ足立区って壁とかあるの？」
みたいな会話をして面白かった。割とあるあるの齟齬っぽい
(18:53)
https://ja.wikipedia.org/wiki/%E3%83%91%E3%83%AA%E7%97%87%E5%80%99%E7%BE%A4
思ったほどパリが綺麗で夢のようなとこじゃなくてガッカリ的な話。なるほどねえ
(22:39)
最近のプロセッサのスーパースカラ具合ってどんな感じなん、てのを見るのいつも場所わからなくなるのでメモ
haswell: https://www.anandtech.com/show/6355/intels-haswell-architecture/8
m1: https://www.anandtech.com/show/16226/apple-silicon-m1-a14-deep-dive/2
core 2 vs k8: https://www.anandtech.com/show/1998/4
(12:04)
スイッチごと妻が買ってくれたので、しょぼしょぼとやっている。運動時間50時間弱くらい。ゲームとしては全然面白くないのだけど、筋トレにしては続く、という感じ。ゲームやらない層も楽しめるように、ゲームとしては意図的につまらなく作っているのかな、とか思う。なんというか敵の色を変える技とか、なんかその手のバフデバフが最小限すぎる気がする
スイッチ、なんか海腹川背をちょっとやったくらいで、あまりゲームしていない。グノーシアとかも途中で放置。なんかゲームやる気力がいよいよないという感じがある。あ、 ABA さんのミニゲームは欠かさずちょっとずつ遊んでいる
https://twitter.com/abagames/status/1387906908174970880
とか好き
ゲームといえば ffrk だけはやっている。最近はバハムートの次のエンドコンテンツのボスが雑魚敵とかになって、困惑している。もうそろそろサービス終了だろうに、なんでラスボスにしないんだろう……エンドコンテンツじゃないとこではラスボス出してあるので、ドットも既にあるわけで、ケチる理由がさっぱりわからない
(12:37)
https://tl.hateblo.jp/entry/2021/04/30/154411
HPC ぽい話も(にわかほど語りたがるというし)ちょっと書いてみたかったけど、発散しそうだったから、やめたのだった
HPC、とりあえず、スケールしない部分が足をひっぱらない程度にはバカパラに近くなってないと、なんともならないというのがあると思う。そこはなんか問題いじったりしてでもバカパラにするし、できないならスパコン使う必要とか無い、ということになるんだと思う
次は DRAM からの移動なりインターコネクトなりのバンド幅足りないとお話にならないので、計算戦略やデータの持ち方とかでなんとかして、そこまで行くとSIMD、パイプライン、スーパースカラ的なのをやっていく、みたいな印象を持っている。なんというか、クラウドとかのバカパラマルチスレッド的なのと、いわゆるアセンブリでチューニング的なやつの両方必要な感じだなあ、と
その二つに加えて、ヘテロなスレッドが協調動作してる系のやつ、くらいで雑に並列性ぽいものは分類できるのかな、と思った。つまり
くらいに分類できると考える
1 は DRAM や IO 待ちで律速しがちで、用途的にもレイテンシ重視が多め。 DRAM や IO 待つとこまでいければ良いので、 2,3 をやってもしょうがないみたいなケースも多いが 2 も併用したりもよくする。 1+2 がタスクキュー。「並列プログラミングは難しい」と言う時に思い浮かべるのは、僕はコレ
2 は message passing に主題として書いたやつ。高速化的には最も簡単でバグらなくて素晴らしい
3 は message passing 書いてる最中に書こうかなあ、と思ったけどやめたやつ。普通あまり並列プログラミングと言わない気もするんだけど、並列計算ではある。コアの性能をしぼり出すというソフトウェアの観点からも、電力や回路面積などのリソースをどこに割り当てるかというハードウェアからの観点からも、関連した話題ではあると思う。そのへんで言うと A14 のスーパースカラすごい広いのとかも、これバランス悪い気がするんだけどどうなんだろう……とか思うけどどうなんだろう: https://www.anandtech.com/show/16226/apple-silicon-m1-a14-deep-dive/2
スマホや chrome はおおむね 1 、 jpeg のデコードは 3 (2も使ったりする？)、 HPC は(たぶんおおむね) 2 と 3 、クラウドは 1 and/or 2 、 GEMM は 2 と 3 。ディープラーニングだと GEMM に加えてデータローダとかはちょっと 1 ぽさあるので、割と全部あるかもしれない。あと inter-op のモデルパラレルは 1 ぽさがある
あと、 1 と特に 2 はノードまたぐか否かとかで割と雰囲気が変わるとかあるかもしれない
(10:39)
密度汎関数理論て、「なんかそういう理論に基いて第一原理計算ができたらしい」くらいのなにかだったけど、かなりとんでもない発見なのかなこれ。多体問題を一体問題で書けると言っている……
(12:21)
exploit-for-dummies
最初になんかクイズが出てるらしい。チームの人が解いていた
本質は自由な trivia.debug ファイル読ませられる状況で、 gdb -c core trivia した後の x/s <user-input> ができるので、いい感じの <user-input> を与えろ、というやつ
とはいえ gdb の expression が ()[]{},; あたり禁止されていていかにも厳しく、 shellcoding という名前からして、たぶん DWARF でいい感じのを作れということだろう、と
チームの人がレジスタからフラグの位置を計算する式は考えていてくれたので、テキトーに DW_OP_xxx で書いた。それは一瞬で終わったのだけど、サイズ制限があるということで、めんどくさかった。というのは gcc でテキトーに作ったバイナリをいじって作っていたので、セグメントの位置を大きくずらすとかあまりやりたくなかったので……
これまたチームの人が短いバイナリを作るレシピを共有してくれてたのだけど、なんか手元ではリンカが違うのか、うまいこといかなかった。まああとちょっと削れば……という感じだったので、コンパイラオプションやリンカをあれこれ調節してなんかおさまった
gcc -gno-record-gcc-switches -Wl,--no-eh-frame-hdr -static -g -Wl,-T,minimal.lds
と
objcopy -I elf64-x86-64 -O elf64-x86-64 -j '.debug_info' -j '.debug_abbrev' -j '.debug_str'
https://gist.github.com/shinh/1a7c185ea0478f7b14f2ec905b59d1b1
back-to-qoo
オフィシャル解説が出てるぽい
https://github.com/o-o-overflow/dc2021q-back-to-qoo-public
なんか協力者が意思決定した後に qubit を回転させてるのに、これでいいのがよくわからん……
https://gist.github.com/shinh/242786e2f6a38f9f50803e64a1882715
(13:48)
https://arxiv.org/abs/1610.06918
CTF に出てて知った。発想は面白いと思った。原文と鍵を受けて、 alice が encode して bob が decode して、元のに帰ってれば OK 的にトレーニングするんだけど、これだと鍵使ってくれないので、鍵を受け取らない(代わりにちょっとレイヤ数とかトレーニングの頻度を上げてある) eve が bob と同じタスクをすることによって、 alice と bob は鍵をそれなりにいい感じに使ってくれる、というもの
明らかに通常の暗号と違って、暗号として機能するっていう理論的な保証がなくて、言えることは eve より強いってことだけ。実際レビューを見ると
https://openreview.net/forum?id=S1HEBe_Jl
it is strictly worse than any provable cryptography system.
と言われてる。
CTF で出たのは、このスキームで暗号化された平文の大部分と、暗号文が与えられるので、平文の残りの部分を解読せよ、という問題。トレーニングされたモデルと鍵は一切与えられない
この条件で解けるってことはガバガバってことだと思うんだけど……僕は解けなかった。 linear regression 一発で解けるって discord で言ってた人がいたんだけど、それはやってみたけど解けなかったんだよなあ。というか鍵ないんだし線型回帰だけじゃ厳しくない？という感想しかないんだよな
あー書いてて気付いたけど、同じブロックに対して鍵使い回して次の鍵をエンコードしてるから、そこ一つならいけるとかいう話かな。やってみよう
(17:01)
| 前 | 2024年 5月 |
次 | ||||
| 日 | 月 | 火 | 水 | 木 | 金 | 土 |
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 | |
全てリンクフリーです。 コード片は自由に使用していただいて構いません。 その他のものはGPL扱いであればあらゆる使用に関して文句は言いません。 なにかあれば下記メールアドレスへ。