唐突にブログを再開してみました。以前も半年おきくらいで書いていたので、それを踏襲する形で書いていこうと思います。

読んで勧めそうな本/論文など

Rust で書かれたコマンドをいくつか入れました。例えば exa (ls のいいやつ) と bat (cat のいいやつ) です。おすすめあったら教えて下さい。

Contrastive unsupervised representation learning (CURL) の論文で、特に潜在的なクラスや類似データを明に仮定しないものがあり、少し不思議な気持ちです1。例えば exemplar-CNN2, MoCo3, と SimCLR4 は、positive なデータ点を自分の data augmentation で作ったデータ点としています。そうすると分類タスクなり、CURL で学習した特徴量を学習したデータの分布とだいぶ違う気がするのですが、性能がいいです。fine-tuning あたりでよしなになっているのかもしれません。ただ、self-supervised representation learning の設定で pretext task での性能と教師ありタスクでの性能と常に相関するわけでもない報告5があり、ImageNet で学習時の性能とこの CNN を別タスクに使った際の性能が高い相関がある報告6とは少し異なります。ちなみに、潜在クラスを仮定するものであれば、特定の条件下において、ラベルありのデータに対するそれらしい誤差を、CURL の訓練誤差が抑えていたり7、類似したデータ対とラベルなしデータが与えられていれば、分類できたりする話8はあるので、これらの設定の仮定をさらに弱めている感じがします。嘘かもしれない。少なくともこれらの状況下では Batch normalisation が適切に動かない問題があるので(non-iid !)、通常の教師ありとのギャップがありそうで、面白そうな気がしています。


やったこと

今月は論文の締め切りがあったので、基本的にそればかりでした。論文締め切りがあるとそれだけをやってしまいがちなので、メリハリつけてやればよかったなと思いました。共著者がカナダとヨーロッパにいる都合でミーティングがしにくいと感じました。

個人サイトも更新しました。しばらく依存関係が壊れないことを祈るばかりです。

あとプログラミングが最近してないので Rust の勉強をはじめました。続くといいですが…