2020-03-18 (We) [長年日記]
_ wayfire 落ちなくなった?
一昨日くらいに wayfire をアップデートして、 それ以来、X アプリを使っても落ちてない。
おぉすごい。
zoom が Qt アプリなんで心配してたんだけど、今日一日問題なかった。
と、いうか、今週月曜、zoom が一時的に落ちてたらしいやん? zoom そんなに人気なの? 会議ツールなんて他にいくらでもありそうだけど。 いや whereby くらいしか知らんけど。
_ 言語処理学会 年次大会 2日目
self attention についての知識を得た。
というか、ふつーの attention がまだよく解ってないけど。 こっちは一回ぐぐってみんとダメかな。
https://orizuru.io/blog/machine-learning/attention/
↑つまり、attention には、調整すべき重みは存在しないんだな。 decoder側出力と相関の高いencoder側出力を自動で選出してくる、 それが attention。
もちろん、attention メカニズムをそこに導入することで、 encoder や decoder の重みの調整は更に複雑化するわけだけど。
http://deeplearning.hatenablog.com/entry/transformer
↑それは内積注意と呼ばれてるのかな。
で、self attention の場合には encoder 側と decoder 側に 分かれておらず、self に対して attention メカニズムを適用 するらしい。それって常に自分を選出するんでは? という気がする けど、まだよくわからない。
閑話休題。
昨日に比べて、ポスター発表に群がる人がずっと少なかった。 昨日は1つの発表に30人くらいいたけど、今日は10人程度だった。 みんなどうしたんだろう? 明日は何人くらいになるんだろう?