あざらしの日常

あざらしが腹を叩く片手間で書いたメモ

特異モデルに対してBridge Samplingで周辺尤度の推定は可能か

暫定的な見解:難しいのでは?([編集後記 2019/9/28] warp-U bridge samplingを使うとうまくいくかもしれない。推定の分散が他の方法と比べてどれだけ小さいかが気になるところ) 定義:周辺尤度 まず言葉の定義をすると、モデルを, 事前分布をとしたとき、…

実対数閾値の定義に使われているゼータ関数はなぜゼータ関数と呼ばれているのか

実対数閾値の発表をするとたまにタイトルのことを聞かれることがあるのでそれについてのメモです。モデルの分布を、真の分布をとした時、その間のKullback-Leibler divergence は と定義されます。ここで特異学習理論においてゼータ関数は、事前分布 、に対…

ホロノミック勾配法 勉強メモ

ホロノミック勾配法の勉強メモです。 ホロノミック勾配法のよく知られている応用として・確率分布の正規化定数の評価・何らかの最適化がありますが、本記事は前者についての個人メモです。後者についてはデンソーITラボの ホロノミック勾配法 – Tech.D-ITlab…

純粋数学でアメリカ大学院受験をした時の昔話

もう10年前の話でTOEFLなどの試験をはじめ状況は全く違うと思うが、ネットで出てくる数学でアメリカ留学した先生達は優秀過ぎて参考にならないので、凡人の一記録を残しておくことで誰かの励みになってほしい。 大学や学部成績 ・学部はニューヨーク州立大学…

因子分析の情報量規準

とあるところで因子分析の情報量規準について見て、少し思うことがあったので簡単にまとめた。因子分析のモデルは一般的には特異モデルであるため、BICの仮定が成立していない可能性がある。 (因子分析におけるBICの妥当性については後で述べるとして…)こ…