Stochastic gradient descent on Riemannian manifolds

[nocotan]

一言でいうと

確率的勾配降下法をリーマン多様体の上で定義された関数に拡張．

論文リンク

https://arxiv.org/pdf/1111.5280.pdf

著者/所属機関

S. Bonnabel (Mines ParisTech)

投稿日付(yyyy/MM/dd)

2013/11/19

概要

機械学習の中でも重要なタスクとして，行列の低ランク近似がある．

元の行列が非常に高次元の時，この操作をユークリッド空間で行うのが難しいという問題がある．
この問題について，パラメータ空間をリーマン計量のもとに制限することで解決できる．

新規性・差分

• リーマン多様体の上での確率的勾配降下法を定式化
• 収束性を証明

手法

導出される更新則：

収束性に関する定理：

結果

コメント