確率的勾配降下法のメリットについて考えてみた
機械学習初心者です。機械学習やディープラーニングでは、﹁確率的勾配降下法﹂というアルゴリズムがよく出てきますが、そのメリットがいまいちピンとこなかったので考えてみました。素人のポエムなのでトンチンカンなこと書いていると思います︵そこそこ長いよ！︶。 二次関数の最小値 全てはここから始まります。今回の確率的勾配降下法も、それのもととなった最急降下法も全てこれの応用です。 例‥$ y=x^2-4x$ の最小値とそのときの$x$を求めなさい 参考‥二次関数の最大値，最小値の2通りの求め方 数学的解法︵1︶～平方完成～ 高校数学でおなじみ︵？︶の平方完成をします。 $$y = (x^2-4x+4)-4 = (x-2)^2-4 $$ したがって、x=2のときに最小値-4です。簡単ですね。 しかし、次数や次元が増えていくと簡単に平方完成できなくなります。もう少し一般的に使える方法を考えます。 数学的解
勾配降下法の最適化アルゴリズムを概観する | POSTD
