[B! rbm] teddy-gのブックマーク

teddy-g id:teddy-g

rbmに関するteddy-gのブックマーク (5)

ボルツマンマシン
トップページ→研究分野と周辺→ニューラルネットワーク→ ボルツマンマシンは、Hinton、Sejnowskiらによって1980年代半ばに開発された、確率的に動作するニューラルネットワーク。19世紀の物理学者で統計熱力学の創始者とされる、ボルツマン（Boltzmann）の名を用いた。ネットワークの動作に温度の概念を取り入れ、最初は激しく徐々に穏やかに動作する（擬似焼きなまし法）ように工夫している。最急降下法による誤差逆伝播法や、ホップフィールド・ネットワークは、局所解への捕捉が宿命的な問題としてある。ボルツマンマシンは、確率的に敢えて良くない解に移動する事を取り入れ、局所解からの脱出を試み、成果を挙げた。しかし、計算時間が長い等の克服すべき課題もある。ニューラルネットワークに擬似焼きなまし法を取り入れたものは、全て広い意味でのボルツマンマシンと考えられるが、ここでは、出力関数に取り入
teddy-g 2016/12/26
ボルツマンマシンの話で出てくる擬似焼きなまし法をシンプルに説明。温度を高→低にすることで最適解を得る。シグモイドは徐々にそれっぽいものに落ち着く。

●math

●analytics

●deeplearning

●boltzmann

●rbm

●physics
リンク
これで解決！シリーズ　大学物理 - ボルツマン分布
ボルツマン分布ってなんだろうきみたち、そろそろ就職じゃろ？イシガス商事に入ってみないか？お給料は完全歩合制。きみたちはセールスマンだとして、商談を勝ち取ればお給料が増えるとする。でも、一個も商談を勝ち取らないと、お給料はゼロじゃ。いやー、こんな会社︵笑︶。商談を勝ち取る確率が1/2だったら、非常に話は簡単になるよね。二項分布ってやつじゃないの？そうね。お給料の平均をもらう人が一番多い、っていう分布(↓)になりそうだわ。しかし、ここの社長としては困ったことが起きた。月々によって、従業員に配る全人件費がちがうんじゃ。社員たちがどのくらい商談を勝ち取るかどうかは、為替だの原油価格だの、不確定な要素にも左右されるので、社員に配る給料が予期せず上下してしまう。ところが社長としては、予測可能なほうがいい。そんなわけで、全従業員に配る給料の総額をあらかじめ決めてしまうことにした。固定費は変動し
teddy-g 2016/12/26
ボルツマン分布は限られた資源を取り合いするときの場合の数が最大になるような分布＝エントロピー（場合の数の比）が最大になるような分布。詳細説明は有料。

math

physics

analytics

deeplearning

rbm

boltzman
リンク
マルコフ確率場 (MRF) と条件付き確率場 (CRF) の違い | LESS IS MORE
一番の違いは、生成モデルか識別モデルか、ということ。それぞれ、 Markov Random Fields (MRF) は生成モデル Conditional Random Fields (CRF) は識別モデルです。 What is exactly the difference between MRF and CRF ここを見ると割とすっきりする。ただ、少しスムーズに納得できないことがありまして…それは、MRFもCRFもグラフィカルモデルで書くと無向グラフとなること。識別モデルは無向グラフで生成モデルは有向グラフなんじゃ…？と思ってしまう人もいるんじゃないかと思う︵いなかったらごめんなさい︶。グラフィカルモデルとしての表現一般に、生成モデルは有向グラフの形で記述され、識別モデルは無向グラフとして記述される。例えば、隠れマルコフモデル (HMM) は有向グラフで、条件付き確率場 (CR
teddy-g 2015/02/09
MRFは生成モデルでCRFは識別モデルだが両方とも無効グラフ。RBMはMRFの一種。条件付き確率がよくわからなくなってきた。

●analysis

●analytics

●analytical

●bayes

●bayesiannetwork

●statistics

●mrf

●crf

●deeplearning

●rbm
リンク
男のための機械学習〜RBMでA◯女優さんの共通特徴量を得よう〜 - 新kensuke-miの日記
いま、巷で話題（３年くらい前からだいぶ話題だけど）のDeep learningをア◯でも使えるpylearn2を使って見る。 Deep learningとは？一言で言うと「教師なしのニューラルネットをいっぱいつなげて多層ネットワーク化したもの。」いままでは前処理職人の丹精を込めた特徴量作り　→　分類器（SVMとか、ロジスティック回帰とか、なんでもいいので関数）の学習だったのが、黒魔術で特徴量作り　→　分類器（SVMとか、ロジスティック回帰とか、なんでもいいので関数）の学習にできる。黒魔術をもうちょっと紐解く「黒魔術」って言ってるところでやっていることは「ベストな写像関数の学習」もう少し、言葉を厳密に表現すると、「入力/ノイズ付き出力の変換をうまく表現できる関数の学習」この関数はできるだけ良い[1]条件で別の空間に写像する。なので、この関数が学習できると、特徴量空間に射
teddy-g 2015/01/28
やってることはアレだが、説明は分かりやすい。「ベストな写像関数の学習」というのがポイントですな。

deeplearning

rbm

advanced

analytics

advancedanalytics
リンク
RBMから考えるDeep Learning　～黒魔術を添えて～ - Qiita
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
teddy-g 2015/01/28
Deep LearningのRBMについて。AutoEncoderの方が理解しやすい気がする。

analysis

analytical

advanced

analytics

advancedanalytics

bigdata

deeplearning

rbm
リンク
1