強化学習

**名無しさん＠お腹いっぱい。** · 2006/08/24(木) 18:55:33

機械学習の一種，強化学習に関する話題．

入門書：
Reinforcement Learning: An Introduction
Richard S. Sutton and Andrew G. Barto
A Bradford Book

The MIT Press
Cambridge, Massachusetts
London, England
ttp://www.cs.ualberta.ca/%7Esutton/book/ebook/the-book.html

**名無しさん＠お腹いっぱい。** · 2010/07/13(火) 02:18:56

強化学習と探索を組み合わせた手法は何か無いのですか？

**110** · 2010/07/14(水) 15:18:38

強化学習で迷路探索をしようと考えています
しかし、ランダムに探索を行ってもゴールまでたどり着かないので強化学習ができません
よい方法はありますか？

**名無しさん＠お腹いっぱい。** · 2010/07/14(水) 19:07:35

それは強化学習になってないでしょ
強化学習は、エージェントが環境に対してアクション起こしてそれに対する報酬を受けることで学習していくものなんだ

最初のうちはどのような行動で高い報酬が得られるか分からないからランダムでもいいけど、次第に学習していくんだからランダムな行動選択にならないようにすべき
その点は、Q学習でもSARSA学習でも適格度トレースでもいいけどボルツマン分布に基づくような方策にすればよい

迷路問題の詳しい設定は考慮しないが、ゴールに辿り着いたときに報酬を与えて、壁にあたると報酬を負にしたり(罰を与える)、通路を通るごとに罰を与えるようにすれば、一般的に最小ステップでゴールに到達するようになる

そもそもゴール辿り着けないのは、問題の設定がおかしいか、乱数の精度が悪いか、なんだろう

**名無しさん＠お腹いっぱい。** · 2010/07/16(金) 22:54:30

15パズルを強化学習で解きたいと質問した者です
何回も15パズルをシミュレーションして、最適解（それに近い解）を強化学習で探したいのですが
シミュレーションをしても解にたどり着かず、報酬を得ることができないので、学習を進めることができません
どのようにしたら学習ができるような環境を作ることができるかどなたか分かる人教えてください
お願いします。

**名無しさん＠お腹いっぱい。** · 2010/07/20(火) 11:52:32

>>109 の質問に答えてくれ。

**名無しさん＠お腹いっぱい。** · 2010/07/20(火) 12:01:54

>>114
反復深化や、全探索など探索処理を行えば完成状態に行き着くと思いますが
今回は、強化学習という形で、パズルの完成に行き着けるかを考えています

**名無しさん＠お腹いっぱい。** · 2010/07/20(火) 16:35:54

シミュレーションでの探索は全解を探索してる？
乱数だと、全解を探索するのにかかる時間が（同じ探索を枝切りしないと）えらくかかるよ。

**名無しさん＠お腹いっぱい。** · 2010/07/20(火) 20:44:12

>>116
なるほど、初めは盲目的に全探索（それに近いこと）をして強化学習をするのですね
ありがとうございます、ちょっとやってみます

**名無しさん＠お腹いっぱい。** · 2010/07/21(水) 16:51:38

いやそういうことを言いたいのではなくて。

系統的に全数を探索すれば、n個の選択肢はn回の探索で探索し終わるけど、
単純にランダムで探索してたら、n個の選択肢を全て探索するのにかなりの回数が
かかる、ということ。

**名無しさん＠お腹いっぱい。** · 2010/07/23(金) 11:24:40

単に1回やったルートを除外すればいいだけなのでは？

**名無しさん＠お腹いっぱい。** · 2010/07/23(金) 11:26:39

あ、116に書いてあったわ。ごめん

**名無しさん＠お腹いっぱい。** · 2010/07/24(土) 02:35:11

15パズルなら最適解じゃなくていいなら簡単に解けるのだから
まず確実にゆっくり解く関数を作る。
予め上限を決めておいて、それを超える数まで探索したら
その関数を呼んで総手数を評価値として戻す。