>>52
グラフの横軸，縦軸の取りかたは合ってるのかな？
Figure 6.11 は横軸が通算の行動数，縦軸が通算のエピソード数になっててちょっと特殊なグラフだけど？
直線より上向きに曲がってるから，学習の進行とともにエピソードあたりのステップ数が少なくなるということ
だね。追試した訳じゃないけど，普通に学習できてればそうなるような気がする。