あ〜、HESONOが考えているモデルを理解できたと思う。
もう理解している人がいたら無駄なカキコだけど、ごめん。

まず、HESONOが表計算の例を出しているので、それに則って書いてみる。
HESONOのイメージしているのは、↓のような表だと思う。

　　　　　　[列A] 　　　　　　　　[列B]　　[列C]　　[列D]　・・・
[行1]　　　＼　　　　　　　　　　行為B　行為C　　行為D　・・・
[行2]　刺激に関する条件2　数値B2　数値C2　数値D2　・・・
[行3]　刺激に関する条件3　数値B3　数値C3　数値D3　・・・
　：　　　　　　　：　　　　　　　　　　　：　　　　：　　　　　：

ここで、数値B2とかは、ある刺激に対してある行為を行なった場合に満足感を得る、
確率なり尤度なりボーナスなりが入る。

HESONOは、ここで、「ある刺激に対してどのような行為をとったら満足するかは、
刺激によって違う。上の例のように列と行為を固定して対応付けるのはおかしい」
というかもしれない。
そこで、HESONOは、2次元平面の表に3次元配列のデータを持たせるために、
セルB2とかには行為を記述すると共に、背景色で「濃淡」を表現するとか言っているんじゃないか？
だからHESONOの話は通じないんだって。
そういう話は実装上の問題であって、モデルを定式化する際の問題ではない。

HESONOは虫が好きなみたいだから、HESONO虫と呼ぶが、
HESONO虫が行動する際には、ある刺激が入ったとき、列Aの条件に基づいて行を選択し、
その行中のセルの中から数値が最大の列に対応する行為を選択することで行動を決定する。

で、ある行動列の結果、満足が得られたとしたら[*1]、そこに至るまでの行為に対して[*2]、
逆伝播(機能としてはこう呼んでも良いだろう)により、何らかの方法で、セルの数値を
増やしたり調整したりする。
ついでに、そこに至るまでの行為列[*2]のΣなりΠなりの値が一定の閾値を超えるなどした場合、
その行為列を新たに上記表の列として加え、数値を与える[*3]。

HESONO、こんな感じじゃないか？

注
*1：　どういう時に満足を得るのか、その条件はどのように与えるのかは不明。

*2：　行為列の中から、どこからどの部分を、逆伝播なり両替の対象として認定するのかは不明。

*3：　このように新たに生成された行為は、いわばマクロ的なものである。
その詳細の行為については、別途マクロ辞書のような形で保存しておけば良いだろう。
たぶん、これが、HESONOが「両替」と呼んでいるものだと思う。