すみません、長々と質問したばかりで何なんですが
hitThresholdの値を256にしたら、レイヤBを無視してレイヤAで処理してくれるようになりました。
focusableで試して効果が無かったので質問したのですが・・・失礼しました。