自機を球、敵弾を厚みのある線分（球を線上に並べたもの）とみなせるなら、
線分と球の判定でやるとか。

そこの回転矩形のやりかたをやるくらいなら、
まじめに各辺同士で線分の交差判定したほうが楽な気がする。
game programming gemsとか言ってるので3次元用なのか？