3Dをやりたいのなら、
「ゲームプログラミングのための3Dグラフィックス数学」は必須。

3Dの数学系はこれ1冊でOK