３Ｄグラフィクス数学はめちゃくちゃメジャーだけど
今なら「実例で学ぶゲーム3D数学」の方がＣ＋＋のコードも
載っているからいいのかも知れない。持ってないけど