D3DXVECTOR3 vec1(mouseX, mouseY, 0);

そもそもこれは何？
奥行きが潰れている状態で、ベクトルも対象物も分からないのに何が出るっていうんだ？
窓ガラスに鼻くそを付けて、ここが地面なんだとのたまうのか？
頭がおかしいんじゃないのか？