>>783
データ構造とアルゴリズム
のようなタイトルの書籍があると思いますので
ム板の書籍スレのHPから合うものを選んでください

あとはわざわざソースを晒してくれている人がいますので
いくつか読んでみてください

ゲームのアルゴリズムというとGAME PROGRAMMING Gemsが定番です
幅広くしかも重要なエッセンスだけを抽出したような内容なので
知識の幅を広げるには最適です
3dなどの章ではやはり数学の知識が必要になってくるので
わからなければ「ゲームプログラミングのための3Dグラフィックス数学」などで
フォローすればいいと思います
1万2000円と高価ですがRTSで必要なA*や将棋やオセロなどに必要なミニマックス、
水面を揺らす方法、リアルな地形のリアルタイム生成などゲームを作り始めてしばらくすると
疑問に思う事がたくさん載っています
目次はネットで入手できるので目次に出てくる言葉を検索にかけるだけでも得るものはあります

http://www.gogo3d.com/products/gems1/gems_toc.html
http://www.amazon.co.jp/exec/obidos/ASIN/4939007286/
http://www.amazon.co.jp/exec/obidos/ASIN/4939007375/