screen, add, lighten とかは明るくしかならない。
mul, sub, darken などの暗くする系か、psoverlay/psslight/pshlight とかの
光源用のモードを使うのが妥当。夜の表現だと、pshlight がオススメかな。

この手の処理では、基本的にPS互換の合成モードのほうが opacity に反応するので使いやすい。
Photoshop で再現実験してからパラメータを決めるといいよ。

意味については以下参照
http://devdoc.kikyou.info/tvp/docs/kr2doc/contents/TPC.html
http://devdoc.kikyou.info/tvp/docs/kr2doc/contents/GraphicSystem.html