回転前の画像サイズを縦y1、横x1として、
時計回りにa°傾けるとする

回転後の画像サイズを縦y2、横x2として

y2 = sin(a)*x1 + cos(a)*y1 ;
x2 = sin(a)*y1 + cos(a)*x1 ;

ただ、x1 x2 y1 y2はint型、aはfloat型になるとおもうんで、
float num ;

num = ( sin(a)*( (float)x1 ) + cos(a)*( (float)y1 ) ;
y2 = (int)( num + ( num > (int)num ) ) ;
num = ( sin(a)*( (float)y1 ) + cos(a)*( (float)x1 ) ;
x2 = (int)( num + ( num > (int)num ) ) ;

としておけば、整数化する時の小数部のあまりを1と出来ます。…と思う