どんなしくみだろうと最低でも画面用のメモリにデータ配置するタイミングで重くならんの？
それが例え差分情報だけで処理してたとしても

解像度がどれだけ変わろうと、同じPＣで動作が全く変わらないっていうのが理解できない

そりゃあグラボで十分な支援があった場合だけだろ？