Bingo, das wars. Danke für den Tipp, da wäre ich nie drauf gekommen. Was auf dem Rechner (P4D, 2 GHz RAM) lokal gut läuft, wollte per Remotedesktop nicht mehr. Die wenigen Male, wo Remotedesktop bzw. VNC noch funktionierten, hatte ich wohl sehr wenige Prozesse offen.
Meine neue Faustregel lautet: Will mich per Remotedesktop zugreifen, darf ich keinen Firefox mit 25 Tabs bzw. die DATEV-Programme offen haben...