NVIDIAのドライバーとCentOSリモートデスクトップ

CentOS5.3にアップグレードしたついでに、NVIDIAのドライバーを
NVIDIA-Linux-x86_64-180.44-pkg2.run
にしたら、Windows等からVNCでリモートデスクトップにつながらなくなった。
NVIDIA-Linux-x86_64-177.82-pkg2.run
に戻したらつながるようになった。
しばらく悩んだ……orz