한참 헤매다가 알았습니다.
 /etc/X11/fs/config 의
맨 마지막 라인을 comment out 해 주시면 됩니다.
# don't listen to TCP ports by default for security reasons
#no-listen = tcp