콘솔만 쓰면 X 서버가 떠 있지 않아 공격 면이 줄어드는 것은 맞지만, 보안의 대부분은 실행 중인 서비스와 권한 설정에서 결정됩니다.
X 를 쓰지 않아도 ssh 등 서비스가 열려 있으면 같은 위험이 있으니, 필요한 서비스만 켜 두는 것이 핵심입니다.