크크크~ GDM에서 세션을 그놈으로 하니 잘 되는군요.
지미안 GDM에서 세션을 기본값으로 해놓아서 xmodmap를 읽지 않은 것 같네요.
: .xsession 파일에 xmodmap /.Xmodmap 를 추가해보세요.