크크크~ GDM에서 세션을 그놈으로 하니 잘 되는군요. 지미안 GDM에서 세션을 기본값으로 해놓아서 xmodmap를 읽지 않은 것 같네요. : .xsession 파일에 xmodmap /.Xmodmap 를 추가해보세요.
GDM 에서 세션을 그놈으로 바꾸니 되었다니 다행입니다. 같은 문제를 겪는 분을 위해 세션 설정 방법을 남겨 주셔도 좋겠습니다.