프로세스가 사용하는 메모리의 제한은 잘 모르겠고요.
유저나 그룹에 대해서는 제한 할 수 있습니다.
 pam 이 깔리셨다면 (물론 깔렸겠지만) /etc/security/limits.conf
를 보시면..
  : linux에서 process가 사용할 수 있는 memory의 양에 제한이 있나요?
: 있으면 어떻게 바꿀 수 있나요? 부탁합니다...--return true