웃어야 됩니까.? 울어야 됩니까.?
남에 일이 아니군여..


: 한가로이 출근한 오전..
: 스토리지에서 dual 라인 중 한라인 fail 발생 발견.
: 느긋이 스토리지 업체 호출.
: 출동한 CE에게 문제의 어댑터를 잘못 알려줌.
: 멀쩡한 쌩짜 케이블을 뽑아버림.
: 당근 다 죽음.
: 디비 OPS take over 시키고 깨진 파일 시스템 복구 완료.
: 안전을 위해 시스템 리붓.
: 시스템 안올라옴.
: 5시간 동안 리부팅 시도하다 간신히 성공.
: 부팅로그 확인 결과 케이블 교체 어댑터에서 하드웨어 인식에 문제.
: 하드웨어와 오에스 어느쪽 문제인지 확인 못함.
: 어댑터 제거와 숫한 트라이얼로 간단히 하루 날밤깜.
: 디스크 하나짜리 볼륨 인식에 두 시간 걸림. 쫄아서 디스크 80개 짜리는 시도도 못함.
: take over 한 나머지 서버 급사.
: 클러스터 솔루션 스타트 불가능.
: 하드웨어,오에스,BP,MA,스토리지 모든 업체에서 수십명 출동.
: 생각나는 모든 방법 시도.
: 신문에 발표.
: 시스템 백업으로 한달 전으로 오에스 복구 시작
: 백업 데이터로 다른 서버에 디비 마이그레이션 시작
: 테레비에 날 경우에 대비해 모자이크 처리 고민 시작
: 시스템 리스토어 후에도 클러스터 스타트 불가능
: 디비 리스토어 예상외로 긴 시간 소요
: 해외 도피에 대해 심각히 고민 시작
: 연인원 30명 가까이 투입될 즈음 두번째 날밤
: 디비 마이그레이션 끝날 즈음 기적적으로 클러스터 복구 성공
: 절대로 시스템을 리부팅하면 안된다는 쪽과 미리 해보자는 쪽으로 갈림.
: 일단 서비스 재개하기로 하고 지원 업체들 귀가
: 서버 재급사에 대비 모니터링.
: 오전 끝날 무렵 SE 한사람 남기고 조용히 사라짐
: 55시간만에 잠을 잠.
: 15시간 수면후 출근, 후속 복구 작업 4시간 남음.
:
: --
: 두 달 동안 두 번 정도의 주말을 쉴 수 있었다.
: 회사에서는 연차 휴가 빨리 소진하라고 난리다.
: 작업 지연과 사고로 얼굴도 못들고 다닌다.
: 이건.. 3D 중에서 어디에 속할까..

--
더도 말고 딱 1년 4개월만 참자..!! 아자..!!