한가로이 출근한 오전..
스토리지에서 dual 라인 중 한라인 fail 발생 발견.
느긋이 스토리지 업체 호출.
출동한 CE에게 문제의 어댑터를 잘못 알려줌.
멀쩡한 쌩짜 케이블을 뽑아버림.
당근 다 죽음.
디비 OPS take over 시키고 깨진 파일 시스템 복구 완료.
안전을 위해 시스템 리붓.
시스템 안올라옴.
5시간 동안 리부팅 시도하다 간신히 성공.
부팅로그 확인 결과 케이블 교체 어댑터에서 하드웨어 인식에 문제.
하드웨어와 오에스 어느쪽 문제인지 확인 못함.
어댑터 제거와 숫한 트라이얼로 간단히 하루 날밤깜.
디스크 하나짜리 볼륨 인식에 두 시간 걸림. 쫄아서 디스크 80개 짜리는 시도도 못함.
take over 한 나머지 서버 급사.
클러스터 솔루션 스타트 불가능.
하드웨어,오에스,BP,MA,스토리지 모든 업체에서 수십명 출동.
생각나는 모든 방법 시도.
신문에 발표.
시스템 백업으로 한달 전으로 오에스 복구 시작
백업 데이터로 다른 서버에 디비 마이그레이션 시작
테레비에 날 경우에 대비해 모자이크 처리 고민 시작
시스템 리스토어 후에도 클러스터 스타트 불가능
디비 리스토어 예상외로 긴 시간 소요
해외 도피에 대해 심각히 고민 시작
연인원 30명 가까이 투입될 즈음 두번째 날밤
디비 마이그레이션 끝날 즈음 기적적으로 클러스터 복구 성공
절대로 시스템을 리부팅하면 안된다는 쪽과 미리 해보자는 쪽으로 갈림.
일단 서비스 재개하기로 하고 지원 업체들 귀가
서버 재급사에 대비 모니터링.
오전 끝날 무렵 SE 한사람 남기고 조용히 사라짐
55시간만에 잠을 잠.
15시간 수면후 출근, 후속 복구 작업 4시간 남음.

--
두 달 동안 두 번 정도의 주말을 쉴 수 있었다.
회사에서는 연차 휴가 빨리 소진하라고 난리다.
작업 지연과 사고로 얼굴도 못들고 다닌다.
이건.. 3D 중에서 어디에 속할까..