가산 IDC센터에서 밤새다

어제 저녁 늦게 사이트가 열리지 않는다는 연락을 받았다. 처음엔 과부하로 인한 접속 지연 정도로 생각했었는데 원격 접속, 즉 ssl에서 로그인 창이 아예 뜨지 않는 문제가 발생한 것이다. 네트워크의 문제였다. 급히 서버 임대 회사인 가비아에 전화를 걸었다. 야근중이던 엔지니어 분이 원격으로 문제 해결이 어려우니 IDC센터에 직접 방문해서 서버의 하드웨어 상태를 점검해 보아야 한다고 말하는 것이다. 갑갑하다. 이 늦은 시간에 가산 디지털단지까지 가야 하니...

부랴부랴 가산 IDC(internet data center, 기업의 전산시설을 위탁 관리하는 곳) 센터를 방문했다. 저녁 12시가 조금 넘은 시간였다. 이중 삼중 보안된 철문을 지나 otr 서버 장비가 보관되어 있는 곳에 도착해 보니 otr 서버의 랜 포트에 녹색 불빛이 깜박이지 않고 계속 켜져 있었다. 정상적으로 작동하고 있다면 랜 포트의 녹색 불빛이 두 개 있는데 그 중 하나가 깜박 거리고 있어야 한다. 랜 포트의 문제가 분명했다. 

가비아의 엔지니어에게 전화로 도움을 요청했다. 네트워크 명령어는 전혀 모르고 있는 상태였기 때문이다. 엔지니어의 도움으로 랜 포트를 eth0에서 eth1로 바꾸고 네트워크 설정을 변경 한다음 네트워크 재시작, 그러나 문제는 해결되지 않았다. ping 명령어로 확인해 보니 계속 Destination host unreachable이라는 에러 메시지만 뜨는 것이다. 방화벽도 내려 보고 로그 파일도 보고 여러가지 조치를 취해 봤지만 여전히 에러 메시지만 뜨는 것이다. 그렇게 세 네 시간이 흘러갔다.

포기하고 IDC센터에 근무하는 가비아 담당 엔지니어 분이 오전에 출근하면 도움을 청할까 생각했지만 아직도 사이트가 계속 뜨고 있지 않은 상황인데 어떻게든 문제를 빨리 해결해서 사이트를 정상화 시켜야 된다는 생각 뿐이었다. 이렇게 저렇게 설정을 바꾸어 가며 시도를 계속 해봤다. 그러나 조롱이라도 하듯 에러메시지만 반복됐다. 짜증이 밀려왔다. 벌써 새벽 5시가 넘어가고 있었다. 서버 장비가 보관되어 있는 곳은 창문 하나 없고 꽉 막힌데다 온갖 서버에서 뿜어져 나오는 기계음으로 숨이 꽉 막히는 곳이다. 그곳에서 매일 근무하는 분들은 꽤나 힘들 것이다. 직업병이라도 생기지 않을런지...

마지막으로 서버 리부팅을 해봤지만 그것도 소용없는 일이었다. eth1은 사용할 수 없도록 다른 시스템 파일에 설정이 되어 있는 것이 아닐까? 알 도리가 없었다. 할 수 없이 엔지니어와 상의 끝에 포트와 설정을 원래대로 되돌려 놓고 오전에 담당 엔지니어의 도움을 청하기로 했다. 그런데 랜 선을 eth1에서 eth0으로 되돌려 놓고 설정을 원래대로 되돌려 놓은 순간 갑자기 불빛이 깜박이면서 ping을 내보내는 것이었다. 이게 웬일일까? 제대로 동작을 하고 있는 것이다. 나 참내. 이제까지 그렇게 이것저것 해봐도 안되던 것이 갑자기 원래대로 제대로 작동을 하고 있는 것이 아닌가! 그렇다면 결국 랜 포트의 접속 불량이었단 말인가!

이제 사이트가 정상적으로 접속 되는지 물어봤다. 근데 또 하나의 문제가 발생했다. 사이트는 접속이 되나 메인 페이지에서 mysql query error가 나는 것이다. 네트워크 설정을 하면서 db 테이블이 깨진 것이다. 이 문제는 원격으로 해결이 가능한 것이라 더이상 IDC센터에 있을 필요는 없었다. 집으로 돌와오는 택시 안에서 가비아 엔지니어에게 전화로 다시 해결책을 물었다. 테이블 복구를 한 다음 다시 mysql을 재시작하면 해결된다는 것이다.

집에 돌와온 시간은 오전 6시쯤였다. 바로 컴퓨터 앞에 앉아 깨진 테이블을 복구하고 겸사겸사 db 백업까지 해버렸다. 혹시라도 하드가 깨지기라도 하면 어쩌나 하는 조바심이 난 것이다. 모든 작업을 끝마친 시간은 아침 7시. 그때야 비로서 잠자리에 들 수 있었다.

다행히 가비아의 엔지니어 분이 새벽내내 전화로 친절하게 여러가지 도움을 주어 다행이었다. 보통은 자신들의 책임 밖의 일이라 도와줘도 그만 안도와줘도 그만인 것이다. 깜박잊고 성함을 물어보지 않았는데 나중에 술이라도 한 잔 사야겠다. 참 고마웠다.