서버실에서 여러 경고가 동시에 울리면 화면에 가장 크게 표시된 알람부터 끄고 싶어집니다. 하지만 전원, 온도, 스토리지는 서로 영향을 주기 때문에 한 장비씩 무작정 재시작하면 원인을 찾기 더 어려워질 수 있습니다.
먼저 장애가 시작된 시간과 영향을 받는 장비 범위를 기록한 뒤 전원 → 냉각 → 스토리지 순서로 공통 원인을 확인하는 편이 안전합니다. 타는 냄새, 연기, 누수, 스파크가 보인다면 진단을 멈추고 시설 안전 절차와 담당자의 지시를 우선해야 합니다.
조치를 시작하기 전에 남겨야 할 기록
- 최초 경고가 발생한 시각과 서비스 장애가 시작된 시각
- 전체 랙인지, 특정 PDU인지, 한 대의 서버만 영향을 받는지
- 정전, 냉각기 점검, 펌웨어 업데이트 등 직전에 있었던 작업
- UPS·PDU·BMC·스토리지 관리 화면의 경고 메시지와 화면 캡처
- 현재 서비스가 정상, 성능 저하, 일부 중단, 전체 중단 중 어느 상태인지
이 기록은 나중에 로그를 맞춰보는 기준이 됩니다. 여러 장비를 한꺼번에 껐다 켜면 최초 원인을 보여주는 로그가 덮이거나 새로운 경고가 섞일 수 있습니다.
전원·온도·스토리지를 빠르게 구분하는 기준
| 영역 | 먼저 볼 신호 | 피해야 할 행동 |
|---|---|---|
| 전원 | UPS 입력·출력, 배터리, 바이패스, PDU 부하, 차단기 상태 | 원인 확인 없이 보호 장치를 우회하는 것 |
| 온도 | 흡기 온도, 랙 상·하단 차이, 팬 속도, 여러 센서의 변화 | 경고를 끄기 위해 임계값만 높이는 것 |
| 스토리지 | 컨트롤러 로그, 지연 시간, 디스크 상태, RAID 경고, 최근 백업 | 백업 확인 없이 재구축이나 초기화를 시작하는 것 |
전원 계통은 상위 장비부터 내려오며 확인하기
한 서버만 꺼졌다면 해당 서버의 전원 공급 장치와 케이블을 먼저 보지만, 같은 랙의 여러 장비가 동시에 영향을 받았다면 UPS와 PDU 같은 공통 전원 경로를 먼저 확인합니다.
- 상용 전원이 정상인지, UPS가 배터리 또는 바이패스 모드로 전환됐는지 확인합니다.
- UPS의 입력·출력 전압, 부하율, 배터리 경고와 이벤트 시간을 기록합니다.
- 랙 PDU의 부하가 특정 회로나 상에 치우치지 않았는지 확인합니다.
- 이중 전원을 사용하는 서버라면 두 전원 공급 장치가 서로 다른 경로에 연결됐는지 살펴봅니다.
- 전원이 복구된 뒤에도 경고가 남는다면 UPS 배터리 상태와 전원 공급 장치 로그를 점검합니다.
랙의 전력 밀도와 단상·3상 전원 구성은 장비 수, 시설 용량, 배선 규격에 따라 달라집니다. 특정 전력 수치만으로 3상 PDU가 반드시 필요하다고 단정하지 말고 전기 설계 담당자와 장비 제조사의 정격 기준을 따라야 합니다.
온도 경고가 실제 과열인지 센서 문제인지 나누기
실제 과열이라면 보통 흡기 온도 상승, 팬 속도 증가, 여러 장비의 온도 상승이 함께 나타납니다. 반대로 펌웨어 업데이트 직후 한 센서만 비현실적인 값을 표시하거나 잠깐 사라졌다면 BMC 재시작 또는 센서 읽기 오류일 수 있습니다.
- 여러 센서 비교: 한 개의 값만 보지 말고 서버 흡기, 배기, CPU, 스토리지, 랙 환경 센서를 함께 봅니다.
- 변화 방향 확인: 온도가 서서히 오르는지, 한순간에 비정상 값으로 바뀌었는지 확인합니다.
- 공기 흐름 점검: 랙 전면 흡기와 후면 배기가 막히지 않았는지, 블랭킹 패널과 케이블이 공기 흐름을 방해하지 않는지 살펴봅니다.
- 업데이트 이력 대조: BMC나 BIOS 업데이트 시간과 경고 시작 시간이 일치하는지 확인합니다.
센서 값이 정상으로 돌아왔다고 바로 경고를 삭제하기보다 일정 시간 추세를 관찰하는 편이 좋습니다. 실제 온도가 제조사 허용 범위를 넘거나 계속 상승한다면 부하를 줄이고 시설 담당자에게 냉각 장치를 점검받아야 합니다.
스토리지 경고는 서비스보다 데이터 보호를 먼저 생각하기
스토리지는 재부팅으로 일시적으로 정상처럼 보일 수 있지만, 문제의 원인이 사라진 것은 아닐 수 있습니다. 특히 여러 디스크가 동시에 경고를 내거나 RAID가 성능 저하 상태라면 무리한 재구축보다 최근 백업과 복구 가능 여부를 먼저 확인합니다.
- 스토리지 컨트롤러와 운영체제 로그에서 최초 오류 시간을 확인합니다.
- 어떤 디스크와 경로에서 지연, 미디어 오류, 링크 재설정이 발생했는지 기록합니다.
- 최근 백업의 완료 시각과 실제 복원 가능 여부를 확인합니다.
- 한 개 디스크 문제인지, 백플레인·케이블·컨트롤러·전원처럼 공통 경로 문제인지 구분합니다.
- 제조사 절차에 따라 교체 또는 재구축하고 진행 상태를 모니터링합니다.
SSD는 전원이 없는 상태에서의 데이터 보존 기간이 제품 종류, 사용량, 보관 온도와 마모 상태에 따라 크게 달라집니다. “몇 개월 또는 1년이면 반드시 데이터가 사라진다”는 식으로 판단할 수 없습니다. 장기 보관 자료는 특정 SSD 한 개에 의존하지 말고 서로 다른 매체와 장소에 복수로 보관해야 합니다. 일상적인 백업 원칙은 저장장치 수명 관리와 데이터 보호 방법에서 자세히 확인할 수 있습니다.
복구 후에는 원인과 조치를 한 줄로 연결하기
서비스가 정상으로 돌아오면 장애 종료 시각만 적는 것으로 끝내지 말고 “무슨 신호를 보고 어떤 조치를 했으며 무엇이 바뀌었는지”를 남겨야 합니다. 예를 들어 “14:10 UPS 배터리 전환 → 14:12 랙 PDU 부하 경고 → 비필수 장비 부하 분산 후 정상화”처럼 시간순으로 작성하면 다음 장애 때 판단이 빨라집니다.
- 최초 원인과 함께 장애를 키운 요인이 있었는지 확인
- 경고 임계값이 지나치게 느슨하거나 민감하지 않았는지 검토
- 복구 절차와 담당자 연락망이 실제로 작동했는지 확인
- 백업 복원 테스트와 예비 부품 재고 상태 점검
- 같은 조건을 재현할 수 있다면 유지보수 시간에 제한적으로 검증
전문가 대응이 필요한 상황
전기 설비의 스파크·탄 냄새·반복적인 차단기 동작, 냉각 장치 고장으로 인한 지속적인 온도 상승, 여러 디스크의 동시 이탈은 현장에서 임의로 우회해서는 안 됩니다. 전기·시설·스토리지 담당자에게 로그와 영향을 받은 범위를 전달하고 안전 절차에 따라 대응하세요.
자주 묻는 질문
펌웨어 업데이트 직후 온도 경고가 떴다면 무시해도 되나요?
무시하기보다 업데이트 시각과 경고 시각을 대조하고 여러 센서가 정상으로 돌아오는지 확인해야 합니다. 값이 계속 높거나 팬 이상이 동반되면 실제 냉각 문제로 보고 점검합니다.
RAID가 성능 저하 상태라면 바로 재구축하면 되나요?
먼저 최근 백업과 남은 디스크 상태를 확인하세요. 다른 디스크도 불안정한 상태에서 재구축을 시작하면 읽기 부하가 늘어 장애가 커질 수 있으므로 제조사 절차와 지원 지침을 따르는 것이 안전합니다.
공식 자료 참고
서버실 장애 대응은 장비를 다시 켜는 작업만으로 끝나지 않습니다. NIST의 정보시스템 비상 대응 계획 공식 지침처럼 업무 영향 분석, 예방 통제, 복구 우선순위, 대체 장비·장소, 정기 훈련과 계획 갱신을 문서화해야 합니다. 실제 장애가 발생하면 시간대별 조치와 변경 내용을 기록해 재발 방지 자료로 남기세요.