장애 복구 루프와 메타안정성 운영 설계
장애는 꺼진 서비스를 다시 켜는 순간 끝나지 않는다. Kubernetes, Vault, Kafka 같은 인프라에서 더 위험한 시간은 복구가 시작된 뒤다. 복구는 선의의 부하다. 밀린 메시지를 다시 흘리고, 늦게 도착한 데이터를 재계산하고, DR 클러스터로 트래픽을 넘기고, 캐시가 식은 경로를 다시 데운다. 문제는 이 부하가 평상시 부하와 같은 모양으로 들어오지 않는다는 점이다. Aleksey Charapko가 쓴 metastability in recovery 글은 이 지점을 정확히 짚는다. 장애 전파를 막아도 복구 전파는 남는다. 시스템 A의 장애가 시스템 B로 직접 번지지 않았더라도, A가 회복하면서 밀린 일을 한꺼번에 B로 밀어 넣으면 B는 뒤늦게 복구 모드에 들어간다. B가 다시 원본 데이터를 재조회하면 메시지 버스나 저장소가 흔들린다. 복구가 또 다른 복구를 부른다. ...