🔥 Redis 메모리 부족으로 인한 서비스 장애 대응기(Redis EXECABORT Transaction discarded because of previous errors)

🧨 문제 상황: 거래소 마켓 데이터 모듈에서 장애 발생

지난 주말, 거래소 마켓 데이터 처리 모듈의 장애로 인해 전체 서비스가 중단되었습니다.

문제의 모듈은 Kubernetes 환경에서 배포된 pod였으며, 다음과 같은 에러 로그와 함께 무한 재기동 현상이 발생하고 있었습니다.

Uahandeled promise rejection occured!
[ErrorReply: EXECABORT Transaction discarded because of previous errors.]

🕵️ 원인 분석: Redis 트랜잭션 EXECABORT

에러 메시지 중 핵심은 다음 부분이었습니다:

EXECABORT Transaction discarded because of previous errors.

Redis의 EXECABORT는 보통 트랜잭션 내부에서 오류가 발생했기 때문에 exec이 취소되었을 때 나타나는 메시지입니다. 일반적인 원인은 다음 세 가지 중 하나입니다:

1. 잘못된 명령 실행
   • 트랜잭션 블록 내에서 잘못된 Redis 명령어가 실행됨
2. WATCH한 키 변경 시도
   • 트랜잭션 도중 다른 클라이언트가 감시 중인 key를 변경함
3. Redis 메모리 부족
   • 설정된 메모리 한도를 초과하여 명령 실행이 실패함

이번 장애에서는 최근 기능 변경 내역이 없었기 때문에, 메모리 부족 가능성에 무게를 두었습니다.

📊 메모리 상태 확인

다음 명령어로 Redis 인스턴스의 메모리 상황을 확인했습니다:

redis-cli info | grep memory

결과적으로, Redis 메모리가 한계에 도달한 상태였고, 최근 배포된 대용량 벌크 메일 처리 로직이 주요 원인으로 보였습니다.

해당 로직은 Redis를 큐처럼 사용하며 많은 데이터를 저장하고 있었고, 예상보다 빠르게 메모리를 소비했습니다.

🧯 문제 해결 과정

✅ 임시 조치

1. 처리되지 못한 job들을 백업
   • 재전송을 위한 데이터 백업 수행
2. 장애 유발 Redis key 제거
   • 메모리 초과로 인해 누적된 대기열 key 삭제

---

💡 영구 조치

• AWS Redis 인스턴스 용량 증설
  • 기존 2GB → 4GB로 확장
• 남은 벌크 메일 정상 처리
  • 장애로 누적된 데이터 안정적으로 소비

🛠 개선 계획

이번 장애를 통해 다음과 같은 개선 방향을 도출했습니다:

• 🔁 자동 스케일 아웃 로직 도입

  Redis 사용량이 일정 기준 이상일 경우, 자동 알림 또는 스케일링 처리

• 📦 Redis 인스턴스 분리

  알림 서비스 전용 Redis 인스턴스를 별도 운영하여 메인 서비스와 격리

✍️ 마치며

주말에 발생한 갑작스러운 장애였지만, 빠른 로그 확인과 원인 추적, 구조적 개선까지 이어지면서 의미 있는 경험이 되었습니다.

무엇보다, **트랜잭션 실패 메시지(EXECABORT)**는 Redis 운영 시 자주 접할 수 있는 이슈이므로, 미리 메모리 상태 모니터링과 용량 계획을 세워두는 것이 중요합니다.