[portfolio](https://geonwoo.kim/ko/portfolio) › 비즈톡

# AWS MSK 3.8 마이그레이션

https://geonwoo.kim/ko/portfolio/msk-migration

기간: 2025.08 — 2025.09

운영 중인 MSK 3.5의 지원이 2025.10에 끝날 예정이었습니다. 3.8 신규 클러스터를 KRaft 메타데이터로 구성하고 기존 토픽을 다시 만들었습니다.

토픽 약 160개의 설정을 새 클러스터에 자동으로 재생성

팀: 1인

역할: 아키텍처 설계 · 개발·운영 클러스터 KRaft 도입 · SASL 인증 추가 · 토픽·복제본 재구성 · 발송 테스트 · Kafka UI 모니터링

AWS MSK 3.8 · Kafka KRaft · SASL/SCRAM · AWS Secrets Manager · Kafka UI

## 인증 방식 선정

문제: 신규 클러스터에는 서버 인증을 새로 추가해야 했습니다. MSK는 IAM, TLS, SASL 등을 지원해, 사내 환경과의 호환성과 운영 복잡도를 함께 따져야 했습니다.

해결: 검토 끝에 SASL/SCRAM 방식을 택했습니다. 사용자 계정은 AWS Secrets Manager에 저장했습니다. 각 서버에 Secrets Manager 정보를 연동해, 서버가 계정을 읽어 인증하게 했습니다.

## 토픽 설정 재생성 자동화

문제: 기존 클러스터에서 운영하던 토픽 전체를 새 클러스터에 같은 설정으로 만들어야 했습니다. 토픽마다 파티션 수, 복제본, 옵션이 달라 손으로 옮기면 누락과 오류의 위험이 컸습니다.

해결: 기존 클러스터의 토픽 설정을 CSV 파일로 일괄 추출하고, 수정이 필요한 토픽은 복제본 구성을 다시 잡았습니다. 이 CSV를 읽어 신규 클러스터에 토픽 전체를 만드는 스크립트를 썼습니다. 토픽명, 파티션 수, 복제본, 옵션이 그대로 반영되어 손으로 옮기는 시간을 크게 줄였습니다.


[브랜드 Shopify 스토어 기능 개발과 연동](https://geonwoo.kim/ko/portfolio/lukuku-clients) · [BGMS 로그 마스킹 모듈](https://geonwoo.kim/ko/portfolio/log-masking)