DeepDive

본 콘텐츠는 구름 서포터즈 활동으로 지원을 받아 작성된 교육생의 실제 경험 후기입니다.🏁 치열했던 UNBOX의 마침표데이터의 결과물이 아닌 흐름 그 자체가 궁금해 뛰어들었던 구름 딥다이브 과정. 어느덧 모놀리식 구조에서 시작했던 C2C 리셀 플랫폼 UNBOX가 성공적으로 최종 발표를 마쳤습니다.서비스를 도메인별로 분리하며 MSA로 전환하고, 분산 환경에서 발생하는 정합성 문제를 해결하기 위해 Kafka와 보상 트랜잭션(Saga 패턴)을 도입하며 머리를 싸맸던 기억이 다시 생각나는 것 같습니다.특히 트래픽이 몰리는 상황을 가정한 동시성 제어 테스트에서, Redis Worker Thread와 Backpressure 패턴을 적용해 P95 응답 속도를 13.8초에서 1.13초로 끌어내렸을 때의 경험이 제 귀중..

본 콘텐츠는 구름 서포터즈 활동으로 지원을 받아 작성된 교육생의 실제 경험 후기입니다.🛠️ 1개월 차에 Observability 파이프라인 구축구름 딥다이브 과정에서의 첫 한 달은 인프라와 백엔드의 근간을 이해하기 위한 뼈대 세우기 작업이었습니다. 막연하게 느껴졌던 네트워크 흐름과 클라우드 리소스들이 머릿속에서 연결되기 시작했습니다.저희는 EKS 환경에 최적화된 Prometheus로 메트릭을 수집하고, 경량화된 로그 수집을 위해 Loki를 도입했습니다. 더불어 MSA 환경에서 복잡하게 얽힌 분산 트랜잭션의 지연 시간을 추적하기 위해 Tempo를 결합하여, Grafana라는 하나의 통합 대시보드에서 시스템의 상태를 한눈에 관측할 수 있는 환경을 만들어냈습니다. 이 파이프라인을 통해 CPU 사용률, API..

본 콘텐츠는 구름 서포터즈 활동으로 지원을 받아 작성된 교육생의 실제 경험 후기입니다.🤔 데이터의 결과 말고 흐름이 궁금했던 전공생저는 데이터 사이언스를 전공했습니다. 학부 시절 내내 다양한 데이터 분석 프로젝트를 수행했고, 모델링으로 의미 있는 인사이트를 도출하는 과정은 즐거웠습니다. 하지만 졸업이 다가오고 여러 프로젝트를 마무리할 때쯤, 마음 한구석에 채워지지 않는 게 있었습니다.데이터가 어디서부터 흘러들어오는거지?항상 정제된 데이터(CSV)나 주어진 데이터셋을 가지고 분석을 시작하다 보니, 정작 서비스상에서 데이터가 생성되고, 저장되고, 분석 환경으로 넘어오기까지의 과정은 블랙박스처럼 느껴졌던 것 같습니다. 실제 현업에서는 대규모 트래픽에서 데이터가 실시간으로 쌓일 텐데, 그 데이터 파이프라인은 ..