AWS - 구조화 되지 않은 데이터 분석 시스템 구성도

퇴근 후 쇼핑도하고 서점에 들러 책 구경 중 보게 된 [배워서 바로 쓰는 14가지 aws 구축 패턴] 중 구조화되지 않은 데이터를 다루는 데이터 분석 시스템의 구성도 사례를 보고 뭔가 마음에 들어 책과 동일하게 아키텍처를 그려보았다.

 

평소 이름과 용도 정도는 자주 들었던 EMR과 Redshift, 실무 중 알게되어 핸즈온 까지는 해본 태블로 등을 이용하여

S3에 애플리케이션 로그를 수집하고 구조화 되지 않은 로그를 EMR을 통해 정형화 후 다시 S3에 저장

Redshift에서 정형화 된 데이터를 로드하여 태블로 서버가 참조하여 각 점포나 C레벨이 대시보드를 통해 데이터를 볼 수 있고, 담당자는 태블로 데스크톱을 통해 간이 분석을 할 수 있는 환경을 구축했다는 점에서

개인적으로 이상적인 데이터 분석 시스템 인프라 라고 생각되었다.

 

인프라 구축을 직접 한지 벌써 1년이 넘어 설계부터 운영까지 직접 내가 해 보고 싶은 욕구가 조금씩 생기는 것 같다..

간단한 인프라를 구축 하고 애플리케이션 세팅을 해보는 것도 뇌를 말랑말랑 하게 할 겸 해야 할것 같다.