Cloud/AWS
2023. 11. 30.
AWS - 구조화 되지 않은 데이터 분석 시스템 구성도
퇴근 후 쇼핑도하고 서점에 들러 책 구경 중 보게 된 [배워서 바로 쓰는 14가지 aws 구축 패턴] 중 구조화되지 않은 데이터를 다루는 데이터 분석 시스템의 구성도 사례를 보고 뭔가 마음에 들어 책과 동일하게 아키텍처를 그려보았다. 평소 이름과 용도 정도는 자주 들었던 EMR과 Redshift, 실무 중 알게되어 핸즈온 까지는 해본 태블로 등을 이용하여 S3에 애플리케이션 로그를 수집하고 구조화 되지 않은 로그를 EMR을 통해 정형화 후 다시 S3에 저장 Redshift에서 정형화 된 데이터를 로드하여 태블로 서버가 참조하여 각 점포나 C레벨이 대시보드를 통해 데이터를 볼 수 있고, 담당자는 태블로 데스크톱을 통해 간이 분석을 할 수 있는 환경을 구축했다는 점에서 개인적으로 이상적인 데이터 분석 시스템..
