728x90
반응형
- AWS 데이터 서비스 개요:
- S3: 객체 스토리지 서비스로 대규모 데이터를 저렴하게 저장할 수 있습니다.
- Kinesis: 실시간 데이터 스트리밍 서비스를 제공하며, 데이터 수집과 처리에 사용됩니다.
- Lambda: 서버리스 컴퓨팅 서비스로, 이벤트 기반으로 코드를 실행할 수 있습니다.
- RDS: 관리형 관계형 데이터베이스 서비스로, 다양한 DB 엔진을 지원합니다.
- 데이터 파이프라인 구성 요소:
- 수집: 데이터 수집을 위한 Kinesis, S3, API Gateway 등의 서비스
- 저장: 데이터를 저장하기 위한 S3, RDS, DynamoDB 등의 서비스
- 처리: 데이터를 처리하기 위한 Lambda, EMR, Glue 등의 서비스
- 분석: 데이터를 분석하기 위한 Athena, Redshift, QuickSight 등의 서비스
- 서비스 간 연동:
- Kinesis로 수집한 데이터를 S3에 저장하고, Lambda를 사용해 데이터를 실시간으로 처리
- EMR 클러스터를 사용해 대규모 데이터를 분석하고, 결과를 RDS나 Redshift에 저장
- Glue를 사용해 데이터 카탈로그를 관리하고, Athena로 데이터를 쿼리하여 분석
728x90
반응형