본문 바로가기

ETL

(2)
[DOP] Other Services Other Services 이번 장에서는 DevOps Engineer Professional (DOP) 을 준비하며 "기타 AWS 서비스들"에 대해서 알아보도록 한다. AWS Tag Editor 여러 리소스의 태그를 한 번에 관리할 수 있다. 태그 추가/업데이트/삭제가 가능하다. 모든 AWS 리전에서 태그를 지정하거나 태그가 지정되지 않은 리소스를 검색할 수 있다. Amazon QuickSight 대화형 대시보드를 만들기 위한 서버리스 머신러닝 기반의 BI(Business Intelligence) 서비스다. 세션별 가격 정책을 통해 빠르고 자동으로 확장 가능하며 내장 가능하다. 비즈니스 분석, 빌딩 시각화, 임시 분석 수행, 데이터를 사용하여 BI 확보 등에 사용된다. RDS, Aurora, Athena..
[Kafka] ETL, EAI, Streaming ETL vs EAI vs Kafka 이번 장에서는 ETL과 EAI에 대해서 알아보고 최근 많이 사용되고 있는 Kafka에 대해서 알아본다. ETL(Extracting & Transformation & Loading) 1990년대 소매 조직에서 구매자 트렌드를 분석하기 위해 사용되기 시적하였다. ETL은 다양한 데이터 소스에서 데이터를 추출(Extracting)하여 필요한 데이터로 변환(Transformation)하고 데이터를 필요로 하는 곳으로 로딩(Loading)하는 것을 의미한다. ELT을 쉽게 할 수 있게 제공해주는 툴을 제공하는 업체들이 존재하며 원하는 데이터로 변환하는 비즈니스 로직이 있어야 한다. 주로 데이터베이스의 데이터를 통합하는데 많이 사용되며 대용량 데이터를 일정 주기마다 배치성으로 처..