create value with tech, not tool

안녕하세요. AWS 권한 관리 서비스인 AWS Lake Formation과 Amazon Redshift 테이블에 로드하지 않고도 Amazon S3의 파일에서 정형 및 비정형 데이터를 효율적으로 쿼리하고 가져올 수 있는 Amazon Redshift Spectrum기술에 대해 간략히 정리했습니다 AWS Lake Formation을 통해 중앙에서 데이터베이스, 테이블 및 열 수준 액세스 정책을 정의하고 AWS S3에 저장된 데이터에 적용할 수 있습니다. Lake Formation에서 사용할 수 있는 AWS Glue Data Catalog에 데이터를 등록한 후 Redshift Spectrum을 포함한 여러 서비스로 쿼리할 수 있습니다. Lake formation 동작 프로세스 및 기능 Step 1. Data l..

안녕하세요. AWS의 Apache Airflow 용 관리형 오케스트레이션 서비스인 Amazon Managed Workflows for Apache Airflow(MWAA)와 GCP의 Cloud Composer에 대해 이해하고자 작성한 글입니다. 일반적으로 Airflow는 빅데이터 플랫폼 환경에서 Airflow 내 다양한 Operator 기능을 통해 워크플로우(workflow)를 오케스트레이션 해주는 툴로 일반적인 빅데이터 플랫폼 환경에서 많이 사용되고 데이터의 수집, 저장 및 데이터 변환 작업을 일반적으로 순차작업(Airflow DAG)으로 구성하여 배치 작업(Airflow 스케줄)으로 수행할 수 있습니다. Airflow 동작을 이해하기 위해 데이터 분석에 관련된 용어를 간단히 살펴보겠습니다. [참고] ..