create value with tech, not tool

안녕하세요. AWS 권한 관리 서비스인 AWS Lake Formation과 Amazon Redshift 테이블에 로드하지 않고도 Amazon S3의 파일에서 정형 및 비정형 데이터를 효율적으로 쿼리하고 가져올 수 있는 Amazon Redshift Spectrum기술에 대해 간략히 정리했습니다 AWS Lake Formation을 통해 중앙에서 데이터베이스, 테이블 및 열 수준 액세스 정책을 정의하고 AWS S3에 저장된 데이터에 적용할 수 있습니다. Lake Formation에서 사용할 수 있는 AWS Glue Data Catalog에 데이터를 등록한 후 Redshift Spectrum을 포함한 여러 서비스로 쿼리할 수 있습니다. Lake formation 동작 프로세스 및 기능 Step 1. Data l..

안녕하세요. AWS의 Apache Airflow 용 관리형 오케스트레이션 서비스인 Amazon Managed Workflows for Apache Airflow(MWAA)와 GCP의 Cloud Composer에 대해 이해하고자 작성한 글입니다. 일반적으로 Airflow는 빅데이터 플랫폼 환경에서 Airflow 내 다양한 Operator 기능을 통해 워크플로우(workflow)를 오케스트레이션 해주는 툴로 일반적인 빅데이터 플랫폼 환경에서 많이 사용되고 데이터의 수집, 저장 및 데이터 변환 작업을 일반적으로 순차작업(Airflow DAG)으로 구성하여 배치 작업(Airflow 스케줄)으로 수행할 수 있습니다. Airflow 동작을 이해하기 위해 데이터 분석에 관련된 용어를 간단히 살펴보겠습니다. [참고] ..

안녕하세요. DevOps Engineering 개념에 대해서 간략히 정리했습니다. DevOps 모델 정의 애플리케이션과 서비스를 빠른 속도로 제공할 수 있도록 조직의 역량을 향상시키는 문화, 철학, 방식, 도구의 조합 소프트 개발 사이클의 속도를 높여 제품을 더 빠르게 혁신하고 개선할 수 있으며 조직은 고객을 더 잘 지원하고 시장에서 효과적으로 경쟁할 수 있다. DevOps Pipeline DevOps 운영 이슈 Amazon은 소프트웨어를 소규모 독립 서비스로 리팩토링하고 조직을 소규모 자율팀으로 재구성했다. 각 팀은 단일 서비스의 개발 및 운영에 대한 완전한 소유권을 가지고 고객과 직접 협력하여 개선했다. 이러한 명확한 초점과 제어로 팀은 새로운 기능을 빠르게 생성할 수 있었지만 배포 프로세스는 곧 병..

프로젝트를 진행할 때 관계자들(클라이언트, 기획자, 엔지니어, 개발자, 경영진 등) 간 커뮤니케이션의 시작이 되는 요구사항정의서(Requirements Specification)에 대해 알아보겠습니다. 개인적으로는 프로젝트를 진행할 때 고객을 이해하는 첫 단계라 생각합니다. 요구사항 : 프로젝트의 고객을 이해하는 첫 단계 고객의 요구사항을 얼마나 잘 파악하여 수행하는지에 따라 프로젝트 전반적인 품질(Quality)과 기간(Period), 비용(Cost)이 달라지게 됩니다. 따라서 요구사항정의서는 프로젝트를 기획한 기획자, 수행하는 엔지니어, 경영자 모두에게 프로젝트의 완성도를 가늠해볼 수 있는 척도(barometer)가 될 수 있습니다. 업무를 하며 솔루션의 모니터링 시스템을 고객사에 제공하기 위해 웹페..

십년 전 학생 때만 해도 맥에서 윈도우를 사용하기 위해 부트캠프 USB를 만들고 패럴라이즈로 썼던 기억이 있습니다. 애플 ARM 기반 맥인 M1부터는 부트캠프를 지원하지 않게되어 이제 부트캠프 USB를 만들던 것은 정말 소싯적 얘기가 되어버렸네요. 하긴 Parallels로 아예 SaaS 서비스로 나와버린 시대니 십년 동안 참 많은 변화가 있었습니다. 안녕~인텔 x64, intel museum(2012) 20년말 M1이 출시되고 초기 모델이라 호환성 문제가 있을듯하여 M2 출시를 지켜보고 있었는데 M2가 출시되고 2달쯤 지나 사람들 반응을 보니 생각보다 기존 M1에 대한 평이 좋아 늦은감이 있지만 Mac mini로 ARM 기반 맥을 구매했습니다. 2년이 지났는데 가격은 여전하네요. Mac mini(M1) ..

WSL 환경에서 발생한 이슈를 공유합니다. WSL WSL는 Window Subsystem for Linux의 약자로 Linux용 Windows 하위 시스템을 사용하여 Linux 배포판(Ubuntu, OpenSUSE, Kali, Debian, Arch Linux 등)을 설치할 수 있습니다. (참고) Window용 Linux 배포판 설치 예 WSL 사용 예 Windows Subsystem for Linux(WSL)에서 쿠버네이티즈 CLI 사용하기 [Windows 10] WSL2 설치 및 사용법 위와 같이 많은 사람들이 WSL에서 리눅스 환경을 사용하고 있어 큰 문제가 없겠다 생각하고 WSL에서 리눅스 접속을 하며 테스트를 했습니다. 이슈 WSL 환경에서 K8S CLI 명령어로 AWS EKS 클러스터 API ..