create value with tech, not tool

안녕하세요, HTTP3 기반 프로토콜인 QUIC에 대해 간단히 알아보겠습니다. HTTP3 아직 표준안이 확정된 것은 아니지만 기반 기술인 QUIC의 표준인 RFC9000은 2021년에 확정된 상태입니다. 전체 웹사이트 중에 25.2% 정도가 HTTP/3를 사용하고 있습니다. 대표적으로 구글, 유투브 등이 있습니다. QUIC 2013년에 공개된 UDP기반의 전송 프로토콜 참고 : QUIC RFC 9000 보안 강화 tcp의 패킷 리커버리, 혼잡제어 구현됨 TCP / QUIC 차이점 quic 모든 패킷 암호화 (tls 1.3 사용) quic = tcp + tls 결합 주요 벤더사 QUIC 지원 AWS : Amazon CloudFront, 이제 QUIC 기반 HTTP/3 지원 Google Cloud : HTT..

최근 네트워크망을 통해 트래픽이 어떻게 모니터링이 되는지 궁금하여 관련 기술을 찾아보며 관련 프로토콜 및 솔루션을 간단히 소개합니다. sflow/netflow Figure 1: What is sFlow Figure 2: What is NetFlow [참고] SFlow vs SNMP vs NetFlow: What Are the Differences? SFlow vs SNMP vs NetFlow: Which Do You Prefer? SNMP : 표준 네트워크 모니터링 프로토콜 SFlow/NetFlow : 높은 트래픽 네트워크 트래픽 수집, 모니터링 및 분석을 위한 프로토콜 SFlow : 다중 프로토콜 네트워크에서 더 좋음 NetFlow : 향상된 정확성과 확장성을 요구하는 IP 기반 트래픽에 좋음 [참고]..

안녕하세요. AWS 권한 관리 서비스인 AWS Lake Formation과 Amazon Redshift 테이블에 로드하지 않고도 Amazon S3의 파일에서 정형 및 비정형 데이터를 효율적으로 쿼리하고 가져올 수 있는 Amazon Redshift Spectrum기술에 대해 간략히 정리했습니다 AWS Lake Formation을 통해 중앙에서 데이터베이스, 테이블 및 열 수준 액세스 정책을 정의하고 AWS S3에 저장된 데이터에 적용할 수 있습니다. Lake Formation에서 사용할 수 있는 AWS Glue Data Catalog에 데이터를 등록한 후 Redshift Spectrum을 포함한 여러 서비스로 쿼리할 수 있습니다. Lake formation 동작 프로세스 및 기능 Step 1. Data l..

안녕하세요. AWS의 Apache Airflow 용 관리형 오케스트레이션 서비스인 Amazon Managed Workflows for Apache Airflow(MWAA)와 GCP의 Cloud Composer에 대해 이해하고자 작성한 글입니다. 일반적으로 Airflow는 빅데이터 플랫폼 환경에서 Airflow 내 다양한 Operator 기능을 통해 워크플로우(workflow)를 오케스트레이션 해주는 툴로 일반적인 빅데이터 플랫폼 환경에서 많이 사용되고 데이터의 수집, 저장 및 데이터 변환 작업을 일반적으로 순차작업(Airflow DAG)으로 구성하여 배치 작업(Airflow 스케줄)으로 수행할 수 있습니다. Airflow 동작을 이해하기 위해 데이터 분석에 관련된 용어를 간단히 살펴보겠습니다. [참고] ..

안녕하세요. DevOps Engineering 개념에 대해서 간략히 정리했습니다. DevOps 모델 정의 애플리케이션과 서비스를 빠른 속도로 제공할 수 있도록 조직의 역량을 향상시키는 문화, 철학, 방식, 도구의 조합 소프트 개발 사이클의 속도를 높여 제품을 더 빠르게 혁신하고 개선할 수 있으며 조직은 고객을 더 잘 지원하고 시장에서 효과적으로 경쟁할 수 있다. DevOps Pipeline DevOps 운영 이슈 Amazon은 소프트웨어를 소규모 독립 서비스로 리팩토링하고 조직을 소규모 자율팀으로 재구성했다. 각 팀은 단일 서비스의 개발 및 운영에 대한 완전한 소유권을 가지고 고객과 직접 협력하여 개선했다. 이러한 명확한 초점과 제어로 팀은 새로운 기능을 빠르게 생성할 수 있었지만 배포 프로세스는 곧 병..

프로젝트를 진행할 때 관계자들(클라이언트, 기획자, 엔지니어, 개발자, 경영진 등) 간 커뮤니케이션의 시작이 되는 요구사항정의서(Requirements Specification)에 대해 알아보겠습니다. 개인적으로는 프로젝트를 진행할 때 고객을 이해하는 첫 단계라 생각합니다. 요구사항 : 프로젝트의 고객을 이해하는 첫 단계 고객의 요구사항을 얼마나 잘 파악하여 수행하는지에 따라 프로젝트 전반적인 품질(Quality)과 기간(Period), 비용(Cost)이 달라지게 됩니다. 따라서 요구사항정의서는 프로젝트를 기획한 기획자, 수행하는 엔지니어, 경영자 모두에게 프로젝트의 완성도를 가늠해볼 수 있는 척도(barometer)가 될 수 있습니다. 업무를 하며 솔루션의 모니터링 시스템을 고객사에 제공하기 위해 웹페..