create value with tech, not tool

안녕하세요. 서버 OS 모니터링을 공부하기 위해 ‘실무로 배우는 시스템 성능 최적화’ 책 내용을 참고하여 관심있는 내용 위주로 정리했습니다. 사용량 분석 디스크 사용량 분석은 아래 세 가지 측면에서 이뤄진다 디스크 사용률과 서비스 소요시간 파일 입출력 발생량과 용도 파일시스템 여유율 디스크 성능의 핵심 항목은 디스크의 사용률과 서비스 소요시간이다. 파일 입출력 발생량과 용도는 사용률과 서비스 요소시간에 문제가 있는 경우 불필요한 입출력 제거나 감소를 통해 개선하기 위해 상세분석하는 것이다. 그리고 파일시스템 여유율은 공간 부족으로 인한 장애 발생을 미연에 방지하기 위해 확인한다. 디스크 소요시간 성능에서 응답시간이 가장 중요하듯 디스크 자원에 대한 성능 평가에서 가장 중요한 것은 디스크 소요시간이다. 디..

안녕하세요. 서버 OS 모니터링을 공부하기 위해 ‘실무로 배우는 시스템 성능 최적화’ 책 내용을 참고하여 관심있는 내용 위주로 정리했습니다. 메모리 사용률은 100%라도 부족하지 않으면 성능 저하가 발생하지 않는다. 그럼 메모리 성능은 어떤 기준으로 판단할까? 운영체제 측면의 메모리 부족 여부와 성능 영향도는 페이징스페이스에 대한 스왑 발생 여부로 판단한다. 그밖의 메모리는 각 소프르웨어 솔루션의 메모리 사용 방식을 이해하고 성능을 분석하는 작업이 필요하다. 자바 기반 솔루션 : 설정한 최대 힙 메모리 이상을 사용하지 않기 때문에 최대 힙 메모리가 운영체제의 메모리를 넘기지 않도록 설정했다면 운영체제의 메모리 부족이 발생할 가능성은 낮다. 하지만 한정된 힙 메모리 내에서 동작하기 때문에 대량으 데이터 처..

안녕하세요. 서버 OS 모니터링을 공부하기 위해 ‘실무로 배우는 시스템 성능 최적화’ 책 내용을 참고하여 관심있는 내용 위주로 정리했습니다. 자원 모니터링을 통해 로그를 남겨서 분석할 때 참고사항 중, 주요 자원 사용률이 높을 때는 어떤 프로세스가 무슨 기능을 수행하고 있기 때문에 높게 나타난 것인지 상관관계를 분석하는 것이 중요하다. 이 상관관계를 이해하는 것이 서버 자원 측면에서 성능 개선점을 파악하는데 가장 기초적인 자료가 된다. CPU 사용량 상세 분석 System : 커널 모드 시스템 콜 호출에 사용된 CPU 사용량. 프로세스 제어, 장치 관리, 파일과 네트워크의 관리와 입출력 처리, 시스템 정보와 시간 관리 등에 관련된 함수. 일반적으로 System CPU 사용률은 전체 사용량 대비 30% 미..

안녕하세요. eBPF 기술을 이해하고 공유하기 위해 작성한 글입니다. 2022 kubecon Cloud Native eBPF Day Hosted by CNCF 세션을 추가 업데이트했습니다.(2022.10.24) What is eBPF? What is eBPF? An Introduction and Deep Dive into the eBPF Technology eBPF (which is no longer an acronym for anything) is a revolutionary technology with origins in the Linux kernel that… ebpf.io Why eBPF? hardware is hard to change How is eBPF different from Lua or..

안녕하세요. 최근 AWS와 온프레미스 환경 간 연동 아키텍처를 생각하며 VPN 관련 내용을 정리하기 위해 작성한 글입니다. 예전 AWS와 온프레미스 환경 연동을 위해 VPN 일종인 Wireguard를 온프레미스의 sdwan 장비와 연동하여 SSL VPN 서비스를 제공한 경험이 있습니다. SDWAN 서비스에 3rd Party 오픈소스인 Wireguard를 연동해서 제공한 사내 첫 비지니스 모델 사례였습니다. 서비스 도입 전 사내 테스트부터 제안, 기술협상, 구축, 서비스 안정화까지 몇년이 지났지만 아직도 생각나는 기술이네요. SDWAN — AWS 연동 사례 IPSec vs SSL vs Wireguard 이때 AWS의 SSL VPN 서비스인 Client VPN과 Wireguard 프로토콜을 적용한 VPN 간..

안녕하세요, HTTP3 기반 프로토콜인 QUIC에 대해 간단히 알아보겠습니다. HTTP3 아직 표준안이 확정된 것은 아니지만 기반 기술인 QUIC의 표준인 RFC9000은 2021년에 확정된 상태입니다. 전체 웹사이트 중에 25.2% 정도가 HTTP/3를 사용하고 있습니다. 대표적으로 구글, 유투브 등이 있습니다. QUIC 2013년에 공개된 UDP기반의 전송 프로토콜 참고 : QUIC RFC 9000 보안 강화 tcp의 패킷 리커버리, 혼잡제어 구현됨 TCP / QUIC 차이점 quic 모든 패킷 암호화 (tls 1.3 사용) quic = tcp + tls 결합 주요 벤더사 QUIC 지원 AWS : Amazon CloudFront, 이제 QUIC 기반 HTTP/3 지원 Google Cloud : HTT..

최근 네트워크망을 통해 트래픽이 어떻게 모니터링이 되는지 궁금하여 관련 기술을 찾아보며 관련 프로토콜 및 솔루션을 간단히 소개합니다. sflow/netflow Figure 1: What is sFlow Figure 2: What is NetFlow [참고] SFlow vs SNMP vs NetFlow: What Are the Differences? SFlow vs SNMP vs NetFlow: Which Do You Prefer? SNMP : 표준 네트워크 모니터링 프로토콜 SFlow/NetFlow : 높은 트래픽 네트워크 트래픽 수집, 모니터링 및 분석을 위한 프로토콜 SFlow : 다중 프로토콜 네트워크에서 더 좋음 NetFlow : 향상된 정확성과 확장성을 요구하는 IP 기반 트래픽에 좋음 [참고]..

안녕하세요. AWS 권한 관리 서비스인 AWS Lake Formation과 Amazon Redshift 테이블에 로드하지 않고도 Amazon S3의 파일에서 정형 및 비정형 데이터를 효율적으로 쿼리하고 가져올 수 있는 Amazon Redshift Spectrum기술에 대해 간략히 정리했습니다 AWS Lake Formation을 통해 중앙에서 데이터베이스, 테이블 및 열 수준 액세스 정책을 정의하고 AWS S3에 저장된 데이터에 적용할 수 있습니다. Lake Formation에서 사용할 수 있는 AWS Glue Data Catalog에 데이터를 등록한 후 Redshift Spectrum을 포함한 여러 서비스로 쿼리할 수 있습니다. Lake formation 동작 프로세스 및 기능 Step 1. Data l..

안녕하세요. AWS의 Apache Airflow 용 관리형 오케스트레이션 서비스인 Amazon Managed Workflows for Apache Airflow(MWAA)와 GCP의 Cloud Composer에 대해 이해하고자 작성한 글입니다. 일반적으로 Airflow는 빅데이터 플랫폼 환경에서 Airflow 내 다양한 Operator 기능을 통해 워크플로우(workflow)를 오케스트레이션 해주는 툴로 일반적인 빅데이터 플랫폼 환경에서 많이 사용되고 데이터의 수집, 저장 및 데이터 변환 작업을 일반적으로 순차작업(Airflow DAG)으로 구성하여 배치 작업(Airflow 스케줄)으로 수행할 수 있습니다. Airflow 동작을 이해하기 위해 데이터 분석에 관련된 용어를 간단히 살펴보겠습니다. [참고] ..

안녕하세요. 최근 도서 “테라폼으로 시작하는 IaC” 의 내용을 기준으로 스터디한 내용을 정리했습니다. 지난 [IaC] State & 모듈 글에 이어 해당 글에서는 형상관리도구 & 워크플로에 대해 알아보겠습니다. 형상 관리 도구 형상 관리 도구는 버전 관리 시스템 SVN : 중앙 저장소에서 코드와 히스토리를 관리하는 방식 — [참고: 아파치 서브버전] 깃 Git : 분산형 관리 시스템으로 작업 환경에서도 별도로 코드 히스토리를 관리하고 중앙 저장소와 동기화 — [참고: Git(깃), 리누스 토발즈 TED 영상] Git 중앙 저장소와 코드를 동기화하지 않아도 같은 파일을 여러명 작업 가능 깃은 코드 형상관리를 작업 환경인 로컬 저장소 Local Repository와 리모트 저장소 Remote Reposit..