create value with tech, not tool

안녕하세요. Elastic Search에서 진행한 Generative AI search 워크샵을 참관 후 이해한 내용을 간략히 정리했습니다. LLM의 문제점- 대규모 데이터 이관 시 할루시네이션 발생- Search에서 할루시네이션이 발생되지 않고, LLM에서 발생됨vector search 1. dense vector search : 최근접/이웃 활용 2. sparse vector search : elastic search의 key-value - 이전에 view했던 페이지 이력 확인해서 검색에 활용vector 많이 쓰면 메모리 많이 사용, 많은 데이터가 RAM에 있고 데이터 search를 위해서는 CPU에 부하 발생됨 -> 8개 또는 4개로 양자화하는 기술 도입됨-> Better Binary Quant..

안녕하세요. AWS 권한 관리 서비스인 AWS Lake Formation과 Amazon Redshift 테이블에 로드하지 않고도 Amazon S3의 파일에서 정형 및 비정형 데이터를 효율적으로 쿼리하고 가져올 수 있는 Amazon Redshift Spectrum기술에 대해 간략히 정리했습니다 AWS Lake Formation을 통해 중앙에서 데이터베이스, 테이블 및 열 수준 액세스 정책을 정의하고 AWS S3에 저장된 데이터에 적용할 수 있습니다. Lake Formation에서 사용할 수 있는 AWS Glue Data Catalog에 데이터를 등록한 후 Redshift Spectrum을 포함한 여러 서비스로 쿼리할 수 있습니다. Lake formation 동작 프로세스 및 기능 Step 1. Data l..

안녕하세요. AWS의 Apache Airflow 용 관리형 오케스트레이션 서비스인 Amazon Managed Workflows for Apache Airflow(MWAA)와 GCP의 Cloud Composer에 대해 이해하고자 작성한 글입니다. 일반적으로 Airflow는 빅데이터 플랫폼 환경에서 Airflow 내 다양한 Operator 기능을 통해 워크플로우(workflow)를 오케스트레이션 해주는 툴로 일반적인 빅데이터 플랫폼 환경에서 많이 사용되고 데이터의 수집, 저장 및 데이터 변환 작업을 일반적으로 순차작업(Airflow DAG)으로 구성하여 배치 작업(Airflow 스케줄)으로 수행할 수 있습니다. Airflow 동작을 이해하기 위해 데이터 분석에 관련된 용어를 간단히 살펴보겠습니다. [참고] ..