create value with tech, not tool

안녕하세요, AI 엔지니어링을 학습하기 위해 인프런 AI 엔지니어링 완독챌린지에 참여하며 주차별 이해한 내용을 기록합니다. 1주차 독후감인프런 AI 엔지니어링 챌린지 1주차 학습을 통해 파운데이션 모델(FM)의 근간부터 애플리케이션 개발 방법론까지 폭넓게 이해할 수 있었습니다.FM의 발전은 지도 학습의 한계를 넘어선 자기 지도 학습 기반의 LLM에서 시작하여 다양한 모달리티를 포괄하는 FM으로 확장되었고 이는 AI 엔지니어링이라는 새로운 패러다임(기존 모델 활용)을 낳았습니다. 기획 단계에서는 비즈니스 영향을 최우선 지표로 삼아야 하며 프롬프트 엔지니어링과 파인튜닝을 통한 모델 조정이 중요함을 인지했습니다.특히, 트랜스포머 아키텍처와 어텐션 메커니즘의 상세한 설명을 통해 모델 작동 원리를 이해할 수 있었..

안녕하세요. Elastic Search에서 진행한 Generative AI search 워크샵을 참관 후 이해한 내용을 간략히 정리했습니다. LLM의 문제점- 대규모 데이터 이관 시 할루시네이션 발생- Search에서 할루시네이션이 발생되지 않고, LLM에서 발생됨vector search 1. dense vector search : 최근접/이웃 활용 2. sparse vector search : elastic search의 key-value - 이전에 view했던 페이지 이력 확인해서 검색에 활용vector 많이 쓰면 메모리 많이 사용, 많은 데이터가 RAM에 있고 데이터 search를 위해서는 CPU에 부하 발생됨 -> 8개 또는 4개로 양자화하는 기술 도입됨-> Better Binary Quant..