create value with tech, not tool

안녕하세요, devops를 이해하기 위해 학습한 내용에 대한 정리글입니다.그전에 Gemini에게 Agent AI가 나오면서 앞으로 devops 전망에 대해 물어봤습니다. ✦ 결론부터 말하면, DevOps 엔지니어의 역할은 사라지는 것이 아니라 'AI 조련사', '자동화 시스템 설계자' 와 같이 더 높은 수준의 전략가로 변화할 것입니다. DevOps의 각 단계가 AI 에이전트를 통해 어떻게 변하는지 살펴보면 다음과 같습니다. 1. 기획 및 설계 (Plan & Design) * 현재: 사람이 요구사항을 분석하고 아키텍처를 설계합니다. * AI 에이전트 도입 후: AI가 요구사항 문서를 분석해 최적의 기술 스택, 아키텍처 패턴, 예상 리소스 등을 추천합니다. 잠재적인 병목 현상이나 보안 취약점을 ..

안녕하세요, 최근 Azure의 Application gateway와 Private Endpoint를 활용해 Open AI 서비스를 연동한 내용을 간단히 설명합니다. [요구사항]외부 SaaS 서비스에서 도메인을 통해 Azure의 Open AI 서비스를 안정적으로 사용 [테스트 구성] 1. Network 구성- Network Subscription과 서비스(DEV/STG/PRD)용 Subscription을 분리하여 Peering으로 연결 구성- Open AI의 특정 모델의 경우 East US 2 리전에 출시되어 East US 리전에 vNet을 구성하여 Global Peering으로 구성- Network Subscription과 서비스(DEV/STG/PRD)용 Subscription 간에는 Private ..

안녕하세요. Elastic Search에서 진행한 Generative AI search 워크샵을 참관 후 이해한 내용을 간략히 정리했습니다. LLM의 문제점- 대규모 데이터 이관 시 할루시네이션 발생- Search에서 할루시네이션이 발생되지 않고, LLM에서 발생됨vector search 1. dense vector search : 최근접/이웃 활용 2. sparse vector search : elastic search의 key-value - 이전에 view했던 페이지 이력 확인해서 검색에 활용vector 많이 쓰면 메모리 많이 사용, 많은 데이터가 RAM에 있고 데이터 search를 위해서는 CPU에 부하 발생됨 -> 8개 또는 4개로 양자화하는 기술 도입됨-> Better Binary Quant..