김도현의 블로그

소개 S사 모바일 보안 솔루션의 SDK개발자 가이드 검색 시스템 다양한 어플리케이션별로 제작에 필요한 모바일 디바이스의 API 메소드 정보를 제공 문제정의 1. 고객 특화(Customer-specific) - 검색의 소스가 되는 것이 고객의 특화데이터(LLM의 학습 과정에서 사용되지 않았던 데이터)에 대한 대응을 할 수 있어야 함 2. 주기적인 업데이트 정보를 즉각적으로 반영할 수 있어야 함 3. 답변에는 거짓이 없어야 함 -> 고객특화데이터를 기반으로 거짓이 없는 Q&A시스템을 만드는 것 해결전략 1, 2. 고객 특화 데이터 및 주기적인 업데이트에 대한 대응 -> RAG(Retrieval Augmented Generation)을 통한 해결 - 고객 특화 문제만 있었다면 파인 튜닝 또한 해결방법이 될 수..

MLOps란? - 머신러닝의 개발 및 운영을 효과적으로 관리하고 협업 기반의 머신러닝 솔루션을 제공하기 위한 사람, 기술 및 프로세스의 조합 - 단순한 기술 솔루션이 아닌 사람과 프로세스를 고려한 모델 구축, 학습, 배포, 모니터링, 관리 및 거버넌스를 자동화하고 표준화하기 위한 운영 방식 - 엔드투엔드 머신러닝 수명주기를 간소화하고 데이터과학자 및 MLOps팀의 생산성을 높이는 동시에 높은 모델정확도를 유지하고 보안 및 규정준수를 강화하는데 도움 - 머신러닝 모델을 운영환경에 효과적이고 일관되게 배포하고 비즈니스 가치를 끌어올릴 수 있음 사례 1: SKT - 에이닷 - 온프레미스 데이터센터에서 시작, 데이터사이언티스트는 데이터센터에서 학습한 모델을 아마존 S3에 업로드, 업로드된 모델은 AWS Step..

AWS 컴퓨팅 서비스 3가지 1. Amazon EC2(클라우드에 위치한 가상 서버 인스턴스) 2. Amazon ECS, EKS, Fargate(Docker 컨테이너를 대규모로 실행하고 관리할 수 있는 서비스) 3. AWS Lambda(이벤트에 대한 응답으로 코드를 실행하는 서버리스 컴퓨팅) 등이 있음 Amazon EC2 - Elastic Compute Cloud의 약자로, Limux, Mac, Windows 등 다양한 OS 환경을 지원하는 가상 서버 서비스 - 사용자들의 다양한 워크로드를 제공하기 위해 여러 기능과 아키텍쳐 제공 EC2의 호스트 가상화 - 온프레미스 환경에서 하이퍼바이저를 통해 물리서버를 가상화하여 가상 머신을 사용하는 것처럼, AWS에서는 EC2를 통해 글로벌 데이터센터들의 물리 서버를..

서버리스란? 1. 물리 장비 물리머신 상에서 워크로드를 운영했음, 이 경우 소프트웨어를 자체적으로 보유한 서버에 직접 설치하여 운영, 이런 물리 서버를 운영하는 경우 서버를 구매하고 배송받는 데도 시간이 오래 걸리지만, 설치하고 운영하는 데도 오랜 시간이 소요됨, 또한 급격한 트래픽 변화에 즉각적으로 대응하는 것이 어려웠음 - 추측에 기반한 계획 필요 - IDC에서 수년간 운영 - 높은 투자 비용 - 낮은 혁신 요인 - 수개월의 배포 기간 2. 가상 머신(VM) 그 다음에는 클라우드 환경으로 이동하여 Amazon EC2와 같은 가상머신을 이용하는 형태로 변화, 하드웨어를 직접 관리하지 않고, 요청에 맞게 인스턴스를 유연하게 확장하고 축소하는 스케일링이 가능해짐 - 하드웨어 독립성 - 더 빠른 프로비저닝 ..

AWS Networking Connectivity AWS 클라우드는 고객 가상 데이터센터인 VPC를 중심으로 다양한 자원들을 연결하고 접근 VPC를 어떤 리전에 생성할지 정해야 하며, 해당 VPC가 얼마나 많은 IP주소를 가질 수 있는지 CIDR블록으로 설정해주어야 함 VPC가 설정된 리전 안에는 가용영역이 존재, 가용영역은 여러개, 서로 논리적으로 분리되어 있음 불가피하게 일부 가용영역이 불능상태가 되더라도 나머지 영역에서 서비스를 이어나갈 수 있음 여러개의 가용영역을 활용하여 자원을 중복 배치하면 전체 서비스의 높은 가용성을 유지할 수 있게 됨 VPC 네트워크는 더 작은 네트워크, 서브넷(subnet)으로 나눌 수 있음 서브넷은 VPC 전체의 CIDR블록 내에서 더 작은 범위의 CIDR블록을 나눠갖게..

컨테이너를 왜 사용하는가? 표준화 이전의 운송: 중구난방식, 공간 낭비, 관리 불편 컨테이너: 표준화된 스토리지 단위 컨테이너란? : 가상머신에서 운영체제가 빠진 것, 운영체제는 공유해서 쓰되 나머지 부분(격리된 환경의 구성, 설정(config), 코드, 종속성, 환경, 라이브러리, 런타임 엔진 등)을 하나의 패키지로 만든 다음 컨테이너들을 배포하는 것 컨테이너의 장점? : 하나의 이미지를 가지고 반복적으로 컨테이너를 만들 수 있음, 독립적인 환경 유지 가능, VM보다 더 빠른 가동/중단 속도(배포되는 데 대부분 2~3초면 실행 가능(이미지를 다운받았다는 전제 하에), 이미지 다운 속도 포함 10초 이내, 중단도 5초 이내), 이동성, 확장성 컨테이너가 각광받는 이유? : Micro Service Arc..

클라우드 컴퓨팅이란? 클라우드 컴퓨팅을 사용하면 인프라를 더는 하드웨어로 사용하지 않고, 소프트웨어로 생각하고 사용할 수 있다. 클라우드의 장점은? 1. 초기비용을 가변비용으로 바꿀 수 있다. 초기비용은: 기술 리소스를 사용하기 전에 미리 투자한 비용이다. 가변비용은: 사용한 만큼만 지불하는 비용을 의미한다. 2. 비용을 최적화할 수 있다. 데이터센터의 유지비를 지출할 필요가 없게 되고, 이로 인한 잉여 리소스를 애플리케이션과 고객에 더 집중할 수 있게 된다. 3. 용량을 추정할 필요가 없다. 필요한 인프라 용량을 추정할 필요가 없고, 필요에 따라 축소 및 확장할 수 있다. 4. 거대한 규모의 경제를 활용할 수 있다. 인프라를 소유할 때보다 가변비용이 낮아지고, 사용고객이 많아질수록 할인율이 높아지는 구..