1. 머신러닝 시스템(Machine Learning Systems, MLSys)란 무엇인가
- AI의 발전은 알고리즘 개발에서 ML 시스템 엔지니어링으로 확장되고 있다.
- ML 시스템 엔지니어링은 알고리즘, 데이터, 컴퓨팅 인프라의 통합을 통해 AI 시스템을 설계하고 구현하며 운영하는 학문이다.
- 이 엔지니어링은 데이터 수집, 관리부터 모델 훈련 및 배포까지의 과정을 포함하며 신뢰성과 효율성을 강조한다.
- 머신러닝 시스템은 데이터, 알고리즘, 컴퓨팅 인프라로 구성된 통합 시스템으로, 각 요소는 상호 의존적이다.
- 알고리즘은 데이터에서 패턴을 학습하는 수학적 모델이며, 데이터와 컴퓨팅은 각각 학습 및 추론을 지원하고, 효율적 훈련과 운영을 가능하게 한다.
2. 머신러닝 시스템의 생애 주기
- 머신러닝 시스템은 데이터가 시스템 동작의 핵심 원동력이라는 점에서 전통적인 소프트웨어 시스템과 본질적으로 다르다.
- 전통적인 소프트웨어는 명시적으로 작성된 코드에 따라 작동하지만, 머신러닝 시스템은 데이터로부터 패턴을 학습하여 행동을 결정한다.
- 머신러닝 생애 주기의 주요 단계는 문제 정의, 데이터 수집 및 준비, 모델 개발, 시스템 통합, 그리고 배포 및 운영으로 구성된다.
- 데이터의 품질과 다양성은 머신러닝 시스템 성능에 매우 중요한 영향을 미치며, 데이터 전처리와 라벨링이 필수적이다.
- 모델 배포와 운영 단계에서는 지속적인 모니터링과 유지보수가 이루어지며, 데이터 드리프트 및 개념 드리프트를 탐지하고 필요시 재훈련을 수행한다.
3. AI 발전의 6단계
- 현대 머신러닝 시스템은 기술 발전을 넘어 인간의 사고방식 변화를 반영하는 중요한 개념이다.
- 초기 AI는 심볼릭 AI로 시작하여 수학적 정리 증명 및 특정 문제 해결에 초점을 맞췄으나, 규칙 기반 시스템의 한계가 발견되었다.
- 1970-1980년대에는 전문가 시스템이 개발되어, 특정 도메인의 전문 지식을 활용하는 방식이 도입되었다.
- 1990년대에는 대량의 데이터와 컴퓨팅 파워의 발전으로 통계적 학습이 가능해지며, 서포트 벡터 머신과 같은 새로운 알고리즘이 개발되었다.
- 2000년대에는 얕은 학습이 도입되어, 상대적으로 단순한 알고리즘들이 데이터 처리에 사용되었고, 사람의 피처 엔지니어링이 강조되었다.