ML Serving 전체 아키텍처를 설명해보세요.

ML Serving 아키텍처는 학습된 머신러닝 모델을 실제 서비스에 적용하여 예측 결과를 제공하기 위한 전체 시스템 구조로, 크게 모델 학습(Training) 영역과 모델 서빙(Serving) 영역으로 구성된다. 학습 단계에서는 다양한 데이터 소스로부터 데이터를 수집하고, 전처리 및 Feature Engineering을 수행한 뒤 모델을 학습한다. 학습된 모델은 성능 평가를 거쳐 모델 저장소(Model Registry)에 등록되며, 이때 모델의 버전, 학습 데이터, 하이퍼파라미터 등의 메타데이터도 함께 관리된다.

서빙 단계에서는 사용자 또는 시스템의 요청을 받아 실시간 또는 배치 형태로 예측을 수행한다. 일반적인 구조는 API Gateway → Application Server → Model Server로 구성되며, API Gateway는 인증 및 트래픽 제어를 담당하고, Application Server는 비즈니스 로직 처리 및 요청을 모델 서버로 전달하는 역할을 수행한다. Model Server에서는 등록된 모델을 로딩하여 입력 데이터를 기반으로 추론(Inference)을 수행하고 결과를 반환한다. 이 과정에서 입력 데이터는 학습 시 사용한 것과 동일한 방식으로 전처리되어야 하며, 이를 위해 Feature Store를 활용하여 학습-서빙 간 데이터 일관성을 유지하기도 한다.

또한 서비스 환경에서는 성능과 안정성을 고려한 다양한 요소가 함께 설계된다. 예를 들어, 실시간 응답성을 확보하기 위해 캐싱(Cache)이나 경량화된 모델을 활용하고, 대규모 트래픽 처리를 위해 로드 밸런싱 및 오토스케일링이 적용된다. 배치 서빙의 경우에는 대용량 데이터를 주기적으로 처리하여 예측 결과를 저장하는 방식으로 운영된다.

마지막으로 운영 단계에서는 지속적인 모니터링과 관리가 중요하다. 모델의 예측 성능 저하를 감지하기 위한 데이터 드리프트(Data Drift) 및 모델 드리프트(Model Drift) 감지, 시스템 로그 및 메트릭 모니터링, 그리고 A/B 테스트나 카나리 배포를 통한 안정적인 모델 업데이트 전략이 활용된다. 이러한 구조를 통해 ML Serving 아키텍처는 단순한 모델 실행을 넘어, 확장성, 안정성, 지속적인 개선이 가능한 서비스 형태로 운영된다.