8. Model Serving

Serving : ML 모델을 개발하고, 현실 세계(앱, 웹)에서 사용할 수 있게 만드는 행위

    - 서비스화라고도 부름.

 

예측 모델이 존재하는 서버에 결과값을 요청하는 과정

 

 

 API(Application Programming Interface)

    - 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스

    - 쉽게는 기상청 API, 지도 API가 있고 PyTorch, Tensorflow 와 같은 라이브러리 함수 또한 API라고 볼 수 있다.

 

서버 구축

1. Flask, FastAPI등을 사용하여 직접 서버 구축(python 기반)

2. AWS의 SageMaker, GCP의 Vertex AI등을 이용하여 클라우드 서비스를 활용하여 서버 구축 - 비용문제 발생

3. Tensorflow Serving, Torch Serve, MLFlow, BentoML 등 라이브러리를 활용하여 서버 구축

 

Batching Serving

     - 학습 주기와 예측 주기를 Batch(단위)를 설정하여 진행할 수 있다.

     - Jupyter Notebook에서 작성한 코드를 함수화한 후에 주기적으로 python main.py 와 같은 명령어를 통해 반복 실행하는 구조