Search
Duplicate

MLOps

Search

ML 기반 실험 관리의 어려움

Hydra를 이용한 설정 관리 프로젝트(1) - 개요
MLflow와 Google Cloud Platform 연동(1) - 사전 준비
이번에는 MLflow-GCP 간 연동에 필요한 Dockerfile과 쉘 스크립트를 작성하고 세부 내용을 확인하는 시간을 갖도록 하겠습니다.
아무래도 모든 코드에 대한 설명을 포함하기 때문에, 분량이 조금 많은 편입니다. (절대로 칭찬해달라고 애원하는 글은 아닙니다 ㅎㅎ…)
틈 나실 때 조금씩 읽어보시는 것도 하나의 방법이 될 것 같아요

개요

연동을 위해 필요한 코드 트리 구조는 아래와 같습니다.
. ├── .dockerignore ├── .envs │ ├── .gcp │ └── .tracking-server ├── Makefile ├── docker │ ├── Dockerfile │ └── scripts │ └── run-server.sh ├── docker-compose.yaml ├── poetry.lock ├── pyproject.toml └── scripts ├── create-server.sh └── startup-script.sh
•
.envs 폴더 내에는 MLflow tracking server / Artifact Registry / Artifact Store / Backend store 접근 + VM 인스턴스 생성을 위해 필요한 환경 변수를 저장한 파일이 있습니다.
•
docker 폴더 내에는 VM 인스턴스에서 실행할 Dockerfile과 MLflow tracking server에 대한 스크립트(run-server.sh)가 있습니다.
•
scripts 폴더 내에는 VM 인스턴스 생성을 수행하는 스크립트와(create-server.sh) VM 인스턴스 실행 직후 실행되는 스크립트(startup-script.sh)가 있습니다.
MLflow와 Google Cloud Platform 연동(2) - 코드
<Table of Contents>
MLflow와 Google Cloud Platform 연동(3) - 연동
안녕하세요!
이번 시간에는 간단한 머신러닝 태스크를 진행하고, 그 결과를 MLflow Tracking 서버에 저장하도록 하겠습니다.
또한, MLFlow server와 연동된 GCP의 Artifact store 및 Backend store에 어떠한 데이터가 저장되어 있는지 확인해보죠!
MLFlow server와 GCP 연동에 관련된 내용은 앞선 포스팅(1~3편)을 참고해주시기 바랍니다.
또한, 머신러닝 태스크 수행 시 필요한 설정은 Hydra를 이용했습니다.
Hydra 사용 방법에 대한 자세한 내용은 Hydra를 이용한 설정 관리 프로젝트 포스팅(총 3편)을 참고해주세요!

프로젝트 링크

전체 코드는 아래 Github 링크에 있습니다!
MLflow-with-GCP
jihoahn9303

ML Task

MLflow와 Google Cloud Platform 연동(4) - ML 실습
이전 포스팅에서 설명 드린 Hydra 설정을 기반으로 실습이 진행됩니다

train.py

이미지 분류에 대한 Task, 즉 모델 학습은 train.py 을 통해 진행됩니다.
따라서, 해당 파일의 코드를 한 번 살펴보도록 하겠습니다.
본 코드는 크게 두 가지 메인 로직이 존재합니다.

setup_config 메소드

Hydra를 이용한 설정 관리 프로젝트(3) - ML 실험 실습
프로젝트의 전체 코드는 아래 링크에서 확인하시면 됩니다 :)

설정 관리 개요

구체적인 내용에 앞서, 지난 시간에 설명했던 프로젝트 구조를 떠올려봅시다.
. ├── config_schemas (Using Hydra Structured configs) │ ├── config_schema.py │ ├── data_module_schema.py │ ├── task │ │ ├── loss_function_schema.py │ │ ├── model │ │ │ ├── adapter_schema.py │ │ │ ├── backbone_schema.py │ │ │ └── head_schema.py │ │ ├── model_schema.py │ │ └── optimizer_schema.py │ ├── task_schema.py │ └── trainer_schema.py ├── configs │ ├── config.yaml │ ├── data_module │ ├── task │ │ ├── loss_function │ │ ├── model │ │ │ ├── adapter │ │ │ ├── head │ │ └── optimizer │ └── trainer └── train.py
설정 관리는 크게 스키마(schema_schemas 폴더) 구성과 세부 구현(configs 폴더)로 구성하였습니다.
•
스키마를 구성하여 각 컴포넌트의 토대를 구성합니다.
Hydra를 이용한 설정 관리 프로젝트(2) - 설정 구현
GCP API를 활용한 인스턴스 그룹 생성