Comment Generator with Gradio + FastAPI

요약

수 많은 주석을 일일이 타이핑하기 싫은, 당신을 위한 프로젝트입니다

진행 기간

2024/09/23 → 2024/10/15

기술 스택

Docker

Google Cloud Platform

FastAPI

HuggingFace

Gradio

카테고리

개인 프로젝트

프로젝트 링크

Comment-generator

jihoahn9303

포트폴리오

[Self-project]Making_comments_generator.pdf

1356.6KB

프로젝트 개요

Gradio UI에 코드를 입력하면, 자동으로 주석을 추가해주는 애플리케이션을 제작하였습니다!! 원하는 모델을 선택하고, 파이썬 코드를 입력하여 주석 생성 버튼을 클릭하세요. 멋진 코드가 여러분 앞에 등장할 것입니다 :) 주석 생성 모델로서, HuggingFace ‘Code generator’ 특화 LLM 모델을 활용했습니다.

개발 환경에서 Makefile을 이용하여 FastAPI 기반 어플리케이션을 Docker image로 build합니다.

Makefile에 명시된 파이프라인에 따라, 빌드가 끝난 Docker image는 GCP Artifact Registry에 자동으로 배포됩니다.

Makefile에 명시된 파이프라인에 따라, GCP VM Instance를 자동으로 생성합니다.

생성된 VM Instance는 자동으로 GCP Artifact Registry에서 Docker image를 가져오고, 컨테이너를 실행합니다 > FastAPI 어플리케이션 실행

이제, 여러분들은 Gradio UI를 통해 자동으로 코드 주석을 만들 수 있습니다 :)

서비스 URL

브라우저를 통해, Gradio UI에 접근할 수 있습니다. 주소는 아래와 같아요!

http://34.22.74.209:8000/gradio/

참고 사항

•

모델이 준비되지 않은 경우에는, 주석을 생성할 수 없습니다. 이때, 모델 불러오기 버튼을 클릭하여 모델을 로딩해주세요 (약 5~6분 소요)

•

비용 절감을 위하여 Dedicated Endpoint 기능을 활용하였습니다. 일정 시간(현재 15분) 동안 모델 호출이 없을 경우, Endpoint를 중지하는 방식을 사용했습니다.

•

함수에 Type hinting을 제공할 때, 더 정교하게 주석을 추가할 수 있습니다.

기술 스택

•

LLM 모델: HuggingFace API

•

UI 구성: Gradio

•

어플리케이션 배포: FastAPI

•

클라우드 플랫폼: Google Cloud Platform

◦

Docker image → Google Artifact Registry

◦

Server → Google Compute Engine

이전 페이지 돌아가기