Search
Duplicate

LLM

Search

데이터는 영원한 존재가 아니다

논문의 핵심 요지는 “현재 머신러닝 모델이 학습할 수 있는 데이터의 증가 속도가, 공개되어 있는 데이터의 증가 속도보다 빠르다” 입니다.
즉, ‘모델의 학습 데이터 소비 속도 > 공개 데이터의 생성 속도’로 정리할 수 있습니다. 결과적으로, 특정 시기에 접어들어서는 모델의 성능이 개선되지 않거나, 오히려 쇠락할 수 있는 포화 상태에 봉착할 수 있다는 것입니다. 특히, 고품질(High Quality) 언어 데이터는 현재 추세가 지속될 경우, 2026년 안에 고갈 상태(Ex)가 된다고 하니 심각한 상황이 아닐 수 없습니다.
고품질 데이터와 저품질 데이터 <고품질 데이터> 정의: 일반적으로, 고품질 데이터는 전문적인 기준에 따라 생성되고, 정제된 데이터를 의미해요! 이 데이터는 유용성이나 품질에 대한 검증을 거쳤기 때문에 훈련에 사용될 때 더 나은 모델 성능을 기대할 수 있습니다. 예시: 과학 논문, 서적, 뉴스 기사, 위키피디아 및 필터링된 웹 콘텐츠 등이 있습니다. 이러한 데이터 소스는 대개 데이터가 특정 품질 기준을 충족한다는 공통점이 있습니다. <저품질 데이터> 정의: 저품질 데이터는 검증이나 필터링 과정 없이 인터넷과 같은 소스에서 직접 수집된 데이터를 의미해요. 이 데이터는 오류가 많거나, 불완전하거나, 관련성이 낮은 정보를 포함할 수 있습니다. 예시: 소셜 미디어 포스트, 사용자가 생성한 블로그 글, 포럼 댓글 등이 포함됩니다. 이러한 데이터는 종종 노이즈가 많고, 퀄리티가 일정하지 않을 수 있습니다. 저품질의 데이터가 고품질 데이터의 생성 속도보다 빠르다는 것을 감안했을 때, 저품질의 데이터를 적절하게 정제하여, 언어 모델에 투입하는 과정이 매우 중요하다고 볼 수 있습니다!
이러한 사실은, 우리가 일반적으로 모델을 학습하고 평가하기 위해서, 데이터를 나누는 과정을 생각하면 이해하기 편할 것 같습니다.
먼저, 학습(Train) 데이터와 평가(Test) 데이터를 일차적으로 분할하고, 학습 데이터 중 일부를 검증(Validation) 데이터로 분할하지요. 검증 데이터는, 모델이 학습 데이터를 사용하여 현상에 대한 일반화를 잘 수행하고 있는지 확인합니다. 또한, 평가 데이터는 모델이 이제껏 관찰하지 못한 새로운 데이터에 대한 일반화 정도를 평가하는 용도로 사용됩니다.
RAG의 중요성
요즘 LLM의 매력에 푹 빠져서, 오랜만에 노마드 코더님의 강의를 듣고 있는데요
문서 정보를 제공해주는 챗봇 애플리케이션을 제작하는 과정이 재밌으면서, 정말 배울 점이 많아 이 곳에 정리하려고 합니다. 논문 내용을 정리하거나, 막히는 부분이 있을 때 ChatGPT를 활용하는데, 서비스를 클론 코딩을 해볼 수 있어 정말 좋았습니다!
목표는 챗봇 애플리케이션을 만드는 것이며, 챗봇은 주어진 문서에 대한 정보를 제공하는 역할을 수행합니다. 이때, 웹 애플리케이션 제작을 위해 Streamlit 프레임워크를 사용하였습니다. 또한, Langchain을 통해, LLM 기반 챗봇 구현을 수행했습니다.
전체 코드와 데모 영상은 아래 깃허브 링크에 있으니, 참고하시면 좋을 것 같습니다!
Langchain
jihoahn9303
챗봇 애플리케이션을 위해 구현해야 할 요소는 크게 다음과 같습니다.
To-do list 1. 사용자로부터 문서를 제공 받을 위젯 생성 2. 챗봇을 위한 LLM 모델 생성 3. RAG(Retrieval Augmented Generation) 구현 4. 프롬프트 생성 5. 대화 내용을 출력(display)

문서 업로드 위젯 생성

사용자가 문서를 챗봇에 보내는 방법 및 업로드 후에 애플리케이션이 수행할 동작을 정의합니다.
먼저, Streamlit 프레임워크의 file_uploader() 함수를 통해 위젯을 생성하고, 파일을 입력 받을 수 있습니다. 이때, 사이드 바(sidebar)에 위젯을 배치하는 것이 깔끔한 것 같아, 해당 사항을 반영했습니다.
SmartDoc 챗봇 구축기
안녕하세요! 오랜만에 LLM 컨텐츠를 주제로 돌아왔습니다
LLM 관련 기술을 학습하고, 여러 프로젝트를 수행하면서 문득 한 가지 생각이 들더군요.
‘상품에 대한 설명을 참고하여 가격을 어느 정도 정확하게 예측을 할 수 있을까?’
기존에는, 상품의 카테고리 / 크기 / 제조사 등 다양한 범주형 변수를 수치화하여 전통적인 머신러닝 모델을 통해 가격을 예측하는 경우가 많았습니다 (물론, 평점과 같은 연속형 변수도 포함하여 사용할 수 있습니다).
상품 가격과 관련성이 높은 피처들을 많이 수집하고 정교하게 피처링을 하면, 간단한 모델로도 파괴적인 성능을 보여줄 수 있을 것입니다.
하지만, 제 경험 상 한정된 정보와 품질이 떨어지는 데이터를 마주하게 될 확률이 상당히 높았습니다.
그래서, 사전에 학습된 LLM 모델을 이용하여 가격을 예측하는 방법을 떠올리게 되었습니다.
만약, 해당 방법론이 working 하다면, 기존 방식보다 상대적으로 feature engineering에 소요되는 시간을 줄일 수도 있습니다.
또한, 모델의 input이 텍스트이므로, 전통적인 머신러닝 모델보다 유연하게 데이터를 입력 받을 수 있습니다.
Amazon 상품 가격 예측 봇 구축기(1) - 전처리
두근두근
오늘은 드디어 OpenAI GPT-4o 모델을 파인튜닝하여 Amazon 상품 예측 봇을 만드는 날입니다.
•
데이터 전처리
•
Baseline 모델 생성
•
LLM 파인튜닝 with GPT

라이브러리 로드 및 환경 설정

Amazon 상품 가격 예측 봇 구축기(3) - GPT-4o 파인튜닝
안녕하세요!
저는 얼마 전, 우연하게 모두의 AI 케인님의 유튜브 영상을 시청하였습니다.
AI Agent에 대한 개념과 필요성에 대해 설명을 기막히게 잘 해주시더라구요!
덕분에 해당 주제에 대해 큰 흥미와 관심을 가지게 되었고, 본격적으로 Deep-dive하게 된 동기가 되었습니다 :)
vLLM 기반 AI Agent 구축기

Workflow

전체 프로세스는 다음과 같습니다.
•
캐시 시스템
•
파일 전처리(Loader, Chunking, Embedding, Vector database)
•
RAG Agent

캐시 시스템 구축

도입 배경

사용자가 동일하거나 비슷한 질문을 반복할 수 있습니다.
따라서, 매번 RAG를 수행하는 것은 시간과 비용 측면에서 바람직하지 않습니다.
캐시를 활용하면 불필요한 리소스 낭비를 최소화 할 것으로 판단했습니다.
RAG Agent 구축기
Text-to-SQL 파인튜닝에 관련된 핵심 주제 및 관련 레퍼런스를 정리하는 공간입니다.

Topic 1. 병렬 처리를 통한 SQL 질문 생성

•
Use case: SQL 생성 목적에 따라, 별도의 분기를 생성하여 그래프를 실행한다 > 전체 그래프 실행 시간을 단축시킬 수 있다.
•
핵심 키워드
•
레퍼런스

Topic 2. 멀티턴

•
Use case: SQL 구문 생성 및 검증이 한 cycle에 끝나지 않고, 여러 cycle을 수행해야 할 수 있다. 예를 들어, SQL 검증 시 특정 기준을 만족하지 못하는 경우, 다시 SQL 구문을 생성하여 평가를 수행해야 한다. > Loop 구현 시 멀티턴 방식을 생각해볼 수 있다.
•
레퍼런스

Topic 3. 메모리 스토어

•
Use case: SQL 쿼리 생성을 위해 필요한 정보를 저장
Text-to-SQL 파인튜닝을 위한 LangGraph 레퍼런스 정리