[FEATURE] LLM 모델 통합 및 대화 시스템 구현

[kimsuckhyun]

목표

Unsloth Gemma-3 모델을 로드하고, 벡터 DB와 통합하여 졸업 요건 관련 질의응답 시스템 구축 및 대화 히스토리 관리

세부 작업

• LLM 모델 로드 함수 구현

  • load_llm() 함수 작성
  • Unsloth FastLanguageModel을 사용한 Gemma-3 로드
  • 4bit 양자화 설정
  • 최대 시퀀스 길이 설정

• 프롬프트 템플릿 준비 함수 구현

  • prepare_prompt_template() 함수 작성
  • 검색된 문서와 질문을 포함한 시스템 프롬프트 설계

• 질의 실행 함수 구현

  • run_query() 함수 작성
  • 벡터 검색 통합
  • 대화 히스토리 관리
  • 프롬프트 구성 및 모델 추론 실행
  • 응답 후처리

• 인터랙티브 UI 구현

  • ipywidgets을 사용한 입력 위젯 구성
  • 버튼 이벤트 처리
  • Markdown 출력 형식 설정

기술 스택

• unsloth: 최적화된 LLM 추론
• ipywidgets: 주피터 노트북 UI
• torch: 텐서 연산

입/출력 형식

• 입력: 사용자 질문 텍스트
• 출력: 모델 응답 텍스트 (마크다운 형식)
• 히스토리: 질문-답변 쌍 저장