LLM Lora Fine Tuning

介紹大型語言模型的 LoRA 微調技術，涵蓋理論基礎、訓練流程、Tokenizer 原理與實作 Lab，幫助學員實際微調出能創作歌詞的 LLM 模型。

• PPT
• Example Code

Setup

• Python: 3.11

Install

pip install torch transformers peft gradio tqdm matplotlib

Download Based Model

pip install -U "huggingface_hub[cli]"

huggingface-cli login --token <your-huggingface-token>

SAVE_PATH="hf_models/gemma-3-1b-it"
MODEL_NAME="google/gemma-3-1b-it"
huggingface-cli download ${MODEL_NAME} --local-dir ${SAVE_PATH}