AI 파인튜닝 실전 — LoRA, QLoRA로 커스텀 모델 만들기

LoRA란

Low-Rank Adaptation. 전체 모델 가중치를 수정하지 않고, 작은 어댑터 레이어만 학습합니다. 메모리와 시간을 대폭 절약합니다.

QLoRA 실전

from peft import LoraConfig, get_peft_model
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-3-8B",
    load_in_4bit=True  # QLoRA: 4비트 양자화
)

lora_config = LoraConfig(
    r=16, lora_alpha=32,
    target_modules=["q_proj", "v_proj"],
    lora_dropout=0.05,
)
model = get_peft_model(model, lora_config)
# 학습 가능 파라미터: ~0.1%