태그 / #QLoRA

#QLoRA

1편

AI

모델 전체를 다시 학습하지 않는 Fine-tuning, LoRA와 QLoRA

76억 개 파라미터를 전부 다시 학습하지 않고 곁에 붙인 작은 표 두 개만 학습하는 LoRA, 원본을 4비트로 눌러 놓는 QLoRA 를 실제 40.4MB 어댑터 파일로 계산해 가며 정리했습니다.

Fine-tuningLoRAQLoRAPEFTLLM 인프라 입문