training-recipes

# 训练配方 针对 LoRA、QLoRA 和全量微调在不同模型规模下的完整超参数配置。 ## 概述 LitGPT 在 `config_hub/finetune/` 中为各种模型架构和微调方法提供了优化后的训练配置。 **关键配置文件**： - `config_hub/finetune/*/lora.yaml` - LoRA 微调 - `config_hub/finetune/*/qlora.yaml` - 4-bit 量化 LoRA - `config_hub/finetune/*/full.yaml` - 全量微调 ## LoRA 微调配方 ### TinyLlama 1.1B LoRA **配置**： yaml global_batch_size: 8 micro_batch_size: 8 lr_warmup_steps: 10 epochs: 3 max_seq_length: 512 # LoRA 特定 lora_r: 8 lora_alpha: 16 lora_dropout: 0.05 **命令**： bash litgpt finetune_lora TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T --data JSON --data.json_path data/alpaca_sample.json --train.global_batch_size 8 --train.micro_batch_size 8 --train.lr_warmup_steps 10 --train.epochs 3 --train.max_seq_length 512 --lora_r 8 --lora_alpha 16 **显存**：约 4GB VRAM **时间**：RTX 3090 上约 30 分钟 ### Llama 2 7B LoRA **配置**： yaml global_batch_size: 8 micro_batch_size: 2 lr_warmup_steps: 10 epochs: 4 max_seq_length: 512 # LoRA 特定 lora_r: 8 lora_alpha: 16 lora_dropout: 0.05 **命令**： bash litgpt finetune_lora meta-llama/Llama-2-7b-hf --data JSON --data.json_path data/alpaca.json --train.global_batch_size 8 --train.micro_batch_size 2 --train.lr_warmup_steps 10 --train.epochs 4 --lora_r 8 --lora_alpha 16 **显存**：约 16GB VRAM **梯度累积**：4 步 (8 / 2) **时间**：A100 上约 6 小时 ### Llama 3 8B LoRA **配置**： yaml global_batch_size: 8 micro_batch_size: 1 lr_warmup_steps: 10 epochs: 2 max_seq_length: 512 # LoRA 特定 lora_r: 8 lora_alpha: 16 lora_dropout: 0.05 **命令**： bash litgpt finetune_lora meta-llama/Llama-3.2-8B --data JSON --data.json_path data/custom_dataset.json --train.global_batch_size 8 --train.micro_batch_size 1 --train.lr_warmup_steps 10 --train.epochs 2 --lora_r 8 **显存**：约 20GB VRAM **梯度累积**：8 步 **时间**：A100 上约 8 小时 ### Mistral 7B LoRA **配置**： yaml global_batch_size: 8 micro_batch_size: 2 lr_warmup_steps: 10 epochs: 4 max_seq_length: 512 lora_r: 8 lora_alpha: 16 **命令**： bash litgpt finetune_lora mistralai/Mistral-7B-v0.1 --data JSON --