getting_started

# Llama-Factory - 入门指南 **页数：** 7 --- ## 安装¶ **URL:** https://llamafactory.readthedocs.io/en/latest/getting_started/installation.html **内容：** - 安装¶ - Linux¶ - CUDA 安装¶ - Windows¶ - CUDA 安装¶ - LLaMA-Factory 安装¶ - LLaMA-Factory 校验¶ - LLaMA-Factory 高级选项¶ - Windows¶ - QLoRA¶ CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型，它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。 首先，在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持 CUDA。 保证当前 Linux 版本支持 CUDA。在命令行中输入 uname -m && cat /etc/*release，应当看到类似的输出。 检查是否安装了 gcc。在命令行中输入 gcc --version，应当看到类似的输出。 在以下网址下载所需的 CUDA，这里推荐 12.2 版本。https://developer.nvidia.com/cuda-gpus 注意需要根据上述输出选择正确版本。 如果您之前安装过 CUDA(例如为 12.1 版本)，需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行，可以直接： 卸载完成后运行以下命令并根据提示继续安装： 注意: 在确定 CUDA 自带驱动版本与 GPU 是否兼容之前，建议取消 Driver 的安装。 完成后输入 nvcc -V 检查是否出现对应的版本号，若出现则安装完成。 打开 设置，在 关于 中找到 Windows 规格，保证系统版本在以下列表中： Microsoft Windows 11 21H2 Microsoft Windows 11 22H2-SV2 Microsoft Windows 11 23H2 Microsoft Windows 10 21H2 Microsoft Windows 10 22H2 Microsoft Windows Server 2022 打开 cmd 输入 nvcc -V，若出现类似内容则安装成功。 否则，检查系统环境变量，保证 CUDA 被正确导入。 在安装 LLaMA-Factory 之前，请确保您安装了下列依赖： 运行以下指令以安装 LLaMA-Factory 及其依赖： 如果出现环境冲突，请尝试使用 pip install --no-deps -e . 解决。 完成安装后，可以通过使用 llamafactory-cli version 来快速校验安装是否成功。 如果您能成功看到类似下面的界面，就说明安装成功了。 如果您想在 Windows 上启用量化 LoRA（QLoRA），请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。 如果您要在 Windows 平台上启用 FlashAttention-2，请根据您的 CUDA 版本选择适当的 flash-attention 发行版本。 开源深度学习框架 PyTorch，广泛用于机器学习和人工智能研究中。 提供了加载 Qwen v1 模型所需的包。 魔搭社区，提供了预训练模型和数据集的下载途径。 开源训练跟踪工具 SwanLab，用于记录与可视化训练过程。 用于 LLaMA Factory 开发维护。 --- ## WebUI¶ **URL:** https://llamafactory.readthedocs.io/en/latest/getting_started/webui.html **内容：** - WebUI¶ - 训练¶ - 评估预测与对话¶ - 导出¶ LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。在完成 安装 后，您可以通过以下指令进入 WebUI： WebUI 主要分为四个界面：训练、评估与预测、对话、导出。 随后，您可以点击 开始 按钮开始训练模型。 关于断点重连: 适配器断点保存于 output_dir 目录下，请指定 适配器路径 以加载断点继续训练。 如果您需要使用自定义数据集，请在 data/data_info.json 中添加自定义数据集描述并确保 数据集格式 正确，否则可能会导致训练失败。 模型训练完毕后，您可以通过在评估与预测界面通过指定 模型 及 适配器 的路径在指定数据集上进行评估。 您也可以通过在对话界面指定 模型、 适配器 及 推理引擎 后输入对话内容与模型进行对话观察效果。 如果您对模型效果满意并需要导出模型，您可以在导出界面通过指定 模型、 适配器、 分块大小、 导出量化等级及校准数据集、 导出设备、 导出目录 等参数后点击 导出 按钮导出模型。 --- ## 模型合并 (Merge)¶ **URL:** https://llamafactory.readthedocs.io/en/latest/getting_started/merge_lora.html **内容：** - 合并¶ - 量化¶ 当我们基于预训练模型训练好 LoRA 适配器后，我们不希望在每次推理的时候分别加载预训练模型和 LoRA 适配器，因此我们需要将预训练模型和 LoRA 适配器合并导出成一个模型，并根据需要选择是否量化。根据是否量化以及量化算法的不同，导出的配置文件也有所区别。 您可以通过 llamafactory-