Transformers 转换器

# Transformers ## 概述 Hugging Face Transformers 库提供了数千个预训练模型，涵盖 NLP、计算机视觉、音频和多模态领域。使用此技能加载模型、执行推理并在自定义数据上进行微调。 ## 安装 安装 transformers 及核心依赖： bash uv pip install torch transformers datasets evaluate accelerate 对于视觉任务，添加： bash uv pip install timm pillow 对于音频任务，添加： bash uv pip install librosa soundfile ## 身份验证 Hugging Face Hub 上的许多模型需要身份验证。设置访问权限： python from huggingface_hub import login login() # 按照提示输入 token 或者设置环境变量： bash export HUGGINGFACE_TOKEN="your_token_here" 在 https://huggingface.co/settings/tokens 获取 token。 ## 快速开始 使用 Pipeline API 进行快速推理，无需手动配置： python from transformers import pipeline # 文本生成 generator = pipeline("text-generation", model="gpt2") result = generator("The future of AI is", max_length=50) # 文本分类 classifier = pipeline("text-classification") result = classifier("This movie was excellent!") # 问答 qa = pipeline("question-answering") result = qa(question="What is AI?", context="AI is artificial intelligence...") ## 核心能力 ### 1. 用于快速推理的 Pipeline 用于跨多种任务的简单、优化推理。支持文本生成、分类、NER、问答、摘要、翻译、图像分类、目标检测、音频分类等。 **使用场景**：快速原型设计、简单推理任务、无需自定义预处理。 参见 `references/pipelines.md` 获取全面的任务覆盖和优化方案。 ### 2. 模型加载与管理 加载预训练模型，并对配置、设备放置和精度进行细粒度控制。 **使用场景**：自定义模型初始化、高级设备管理、模型检查。 参见 `references/models.md` 获取加载模式和最佳实践。 ### 3. 文本生成 使用 LLM 通过各种解码策略（贪婪搜索、束搜索、采样）和控制参数（温度、top-k、top-p）生成文本。 **使用场景**：创意文本生成、代码生成、对话式 AI、文本补全。 参见 `references/generation.md` 获取生成策略和参数。 ### 4. 训练