Prompt Engineering Guidance 后端

# 后端配置指南 配置 Guidance 与不同 LLM 后端集成的完整指南。 ## 目录 - 基于 API 的模型 (Anthropic, OpenAI) - 本地模型 (Transformers, llama.cpp) - 后端对比 - 性能调优 - 高级配置 ## 基于 API 的模型 ### Anthropic Claude #### 基本设置 python from guidance import models # 使用环境变量 lm = models.Anthropic("claude-sonnet-4-5-20250929") # 从环境变量读取 ANTHROPIC_API_KEY # 显式 API 密钥 lm = models.Anthropic( model="claude-sonnet-4-5-20250929", api_key="your-api-key-here" ) #### 可用模型 python # Claude 3.5 Sonnet (最新，推荐) lm = models.Anthropic("claude-sonnet-4-5-20250929") # Claude 3.7 Sonnet (快速，高性价比) lm = models.Anthropic("claude-sonnet-3.7-20250219") # Claude 3 Opus (能力最强) lm = models.Anthropic("claude-3-opus-20240229") # Claude 3.5 Haiku (最快，最便宜) lm = models.Anthropic("claude-3-5-haiku-20241022") #### 配置选项 python lm = models.Anthropic( model="claude-sonnet-4-5-20250929", api_key="your-api-key", max_tokens=4096, # 生成的最大 token 数 temperature=0.7, # 采样温度 (0-1) top_p=0.9, # 核采样 timeout=30, # 请求超时 (秒) max_retries=3 # 失败请求重试次数 ) #### 使用上下文管理器 python from guidance import models, system, user, assistant, gen lm = models.Anthropic("claude-sonnet-4-5-20250929") with system(): lm += "You are a helpful assistant." with user(): lm += "What is the capital of France?" with assistant(): lm += gen(max_tokens=50) print(lm) ### OpenAI #### 基本设置 python from guidance import models # 使用环境变量 lm = models.OpenAI("gpt-4o") # 从环境变量读取 OPENAI_API_KEY # 显式 API 密钥 lm = models.OpenAI( model="gpt-4o", api_key="your-api-key-here" ) #### 可用模型 python # GPT-4o (最新，多模态) lm = models.OpenAI("gpt-4o") # GPT-4o Mini (快速，高性价比) lm = models.OpenAI("gpt-4o-mini") # GPT-4 Turbo lm = models.OpenAI("gpt-4-turbo") # GPT-3.5 Turbo (最便宜) lm = models.OpenAI("gpt-3.5-turbo") #### 配置选项 python lm = models.OpenAI( model="gpt-4o-mini", api_key="your-api-key", max_tokens=2048, temperature=0.7, top_p=1.0, frequency_penalty=0.