分类
商品
![[SLG/中文/PC+安卓] 库拉拉酱逃不掉了 [92MB]](https://pic.songma.com/upload/215908/1750557333-215908/0391944001750557416tp215908-1.jpg)
- 商品
- 店铺
- 资讯
副标题：从基础概念到落地架构，构建可扩展的智能系统
随着GPT-4、Claude 3等大语言模型（LLM）的能力爆发，越来越多的企业开始将AI融入业务流程。但很多团队面临一个共同挑战：如何让大模型的输出更精准、更符合业务规则、更适应具体场景？ 原生大模型虽然能处理通用任务，但在领域知识、逻辑严谨性、输出可控性上往往达不到企业级要求——比如客服场景需要严格遵循知识库回答，金融场景需要准确计算利率，这些都不是大模型“默认状态”能解决的。
解决这个问题的关键，在于将提示工程（Prompt Engineering）与AI系统深度融合：不是零散地写几个提示词，而是将提示设计、管理、优化融入系统架构的全流程，构建“提示-模型-反馈”的闭环。本文将从架构师视角，拆解这种融合架构的设计逻辑，并通过实战案例演示如何落地。
读完本文，你将获得：
对提示工程的系统性认知：不再把提示当“技巧”，而是视为AI系统的核心组件；一套可复用的融合架构：覆盖需求分析、提示设计、模型集成、反馈优化全流程；实战经验：用LangChain、FastAPI等工具构建可扩展的智能服务，解决真实业务问题。本文分为四部分：
基础认知：解释提示工程与AI融合的必要性；架构设计：拆解融合架构的核心组件；实战落地：分步实现一个智能客服系统；优化与展望：讨论性能提升与未来趋势。大模型的能力边界取决于训练数据和输入提示：
领域知识缺失：比如医疗、法律等专业领域，大模型可能生成错误信息（如“某药可以治疗癌症”但实际未获批）；逻辑可控性差：比如需要严格按照“规则表”计算运费，大模型可能忽略细节（如“满200减50”但未考虑地区限制）；输出格式不统一：比如要求返回JSON格式，但大模型可能返回自然语言，导致下游系统无法解析。很多团队用“碎片化提示技巧”解决问题，比如：
给提示加“严格遵循规则”的指令；加入几个示例（Few-shot Learning）；调整temperature参数（降低随机性）。但这些方法的局限性很明显：
维护困难：提示散落在代码中，修改需要找遍整个项目；扩展性差：新增场景需要重新设计提示，无法复用；没有闭环：无法根据用户反馈自动优化提示，效果停滞不前。将提示工程融入AI系统架构，能解决上述问题：
标准化：用模板管理提示，统一格式与规则；可扩展：通过参数化设计，支持多场景复用；闭环优化：收集用户反馈，自动调整提示（如增加示例、修改指令）；可监控：跟踪提示效果（如准确率、响应时间），快速定位问题。在架构师眼中，提示工程不是“写提示词”，而是设计“输入-提示-模型-输出”的流程，其中核心组件包括：
一个有效的提示必须包含以下三个部分（缺一不可）：
指令（Instruction）：告诉模型“做什么”（如“回答用户的问题，严格遵循上下文”）；上下文（Context）：给模型提供“背景信息”（如知识库、用户历史查询）；示例（Examples）：教模型“怎么做”（如“如果问题是‘退货政策’，回答应包含‘30天无理由’”）。示例：一个完整的客服提示
![[ACT/中文/PC+安卓] 扶她山谷/Futaken Valley v0.040 【308M】](https://pic.songma.com/upload/69459/1692094178-69459/0402205001750378602tp69459-1.jpg)
你是一个专业的电商客服助手，需要根据以下规则回答用户问题：
1. 严格基于提供的知识库内容，不得添加额外信息；
2. 回答需简洁（不超过3句话），使用口语化中文；
3. 如果知识库中没有相关信息，回答“抱歉，根据现有信息无法回答你的问题”。
知识库：
- 退货政策：支持30天无理由退货，运费由商家承担；
- 发货时间：下单后48小时内发货，偏远地区（如新疆、西藏）延迟1-2天。
用户问题：请问我昨天下单的衣服什么时候能发货？
回答：
| 维度 | 传统AI | 提示工程 |
|---|---|---|
| 核心逻辑 | 数据标注→训练模型→部署 | 设计提示→调用模型→反馈优化 |
| 迭代速度 | 慢（需要重新训练模型） | 快（修改提示即可） |
| 领域适应性 | 差（需要大量领域数据） | 强（通过上下文/示例适配） |
| 技术门槛 | 高（需要算法专家） | 低（懂业务即可设计提示） |
要实现AI与提示工程的深度融合，系统需要包含以下模块（如图1所示）：
[用户输入] → [提示生成模块]（结合模板、上下文、示例） → [模型调用模块]（调用LLM） → [输出处理模块]（格式化、校验） → [用户输出]
↑ ↓
[提示管理系统]（模板存储、版本控制） [反馈收集模块]（用户评分、错误日志）
↑ ↓
[优化模块]（根据反馈调整提示） [监控模块]（效果跟踪、性能指标）
图1：AI与提示工程融合架构图
各模块的作用：
提示生成模块：根据用户输入和场景，动态生成提示（如从模板中填充上下文）；提示管理系统：存储提示模板（支持版本控制、多场景复用）；模型调用模块：封装LLM API（如OpenAI、Anthropic），处理请求与响应；输出处理模块：校验输出格式（如是否为JSON）、修正错误（如去掉多余内容）；反馈收集模块：收集用户对回答的评分（如“有用/没用”）、错误日志（如“回答不符合知识库”）；优化模块：根据反馈自动调整提示（如增加示例、修改指令）；监控模块：跟踪提示效果（如准确率、响应时间），生成报表。接下来，我们用LangChain（提示管理与链编排）、FastAPI（部署服务）、Redis（缓存提示模板）构建一个智能客服系统，解决“根据知识库回答用户问题”的需求。
创建
requirements.txt文件：
langchain==0.0.340
openai==0.28.1
fastapi==0.101.0
uvicorn==0.23.2
redis==4.6.0
python-dotenv==1.0.0
执行安装命令：
pip install -r requirements.txt
创建
.env文件，添加以下内容（替换为你的API密钥）：
OPENAI_API_KEY=your-openai-api-key
REDIS_HOST=localhost
REDIS_PORT=6379
如果没有安装Redis，可以用Docker启动：
docker run -d --name redis -p 6379:6379 redis
我们的智能客服系统需要满足以下要求：
准确性：严格根据知识库回答，不得编造信息；简洁性：回答不超过3句话，用口语化中文；可控性：如果知识库中没有相关信息，必须返回固定话术；可扩展：支持新增知识库（如“售后政策”“物流查询”）。根据“三要素”（指令、上下文、示例），设计提示模板：
# prompt_templates.py
from langchain.prompts import PromptTemplate
# 客服提示模板（参数化）
customer_service_prompt = PromptTemplate(
input_variables=["knowledge_base", "user_query"],
template="""你是一个专业的电商客服助手，需要严格按照以下规则回答用户问题：
1. 必须基于提供的知识库内容，不得添加任何额外信息；
2. 回答要简洁，不超过3句话，使用口语化中文；
3. 如果知识库中没有相关信息，直接回答“抱歉，根据现有信息无法回答你的问题”。
知识库内容：
{knowledge_base}
用户的问题是：{user_query}
请给出回答："""
)
说明：
input_variables：定义了模板中的动态参数（知识库、用户查询）；
template：包含指令（规则1-3）、上下文（知识库）、示例（隐含，通过规则约束）。
为了实现提示的可复用和版本控制，我们用Redis缓存提示模板（支持快速读取），并封装一个
PromptManager类管理提示。
# prompt_manager.py
import redis
from langchain.prompts import PromptTemplate
from dotenv import load_dotenv
import os
# 加载环境变量
load_dotenv()
class PromptManager:
def __init__(self):
# 初始化Redis连接
self.redis_client = redis.Redis(
host=os.getenv("REDIS_HOST"),
port=int(os.getenv("REDIS_PORT")),
decode_responses=True
)
# 提示模板的键前缀（用于区分不同模板）
self.prompt_prefix = "prompt:"
def save_prompt(self, prompt_name: str, prompt_template: PromptTemplate):
"""保存提示模板到Redis"""
# 将PromptTemplate转换为字典（便于存储）
prompt_dict = prompt_template.dict()
# 存储到Redis（键格式：prompt:customer_service）
self.redis_client.hset(self.prompt_prefix + prompt_name, mapping=prompt_dict)
def load_prompt(self, prompt_name: str) -> PromptTemplate:
"""从Redis加载提示模板"""
# 从Redis获取字典
prompt_dict = self.redis_client.hgetall(self.prompt_prefix + prompt_name)
if not prompt_dict:
raise ValueError(f"提示模板 {prompt_name} 不存在")
# 将字典转换为PromptTemplate
return PromptTemplate(**prompt_dict)
def delete_prompt(self, prompt_name: str):
"""删除提示模板"""
self.redis_client.delete(self.prompt_prefix + prompt_name)
# 初始化PromptManager实例
prompt_manager = PromptManager()
# test_prompt_manager.py
from prompt_templates import customer_service_prompt
from prompt_manager import prompt_manager
# 保存提示模板
prompt_manager.save_prompt("customer_service", customer_service_prompt)
# 加载提示模板
loaded_prompt = prompt_manager.load_prompt("customer_service")
print("加载的提示模板：", loaded_prompt.template)
# 输出：
# 加载的提示模板：你是一个专业的电商客服助手，需要严格按照以下规则回答用户问题：...
接下来，我们用LangChain的LLMChain将提示模板与大模型（OpenAI的gpt-3.5-turbo）集成，实现“输入→提示→模型→输出”的流程。
# model_service.py
from langchain.llms import OpenAI
from langchain.chains import LLMChain
from prompt_manager import prompt_manager
from dotenv import load_dotenv
import os
# 加载环境变量
load_dotenv()
class ModelService:
def __init__(self):
# 初始化大模型（使用gpt-3.5-turbo-instruct，成本更低）
self.llm = OpenAI(
model_name="gpt-3.5-turbo-instruct",
temperature=0.1, # 降低随机性，提高准确性
api_key=os.getenv("OPENAI_API_KEY")
)
# 加载提示模板（从Redis）
self.prompt = prompt_manager.load_prompt("customer_service")
# 创建LLMChain（连接提示与模型）
self.chain = LLMChain(llm=self.llm, prompt=self.prompt)
def generate_response(self, knowledge_base: str, user_query: str) -> str:
"""生成回答"""
try:
# 运行链（填充参数）
response = self.chain.run(
knowledge_base=knowledge_base,
user_query=user_query
)
# 去除多余的换行和空格
return response.strip()
except Exception as e:
# 异常处理（如API调用失败）
return f"抱歉，系统暂时无法回答你的问题（错误：{str(e)}）"
# 初始化ModelService实例
model_service = ModelService()
# test_model_service.py
from model_service import model_service
# 知识库内容（模拟从数据库获取）
knowledge_base = """
- 退货政策：支持30天无理由退货，运费由商家承担；
- 发货时间：下单后48小时内发货，偏远地区（如新疆、西藏）延迟1-2天；
- 售后联系方式：拨打400-123-4567（周一至周日9:00-21:00）。
"""
# 用户问题
user_query = "请问我昨天下单的衣服什么时候能发货？"
# 生成回答
response = model_service.generate_response(knowledge_base, user_query)
print("回答：", response)
# 输出（示例）：
# 回答：下单后48小时内发货，偏远地区（如新疆、西藏）延迟1-2天。
为了让系统能被外部应用调用（如前端页面、APP），我们用FastAPI构建一个RESTful API。
# main.py
from fastapi import FastAPI, HTTPException
from pydantic import BaseModel
from model_service import model_service
# 初始化FastAPI应用
app = FastAPI(title="智能客服API", version="1.0")
# 请求体模型（定义输入参数）
class QueryRequest(BaseModel):
knowledge_base: str # 知识库内容（如从数据库获取）
user_query: str # 用户问题
# 响应体模型（定义输出格式）
class QueryResponse(BaseModel):
response: str # 回答内容
status: int # 状态码（200=成功，500=失败）
# 定义API端点（POST请求）
@app.post("/api/query", response_model=QueryResponse)
async def query(request: QueryRequest):
try:
# 调用模型服务生成回答
response = model_service.generate_response(
knowledge_base=request.knowledge_base,
user_query=request.user_query
)
# 返回成功响应
return QueryResponse(response=response, status=200)
except Exception as e:
# 返回错误响应
raise HTTPException(status_code=500, detail=str(e))
# 运行服务（开发环境）
if __name__ == "__main__":
import uvicorn
uvicorn.run("main.py:app", host="0.0.0.0", port=8000, reload=True)
python main.py
http://localhost:8000/api/query）：
请求体（JSON）：
{
"knowledge_base": "- 发货时间：下单后48小时内发货，偏远地区（如新疆、西藏）延迟1-2天；",
"user_query": "请问我昨天下单的衣服什么时候能发货？"
}
{
"response": "下单后48小时内发货，偏远地区（如新疆、西藏）延迟1-2天。",
"status": 200
}
为了让系统持续进化，我们需要收集用户反馈，并用反馈数据优化提示模板。
修改
main.py，添加收集反馈的端点：
# main.py（新增部分）
from pydantic import BaseModel
# 反馈请求体模型
class FeedbackRequest(BaseModel):
user_query: str # 用户问题
response: str # 系统回答
feedback: str # 用户反馈（如“有用”“没用”“错误”）
score: int # 评分（1-5分）
# 反馈响应体模型
class FeedbackResponse(BaseModel):
message: str # 提示信息
status: int # 状态码
# 定义收集反馈的端点（POST请求）
@app.post("/api/feedback", response_model=FeedbackResponse)
async def submit_feedback(request: FeedbackRequest):
try:
# 这里可以将反馈存储到数据库（如PostgreSQL）
# 示例：打印反馈信息（实际应存储到数据库）
print(f"收到反馈：用户问题={request.user_query}，回答={request.response}，反馈={request.feedback}，评分={request.score}")
# 返回成功响应
return FeedbackResponse(message="反馈提交成功", status=200)
except Exception as e:
raise HTTPException(status_code=500, detail=str(e))
假设我们收集到以下反馈：
用户问题：“请问退货需要自己承担运费吗？”系统回答：“支持30天无理由退货，运费由商家承担。”用户反馈：“有用”，评分：5分。另一个反馈：
用户问题：“请问售后电话是多少？”系统回答：“抱歉，根据现有信息无法回答你的问题。”用户反馈：“错误”，评分：1分。分析：第二个反馈的问题在于，知识库中没有“售后电话”的信息，导致系统回答错误。解决方案是将“售后电话”添加到知识库，或者优化提示模板（如提醒用户“如果知识库中没有信息，请建议用户联系客服”）。
优化后的提示模板：
# prompt_templates.py（优化后）
customer_service_prompt = PromptTemplate(
input_variables=["knowledge_base", "user_query"],
template="""你是一个专业的电商客服助手，需要严格按照以下规则回答用户问题：
1. 必须基于提供的知识库内容，不得添加任何额外信息；
2. 回答要简洁，不超过3句话，使用口语化中文；
3. 如果知识库中没有相关信息，请回答“抱歉，根据现有信息无法回答你的问题，建议你拨打售后电话400-123-4567咨询”。
知识库内容：
{knowledge_base}
用户的问题是：{user_query}
请给出回答："""
)
效果：当知识库中没有“售后电话”时，系统会返回包含售后电话的话术，提升用户体验。
我们已经用Redis缓存了提示模板，这能减少重复读取模板的时间（尤其是在高并发场景下）。建议将常用的提示模板预加载到Redis中，避免每次请求都从数据库读取。
gpt-3.5-turbo-instruct（成本低、速度快）；如果是复杂的推理任务，用
gpt-4（效果好，但成本高）。调整参数：
temperature参数越低（如0.1），输出越稳定；
max_tokens参数限制输出长度（如100），避免生成过长的回答。批量调用：如果有大量请求，可以批量调用模型（如一次调用处理10个问题），减少API调用次数，降低成本。
response = re.sub(r"额外信息：.*", "", response)）。
用Prometheus和Grafana监控系统性能：
业务指标：准确率（正确回答的比例）、用户满意度（评分均值）；技术指标：响应时间（P95、P99）、API调用成功率、缓存命中率；报警规则：当准确率低于90%时，发送邮件报警；当响应时间超过2秒时，触发短信报警。原因：大模型的输入长度有限（如
gpt-3.5-turbo-instruct支持最多4096个token），过长的提示会增加模型处理时间。
解决方案：
text-embedding-3-small生成向量，然后用相似性检索找到最相关的内容）；分页加载：如果上下文太长，分批次加载（如每次加载1000个token）。
原因：提示中的指令不清晰，或者模型忽略了上下文。
解决方案：
temperature参数：降低
temperature（如0.1），减少模型的随机性。
原因：API密钥错误、网络问题、模型配额用完。
解决方案：
.env文件中的API密钥正确；检查网络：确保服务器能访问OpenAI的API（如
ping api.openai.com）；查看配额：登录OpenAI控制台，查看API配额是否用完（如果用完，需要升级套餐）。
通过大模型生成提示，减少人工设计的工作量。例如，用
gpt-4生成针对特定任务的提示：
请你设计一个提示，让大模型能准确回答用户的电商客服问题，要求严格遵循知识库内容，回答简洁。
将文本、图像、语音结合，支持多模态输入。例如，用户发送一张快递单号的照片，系统用OCR提取单号，然后用提示工程生成查询物流的回答。
将提示工程与**智能代理（Agent）**结合，让系统能自动完成复杂任务。例如，客服Agent能自动查询知识库、调用物流API、生成回答，无需人工干预。
针对边缘设备（如手机、IoT设备），开发轻量化提示模型（如用TinyLLM生成提示），减少对云端的依赖。
本文从架构师视角，讲解了AI与提示工程深度融合的实践指南，核心要点包括：
问题背景：大模型的原生局限需要提示工程来解决；核心概念：提示的“三要素”（指令、上下文、示例）和融合架构的核心组件；实战落地：用LangChain、FastAPI、Redis构建智能客服系统，实现“提示-模型-反馈”的闭环；性能优化：通过缓存、模型调整、监控提升系统稳定性；未来展望：自动提示生成、多模态提示工程等方向。提示工程不是“技巧”，而是AI系统的核心组件。通过将提示工程融入架构设计，我们能构建更精准、更可扩展、更能持续进化的智能系统。
如果你想深入学习提示工程，可以参考以下资源：
官方文档：LangChain文档（https://python.langchain.com/）、OpenAI提示工程指南（https://platform.openai.com/docs/guides/prompt-engineering）；书籍：《Prompt Engineering for Large Language Models》（作者：Davide Castelvecchi）；社区：Hugging Face论坛（https://discuss.huggingface.co/）、知乎“提示工程”话题。希望本文能帮助你从“提示使用者”转变为“提示架构师”，走进AI与提示工程深度融合的世界！
本文的完整源代码已上传至GitHub：
仓库地址：https://github.com/your-username/ai-prompt-engineering-architecture
包含内容：
prompt_templates.py）；提示管理系统（
prompt_manager.py）；模型服务（
model_service.py）；API服务（
main.py）；环境配置文件（
.env）；依赖清单（
requirements.txt）。
欢迎Star和Fork，如有问题请提交Issue！
送码官方微信
手机访问领取大礼包