本地使用Qwen2-7B的python代码

Qwen2-7B本地部署Python代码

使用Qwen2-7B模型进行本地部署的Python代码主要涉及模型加载、API服务创建和多轮对话交互。以下是关键步骤的代码示例。

模型加载与环境配置

• 环境配置：确保已安装transformers库，版本需大于等于4.40.0，并推荐使用Python 3.8及以上版本，PyTorch 2.2及以上版本4。
• 安装命令：

  pip install transformers -U
  

API服务创建

• 使用FastAPI框架：创建API服务以部署Qwen2-7B模型1。

多轮对话交互

• 对话功能实现：通过model.chat方法实现与模型的多轮对话交互7。

示例代码

from transformers import AutoTokenizer, AutoModelForCausalLM

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen-7B-Chat")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-7B-Chat")

# 多轮对话交互
def chat_with_model(prompt, history=None):
    response, history = model.chat(tokenizer, prompt, history=history)
    print(response)

# 开始对话
chat_with_model("你好")
chat_with_model("浙江的省会在哪里？")

注意事项

• 确保模型路径正确，且模型文件已正确下载到本地7。
• 根据实际需求调整对话函数中的参数，如生成长度、top_p等7。