【LLM】本地部署 Qwen2.5 和 KouriChat 实现微信对话机器人
最近突然想到一个好方法更新博客,问了一下对象有什么想了解的内容,我来学习完以后写博客,这样岂不是解决了我不知道写什么的一大难题。然后她就在小红书上推了一个有趣的项目(KouriChat)给我,让我来部署一下给她用,于是便有了这篇教程。
部署环境
本教程基于以下环境完成:
- 内存:32GB
- CPU:AMD Ryzen 5 3600X 6-Core
- GPU:NVIDIA GeForce RTX 3090 (24GB)
- 系统:Windows 11 专业版 24H2 26100.3323
0x00 部署 Ollama
由于 Ollama 是一个开源的 LLM 框架,所以部署起来非常简单,官网也给出了一键安装的程序,直接下载安装运行即可。
https://ollama.com/download/OllamaSetup.exe
从以上链接下载安装程序并运行后,Ollama 会自动完成安装,并启动服务。接下来在 Powershell 中使用 ollama pull
命令下载 Qwen 2.5 模型。
ollama pull qwen2.5:32b
PS:下载完后,可使用 ollama list
命令查看模型是否下载成功。
0x01 部署 KouriChat
从 Github 上拉取 KouriChat 的项目代码,并直接运行自动化脚本安装:
git clone https://github.com/KouriChat/KouriChat.git
# 运行脚本后自动部署
./run.bat
安装完成后,服务会自动启动。你可以通过以下步骤完成 KouriChat 的配置:
访问控制台
打开浏览器,访问 http://localhost:8502/dashboard 进入 KouriChat 的管理控制台。
配置 API 提供商
在配置中心中,选择“自定义 API 提供商”,并填写以下信息:
- API 地址: http://localhost:11434/v1 (Ollama 的 API 地址)
- 模型名称: qwen2.5:32b
- API 秘钥: 可随意填写(例如:EMPTY)
保存配置
确认无误后,点击“保存所有设置”按钮完成配置。在 Prompt 配置中可以调整人设目录。
0x02 运行 KouriChat
最后,在 KouriChat 的控制台首页中,点击“启动”按钮,即可启动 KouriChat。KouriChat 会自动扫描到 Windows 中已启动的微信客户端,并开始监听消息。向监听的目标微信发送消息,如果是监听的目标用户,KouriChat就会开始处理相关消息并回复。