【LLM】本地部署 Qwen2.5 和 KouriChat 实现微信对话机器人

1 天前(已编辑)
/ , ,
3
1

【LLM】本地部署 Qwen2.5 和 KouriChat 实现微信对话机器人

最近突然想到一个好方法更新博客,问了一下对象有什么想了解的内容,我来学习完以后写博客,这样岂不是解决了我不知道写什么的一大难题。然后她就在小红书上推了一个有趣的项目(KouriChat)给我,让我来部署一下给她用,于是便有了这篇教程。

部署环境

本教程基于以下环境完成:

  • 内存:32GB
  • CPU:AMD Ryzen 5 3600X 6-Core
  • GPU:NVIDIA GeForce RTX 3090 (24GB)
  • 系统:Windows 11 专业版 24H2 26100.3323

0x00 部署 Ollama

由于 Ollama 是一个开源的 LLM 框架,所以部署起来非常简单,官网也给出了一键安装的程序,直接下载安装运行即可。

https://ollama.com/download/OllamaSetup.exe

从以上链接下载安装程序并运行后,Ollama 会自动完成安装,并启动服务。接下来在 Powershell 中使用 ollama pull 命令下载 Qwen 2.5 模型。

ollama pull qwen2.5:32b

PS:下载完后,可使用 ollama list 命令查看模型是否下载成功。

0x01 部署 KouriChat

从 Github 上拉取 KouriChat 的项目代码,并直接运行自动化脚本安装:

git clone https://github.com/KouriChat/KouriChat.git
# 运行脚本后自动部署
./run.bat

安装完成后,服务会自动启动。你可以通过以下步骤完成 KouriChat 的配置:

访问控制台

打开浏览器,访问 http://localhost:8502/dashboard 进入 KouriChat 的管理控制台。

配置 API 提供商

在配置中心中,选择“自定义 API 提供商”,并填写以下信息:

  • API 地址: http://localhost:11434/v1 (Ollama 的 API 地址)
  • 模型名称: qwen2.5:32b
  • API 秘钥: 可随意填写(例如:EMPTY)

保存配置

确认无误后,点击“保存所有设置”按钮完成配置。在 Prompt 配置中可以调整人设目录。

0x02 运行 KouriChat

最后,在 KouriChat 的控制台首页中,点击“启动”按钮,即可启动 KouriChat。KouriChat 会自动扫描到 Windows 中已启动的微信客户端,并开始监听消息。向监听的目标微信发送消息,如果是监听的目标用户,KouriChat就会开始处理相关消息并回复。

使用社交账号登录

  • Loading...
  • Loading...
  • Loading...
  • Loading...
  • Loading...