大模型的本地部署

ollama的安装

下载官网

Ollama

ollama官方页面

oepn WebUI

下载官网

🏡 Home | Open WebUI

有两种方法安装openWebUI

  1. 使用docker安装(推荐)
  2. 使用python安装（pip指令，且python版本需要在3.11及以上）

docker

下载官网

Docker: Accelerated Container Application Development

image-20240803101517610

安装完成之后，确保docker在运行状态，然后打开cmd输入以下命令

1
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

[!WARNING]

注意，这里一定要确保docker在运行状态，否则会报错

安装完成之后，docker会出现以下页面，点击port下的网址即可访问open-ui了

image-20240803105455441

首次运行会需要注册账号（这里的注册账号是随便输入账号名称都可以使用，首次注册的账号是管理员账号）

注册页面

注册完成之后即可进入聊天页面

聊天页面

设置模型，在拉取模型的右下角有个链接，可以直接查看当前最受欢迎的语言模型，需要使用的话就输入模型名称即可

image-20240803110226966

OpenRouter