️ 在 Windows WSL 上部署 Ollama 和大语言模型的完整指南20241206

🛠️ 在 Windows WSL 上部署 Ollama 和大语言模型的完整指南

📝 引言

随着大语言模型（LLM）和人工智能的飞速发展，越来越多的开发者尝试在本地环境中部署大模型进行实验。然而，由于资源需求高、网络限制多以及工具复杂性，部署过程常常充满挑战。

本指南基于实际经验，详细讲解如何在 Windows WSL（Windows Subsystem for Linux） 上部署 Ollama 和大语言模型，同时解决端口转发等常见痛点，实现局域网内多设备访问。
无论您是 AI 技术新手、行业从业者，还是 经验丰富的专家，这篇文章都能提供全面的指南、实践经验与优化建议。

⭐ 1.为什么选择 WSL 部署大模型？

1.1 性能优势

👉 WSL 的设计目标是高效：

• WSL 利用 Windows 内核直接运行 Linux 环境，性能接近原生 Linux。
• 支持 NVIDIA GPU 加速（如 4070 Super），运行大语言模型毫无压力。

1.2 易用性

• 轻量级：无需像 VMware 或 VirtualBox 那样安装完整的虚拟机。
• 集成度高：与 Windows 文件系统和网络无缝结合。
• 简单维护：直接通过 Windows Store 更新 WSL。

1.3 实际适用性

• 开发者首选：对于想快速部署和运行模型的开发者，WSL 是简单且高效的选择。

⚙️ 2. 实现目标的挑战与应对策略

2.1 核心目标

🌟 最终实现的核心目标如下：

1. 在 WSL 中成功部署 Ollama 服务并加载千问大语言模型。
2. 配置 OpenWebUI，提供直观的交互界面，方便用户使用。
3. 实现局域网访问，支持家庭设备通过浏览器与服务交互。

---

2.2 挑战分析

🚧 在实际联网部署中面临的关键挑战包括：

1. 大模型下载与镜像获取

   • 模型文件和 Docker 镜像较大，需确保网络环境稳定。
   • 在线下载过程中可能因网络波动导致超时或中断。

2. 端口转发和局域网访问

   • WSL 默认服务绑定到 127.0.0.1，局域网设备无法直接访问。
   • 动态 IP 问题会导致端口转发规则失效，需频繁手动调整。

3. 服务性能与配置

   • 模型加载占用大量内存与显存，需合理优化系统资源。
   • Docker 容器与 Ollama 服务同时运行时，可能出现资源竞争问题。

---

2.3 应对策略

✅ 在线获取资源，避免复杂的手动传输

• 直接通过 ollama 命令下载模型，无需额外离线准备。
• 使用 Docker 官方镜像仓库，确保高效获取最新镜像。

✅ 优化端口转发，实现动态调整

• 编写自动化脚本，动态获取 WSL 的当前 IP，并更新转发规则。
• 利用 Windows 的 Nginx 反向代理，将服务映射到局域网内可用地址。

✅ 服务绑定到 0.0.0.0，开放外部访问

• 修改服务绑定地址为 0.0.0.0，允许外部设备通过 IP 地址直接访问。
• 配置 OpenWebUI 的 Web 服务，提供直观的交互界面。

2.3 应对策略

✅ 在线获取资源，避免复杂的手动传输

• 直接通过 ollama 命令下载模型，无需额外离线准备。
• 使用 Docker 官方镜像仓库，确保高效获取最新镜像。

✅ 优化端口转发，实现动态调整

• 编写自动化脚本，动态获取 WSL 的当前 IP，并更新转发规则。
• 利用 Windows 的 Nginx 反向代理，将服务映射到局域网内可用地址。

✅ 服务绑定到 0.0.0.0，开放外部访问

• 修改服务绑定地址为 0.0.0.0，允许外部设备通过 IP 地址直接访问。
• 配置 OpenWebUI 的 Web 服务，提供直观的交互界面。## 📋 3.实践：在 WSL 上部署 Ollama 和千问模型（联网版）

3.1 准备资源与环境

环境准备📂

1.windows电脑安装WSL

   wsl --installwsl --set-default-version 2

2. 在WSL 中安装 Docker：

sudo apt update
sudo apt install -y docker.io
sudo service docker start

友情提示：
可以通过如下命令实现将windows宿主机资源传输到 WSL：

cp /mnt/c/Users/<your_username>/Downloads/docker-images-openwebui.tar ~/

3. 配置非 root 用户运行 Docker：

sudo usermod -aG docker $USER
newgrp docker

验证 Docker 是否可用

加载 Docker 镜像

docker run hello-world```

3.2部署 Ollama 和千问模型

1.下载并安装 Ollama

curl -O https://ollama.com/downloads/ollama-linux-amd64
chmod +x ollama-linux-amd64
sudo mv ollama-linux-amd64 /usr/local/bin/ollama

2.启动 Ollama 服务

ollama serve

3.下载并运行千问模型

通过 ollama 工具直接在线下载并运行模型：

ollama run qwen2.5

3.3 部署 OpenWebUI

1. 拉取 OpenWebUI 的 Docker 镜像

docker pull ghcr.io/open-webui/open-webui:main

2. 启动 OpenWebUI 容器

docker run -d --name openwebui \-p 8080:8080 \-v ~/.ollama:/app/backend/data \ghcr.io/open-webui/open-webui:main

3. 验证 OpenWebUI 是否运行正常

docker ps

访问服务
确保容器状态为 Up，然后
• 本地访问：http://localhost:8080
• 局域网访问：通过端口转发或绑定所有地址实现http://<WIndows_IP>:8080。

3.4 设置局域网访问

获取 WSL 的 IP 地址

hostname -I

例如，返回的 IP 地址可能是 172.22.203.210。

在 Windows 中设置端口转发
1. 打开 PowerShell（管理员权限），运行以下命令：

netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=8080 connectaddress=<WSL_IP> connectport=8080	

替换 <WSL_IP> 为实际的 WSL IP 地址。
2. 在局域网中的设备上访问：

http://<Windows_IP>:8080

🔧4. WSL 的端口转发问题及优化解决方案

4.1 动态 IP 的困扰

WSL 的 IP 地址可能每次重启后变化，可以在 /etc/wsl.conf 文件中固定 WSL 子网：

[network]
generateResolvConf = false
subnet = 192.168.50.0/24

重启 WSL 后验证新 IP 是否生效。

wsl --shutdown
wsl

验证新 IP 是否生效：

hostname -I

4.2 自动化脚本

每次启动 WSL 自动更新端口转发规则：
创建脚本 setup_portproxy.sh：

#!/bin/bash
wsl_ip=$(hostname -I | awk '{print $1}')
powershell.exe -Command "netsh interface portproxy add v4tov4 listenaddress=0.0.0.0 listenport=8080 connectaddress=$wsl_ip connectport=8080"

赋予执行权限：

chmod +x setup_portproxy.sh

在每次 WSL 启动后运行脚本。

4.3 使用反向代理

在 Windows 主机上安装 Nginx，配置反向代理到 WSL 的服务地址：

1. 安装 Nginx

下载并安装 Nginx for Windows，编辑 conf/nginx.conf 文件，添加以下内容：

server {listen 80;server_name localhost;location / {proxy_pass http://172.22.203.210:8080;proxy_set_header Host $host;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;}
}

2. 重新启动 Nginx

在命令行中执行：

nginx -s reload

📊 对比分析：WSL vs VMware vs VirtualBox

特性	WSL	VMware Workstation	VirtualBox
性能	⭐⭐⭐⭐⭐	⭐⭐⭐⭐	⭐⭐⭐
GPU 支持	⭐⭐⭐⭐	⭐⭐⭐⭐	⭐
易用性	⭐⭐⭐⭐⭐	⭐⭐⭐	⭐⭐⭐
免费使用	⭐⭐⭐⭐⭐	⭐	⭐⭐⭐⭐⭐

📝 结论与展望

🌟 总结

通过联网直接使用 ollama 下载并运行千问等大语言模型，同时结合 OpenWebUI 提供的便捷交互界面，用户可以快速搭建 AI 实验环境。借助反向代理和端口转发的优化配置，还能够轻松实现局域网内访问，从而为开发和实验提供更高效的支持。未来可以通过进一步优化自动化脚本和硬件配置，让 WSL 成为本地 AI 部署的最佳选择。

---

补充亮点

1. 增加了 OpenWebUI 的 Docker 镜像加载和启动步骤。
2. 强调局域网访问 OpenWebUI 的方法，使得模型在本地和局域网中都能灵活使用。
3. 整体简化流程，无离线依赖，完全基于网络操作。

🔍 展望

• 为开发者提供解决问题的思路：

  • 聚焦实际开发中的痛点问题，例如 WSL 的端口转发不稳定、资源调度困难等，提供清晰的解决步骤。
  • 通过脚本化、自动化配置和硬件资源优化，减少开发者的重复性工作。

• 启发具体问题的解决方案：

  • 针对端口映射问题，提出动态脚本更新的方案，避免配置失效。
  • 在 GPU 和模型加载方面，利用量化技术降低资源消耗，为硬件条件受限的开发者提供有效的策略。

本文旨在通过分享实践心得与创新思考，助力你在技术探索的征途中，轻松跨越障碍，加速实验进程，让创意与成果璀璨绽放。🎯