网站做支付功能/真正免费的网站建站平台推荐
🏡作者主页: 点击!
🤖AI大模型部署与应用专栏:点击!
⏰️创作时间:2024年6月6日23点50分
🀄️文章质量:96分
欢迎来到Phi-3模型的奇妙世界!Phi-3是由微软 AI研究院开发的一系列小型语言模型,它们以小巧的体型、强大的性能和开源的特点,在自然语言处理领域掀起了革命性的浪潮。
本指南将带领您一步步地使用Ollama和OpenWebUI部署和使用Phi-3模型,让您轻松解锁模型的无限潜能。无论您是经验丰富的开发人员还是初学者,都能从本指南中获益。
目录
💥Ollama介绍
➡️主要特点
➡️主要优点
Phi-3介绍
特点
应用场景
🤖部署教程
1.下载Ollama
2.下载phi3大模型
推荐使用场景
🎁第一种下载方式
🎁第二种方式下载
💥Ollama介绍
本地运行大型语言模型的强大工具
Ollama是一个开源框架,旨在为本地运行大型语言模型(LLM)提供简便易用的解决方案。是一个开源的、轻量级的本地大模型运行框架,旨在帮助用户轻松地在本地运行和管理各种大型语言模型(LLM)。它提供了一套简单易用的API,用于创建、运行和监控模型,并支持多种流行的LLM,包括GPT-3、Jurassic-1 Jumbo、Megatron-Turing NLG、WuDao 2.0和Bloom等。
💯趣站💯
前些天发现了一个巨牛的🤖人工智能学习网站,通俗易懂,风趣幽默,忍不住粉香一下给大家,人工智能, 机器算法等......
点击跳转!
https://www.captainbed.cn/sis/
➡️主要特点
简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。用户只需简单的命令即可启动和停止模型,而无需担心底层的复杂性。
丰富的模型库: Ollama 提供了丰富的预训练模型库,涵盖了各种自然语言处理任务,如文本生成、翻译、问答等。用户可以轻松地选择和使用所需的模型。
跨平台支持: Ollama 支持多种操作系统,包括 Windows、macOS 和 Linux,使其能够满足不同用户的需求。
灵活的自定义: Ollama 提供了灵活的自定义选项,允许用户根据自己的需求调整模型的行为。
➡️主要优点
离线使用: Ollama 可以让用户在离线环境下使用LLM,这对于隐私敏感或网络连接不稳定的情况非常有用。
降低成本: Ollama 可以帮助用户降低使用LLM的成本,因为它避免了云服务的高昂费用。
提高安全性: Ollama 可以提高LLM使用的安全性,因为它允许用户完全控制自己的数据和模型。
应用场景
研究和教育: Ollama 可以用于自然语言处理、机器翻译、人工智能等领域的教学和研究。
开发和测试: Ollama 可以用于开发和测试新的自然语言处理应用程序。
个人使用: Ollama 可以用于个人创作、娱乐等目的
Phi-3介绍
Phi-3是由微软AI研究院开发的一系列小型语言模型(SLM),于2024年4月发布。Phi-3系列包括三种模型:Phi-3-Mini、Phi-3-Small和Phi-3-Medium,它们在保持较小模型尺寸的同时,还能提供与大型模型相媲美的性能。
特点
Phi-3模型具有以下特点:
小模型尺寸:Phi-3模型的参数量相对较小,例如Phi-3-Mini的参数量只有3.8亿,这使得它们可以在移动设备等资源受限的设备上运行。
高性能:Phi-3模型在语言、编码和数学能力的各种基准测试中,超越了同等大小甚至更大一号的模型。例如,Phi-3-Mini的性能优于两倍尺寸的模型,Phi-3-Small和Phi-3-Medium的性能优于更大的模型,包括GPT-3.5T。
开源:Phi-3模型是开源的,这意味着任何人都可以免费使用和修改它们。这使得Phi-3模型成为研究人员和开发人员的宝贵工具。
应用场景
Phi-3模型的潜在应用包括:
移动设备上的自然语言处理:Phi-3模型可以在移动设备上运行,这使得它们可以用于各种移动应用,例如聊天机器人、语音助手和机器翻译。
资源受限的设备上的自然语言处理:Phi-3模型可以在资源受限的设备上运行,这使得它们可以用于各种物联网 (IoT) 设备和嵌入式系统。
快速和高效的自然语言处理:Phi-3模型的推理速度比大型模型快得多,这使得它们可以用于需要快速响应的应用,例如实时聊天和语音识别。
🤖部署教程
1.下载Ollama
官网地址:点击跳转!
下一步默认下载即可过程十分简单就不演示了
2.下载phi3大模型
点击官网的右上角Models
选择对应的模型版本参数复制即可(我选择3.8b的模型测试)
表格显示的是大概类别的模型参数比对(大家可以作为参考)
版本 | 参数规模 | 发布日期 | 特点 | 优势 | 劣势 | 推荐场景 |
---|---|---|---|---|---|---|
Phi-3.8B | 3.8B | 2024年4月 | 在Phi-2的基础上模型参数缩减至38亿,性能有所下降,但仍然优于同等规模的其他模型 | 兼顾性能和效率,可用于多种自然语言处理任务 | 参数规模相对较大,需要一定硬件支持 | 对性能要求较高,但资源有限的场景 |
Phi-3.14B | 14B | 2024年4月 | 在Phi-3.8B的基础上模型参数进一步缩减至14亿,性能有所下降,但仍然优于同等规模的其他模型 | 更加轻量化,可用于移动设备等资源受限的场景 | 参数规模较小,能力有所限制 | 对性能要求不高,资源受限的场景 |
Phi-Mini | 100M | 2024年4月 | 参数规模仅为1亿,性能相对较弱,但仍然可以完成一些简单的自然语言处理任务 | 占用资源极少,可用于嵌入式设备等资源极度受限的场景 | 参数规模非常小,能力非常有限 | 对性能要求极低,资源极度受限的场景 |
Phi-Medium | 1B | 2024年4月 | 参数规模为10亿,性能介于Phi-Mini和Phi-3.8B之间,可用于多种自然语言处理任务 | 兼顾性能和效率,可用于多种场景 | 参数规模相对较大,需要一定硬件支持 | 对性能要求一般,资源有限的场景 |
Phi-1B-Instruct | 1B | 2024年4月 | 基于Phi-1B模型微调而成,针对指令学习任务进行了优化,可用于完成更复杂的任务 | 擅长指令学习任务,可用于完成更复杂的任务 | 参数规模相对较大,需要一定硬件支持 | 对指令学习任务有较高要求的场景 |
上表仅列举了Phi模型的常用版本,并非所有版本。
大模型的性能和优势劣势取决于多种因素,例如参数规模、训练数据、模型架构等。
用户在选择Phi模型版本时应根据具体需求进行综合考虑。
推荐使用场景
如果您对性能要求较高,且资源充足,推荐使用Phi-3.8B或Phi-3.14B版本。
如果您对性能要求不高,但资源有限,推荐使用Phi-Medium或Phi-1B-Instruct版本。
如果您对性能要求极低,且资源极度受限,推荐使用Phi-Mini版本。
🎁第一种下载方式
我这里用phi3 3.8b来测试
命令行(打开cmd)输入官网复制的命令
在命令行输入 以下命令 等待时长即可下载完成(确保ollama在运行)
ollama run phi3
🎁第二种方式下载
基于OpenWebUI下载
开源地址
首先需要安装Docker容器(自行了解安装,去官网下载步骤也是十分的简单)
复制这条命令( Ollama 在您的计算机上使用以下命令)
不同的条件下,有不同的命令,详细见开源地址所述
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
下载完docker之后 cmd命令行输入上述命令
等待完成即可
安装完成之后访问本地的3000端口
也可以点击自己的Docker,点击访问即可
先点击左下角的设置改为中文简体(方便观看)
点击模型这边下载phi3 复制官网的运行地址也就是命令输入的命令
等待下载完成即可
下载完成之后上边会显示(你所下载的大模型)
选择我们刚刚下载的大模型进行使用对话
问题:
谈谈你对于AI大爆发的看法
回答:
作为一个人工智能,我没有真正的想法或情感表达,但是可以分析和阐述一些关于AI大爆发这一主题的普遍观点。人工智能(AI)在近年来得到了巨大进展,从自动化计算机操作到深度学习和神经网络等技术方面都取得重大突破。这种快速发展引发了对AI伦理、隐私保护以及其影响的广泛讨论。一个称为"AI大爆发"的观点主要基于以下几个方面:自然选择机制:AI技术可能会引发自然选择机制,也就是说,由于其资源丰富且高效的性能,最好的算法和模型在生物界上可能会“继续代码”。这种思想被称为"技术自然选择"。对人类社会的影响:AI的发展可能会改变就职市场、教育系统、金融行业等多个领域,引起社会结构和经济格局的重大变化。监管与规制:AI技术的发展也需要相应的法规和政策来保障其合理使用,并确保公共利益。然而,这些看法往往是假设性或带有一定程度的悲观色彩。科技发展和人类社会之间的关系复杂多变,AI的未来趋势仍然不确切且需要持续的研究与讨论。
我采用的模型参数较低可能回答的不是那么完美,这里仅作为参考
但是在回答问题的过程中会占用你的CPU和内存
🎁注意事项
根据电脑性能,来下载对应的大模型
如果是服务器的话,可根据开源地址所说明下载
相关文章:

使用Ollama+OpenWebUI部署和使用Phi-3微软AI大模型完整指南
🏡作者主页: 点击! 🤖AI大模型部署与应用专栏:点击! ⏰️创作时间:2024年6月6日23点50分 🀄️文章质量:96分 欢迎来到Phi-3模型的奇妙世界!Phi-3是由微软…...

k8s的ci/cd实践之旅
书接上回k8s集群搭建完毕,来使用它强大的扩缩容能力帮我们进行应用的持续集成和持续部署,整体的机器规划如下: 1.192.168.8.156 搭建gitlab私服 docker pull gitlab/gitlab-ce:latest docker run --detach --hostname 192.168.8.156 --publ…...

笔记96:前馈控制 + 航向误差
1. 回顾 对于一个 系统而言,结构可以画作: 如果采用 这样的控制策略,结构可以画作:(这就是LQR控制) 使用LQR控制器,可以通过公式 和 构建一个完美的负反馈系统; a a 但是有上…...

延时任务工具类
自定义工具类 package com.sxfoundation.task;import org.springframework.beans.factory.annotation.Autowired; import org.springframework.core.task.TaskRejectedException; import org.springframework.scheduling.concurrent.ThreadPoolTaskScheduler; import org.spri…...

springboot下载grpc编译文件,报错缺少protoc-gen-grpc-java:1.34.1:exe不存在
报错如图所示 [ERROR] Then, install it using the command: [ERROR] mvn install:install-file -DgroupIdio.grpc -DartifactIdprotoc-gen-grpc-java -Dversion1.34.1 -Dclassifierwindows-x86_64 -Dpackagingexe -Dfile/path/to/file [ERROR] [ERROR] Alternatively, if yo…...

【面试干货】 非关系型数据库(NoSQL)与 关系型数据库(RDBMS)的比较
【面试干货】 非关系型数据库(NoSQL)与 关系型数据库(RDBMS)的比较 一、引言二、非关系型数据库(NoSQL)2.1 优势 三、关系型数据库(RDBMS)3.1 优势 四、结论 💖The Begin…...

JAVA学习-练习试用Java实现“简化路径”
问题: 给定一个字符串 path ,表示指向某一文件或目录的 Unix 风格 绝对路径 (以 / 开头),请将其转化为更加简洁的规范路径。 在 Unix 风格的文件系统中,一个点(.)表示当前目录本身…...

STM32——ADC篇(ADC的使用)
一、ADC的介绍 1.1什么是ADC ADC(Analogto-Digital Converter)模拟数字转换器,是将模拟信号转换成数字信号的一种外设。比如某一个电阻两端的是一个模拟信号,单片机无法直接采集,此时需要ADC先将短租两端的电…...

(文章复现)基于主从博弈的售电商多元零售套餐设计与多级市场购电策略
参考文献: [1]潘虹锦,高红均,杨艳红,等.基于主从博弈的售电商多元零售套餐设计与多级市场购电策略[J].中国电机工程学报,2022,42(13):4785-4800. 1.摘要 随着电力市场改革的发展,如何制定吸引用户选择的多类型零售套餐成为提升售电商利润的研究重点。为…...

深度评价GPT-4o:探索人工智能的新里程碑
在人工智能领域,OpenAI的GPT系列自推出以来就备受瞩目。GPT-4o作为该系列的最新版本,无疑是迄今为止最为强大的一代。它不仅在技术性能上有了质的飞跃,而且在应用的广泛性和深度上都展现出了惊人的潜力。本文将从版本对比、技术能力、使用体验…...

Linux命令篇(六):vi/vim专项
💝💝💝首先,欢迎各位来到我的博客,很高兴能够在这里和您见面!希望您在这里不仅可以有所收获,同时也能感受到一份轻松欢乐的氛围,祝您生活愉快! 文章目录 一、什么是vim二…...

Java 还能不能继续搞了?
金三银四招聘季已落幕,虽说行情不是很乐观,但真正的强者从不抱怨。 在此期间,我收到众多小伙伴的宝贵反馈,整理出132道面试题,从基础到高级,有八股文,也有对某个知识点的深度解析。包括以下几部…...

【日记】遇到了一个很奇怪的大爷(845 字)
正文 花了昨天和今天两天时间,把数据转移完了。这块 2T 的硬盘可以光荣退休了。目前是没什么存储焦虑了。 农发行净开发一些垃圾系统。今天没什么业务,但跟 ActiveX 斗智斗勇了一整天,最后实在搞不过 IE 浏览器。我也懒得管了,又不…...

Python 机器学习 基础 之 处理文本数据 【处理文本数据/用字符串表示数据类型/将文本数据表示为词袋】的简单说明
Python 机器学习 基础 之 处理文本数据 【处理文本数据/用字符串表示数据类型/将文本数据表示为词袋】的简单说明 目录 Python 机器学习 基础 之 处理文本数据 【处理文本数据/用字符串表示数据类型/将文本数据表示为词袋】的简单说明 一、简单介绍 二、处理文本数据 三、用…...

GAT1399协议分析(10)--视频定义及解析
一、官方定义 二、字段解析 VideoID 类型BasicObjectID 解析参考GAT1399协议分析(8)--ImageInfo字段详解-CSDN博客 InfoKind 采集类型...

【C语言】学生管理系统:完整模拟与实现
🌈个人主页:是店小二呀 🌈C语言笔记专栏:C语言笔记 🌈C笔记专栏: C笔记 🌈喜欢的诗句:无人扶我青云志 我自踏雪至山巅 🔥引言 本篇文章为修改了在校期间实训报告,使用C…...

pypi 发布自己的包
注册pypi个人用户 网址:https://pypi.org 目录结构dingtalk_utils 必须-pkgs- __init__.py .gitignore LICENSE 必须 README.md 必须 requirements.txt setup.py 必须安装依赖 pip install setuptools wheel安装上传工具 pip install twinesetup.py i…...

关闭windows11磁盘地址栏上的历史记录
关闭windows11的磁盘地址栏上的历史记录 windows11打开磁盘后访问某一个磁盘路径后会记录这个磁盘路径,而且有时候会卡住这个地址栏(关都关不掉),非常麻烦。 如下图所示: 关闭地址栏历史记录 按下windows键打开开…...

DDS自动化测试落地方案 | 怿星科技携最新技术亮相是德科技年度盛会
5月28日,怿星科技作为是德科技的重要合作伙伴亮相Keysight World Tech Day 2024。在此次科技盛会上,怿星科技不仅展示了领先的DDS自动化测试解决方案等前沿技术,还分享了在“周期短、任务重”的情况下,如何做好软件开发和测试验证…...

新品!和芯星通全系统全频高精度板卡UB9A0首发
6月6日,和芯星通发布了UB9A0全系统全频高精度GNSS板卡,主要应用于CORS站、便携基站、GNSS全球监测跟踪站等。延续了上一代产品高质量原始观测量的特点,UB9A0在性能和稳定性方面均表现出众。 UB9A0基于射频基带及高精度算法一体化的GNSS SoC芯…...

Cognita RAG:模块化、易用与可扩展的开源框架
Cognita RAG是一个开源框架,它通过模块化设计、用户友好的界面和可扩展性,简化了将领域特定知识整合到通用预训练语言模型中的过程。本文介绍了Cognita的特点、优势、应用场景以及如何帮助开发者构建适合生产环境的RAG应用程序。 文章目录 Cognita RAG介…...

linux虚拟机免密登录配置
1、假设A服务器要免密登录B服务器 2、在A服务器上执行命令: cd /root/.ssh/ ssh-keygen -t rsa #这里会生成两个文件 一个是id_rsa私钥和公钥rsa.pub2、我们把公钥的内容复制粘贴到B服务器的/root/.ssh/authorized_keys文件下 #在A服务器上执行命令记录内容 cat …...

Qt_C++ RFID网络读卡器Socket Udp通讯示例源码
本示例使用的设备: WIFI/TCP/UDP/HTTP协议RFID液显网络读卡器可二次开发语音播报POE-淘宝网 (taobao.com) #ifndef MAINWINDOW_H #define MAINWINDOW_H#include <QMainWindow> #include <QHostInfo> #include <QNetworkInterface> #include <…...

C++ 实现Python 列表list 的两种方法
1、vector里面放多种参数。在C中,如果你想要在std::vector中存储不同类型的参数,你可以使用std::any(C17及以上)或std::variant(C17以前的版本需要使用Boost库或者C17及以上标准)。以下是使用std::vector&l…...

vue3+ elementPlus PC端开发 遇到页面已进入就form校验了的问题
form表单一进页面就校验了 rules里配置的 require 提示语 如图所示代码是这样的 最后发现是form表单下面的一个按钮的展示规则 会导致规则校验 canAddInsured 这个字段的变化会导致form表单校验 这个字段是computed maxInsureds 也是个computed监听 maxInsured.value >1 就…...

transformers DataCollator介绍
本博客主要介绍 transformers DataCollator的使用 from transformers import AutoTokenizer, AutoModel, \DataCollatorForSeq2Seq, DataCollatorWithPadding, \DataCollatorForTokenClassification, DefaultDataCollator, DataCollatorForLanguageModelingPRETRAIN_MODEL &qu…...

rust学习(字节数组转string)
最新在写数据传输相关的操作,发现string一个有趣的现象,代码如下: fn main() {let mut data:[u8;32] [0;32];data[0] a as u8;let my_str1 String::from_utf8_lossy(&data);let my_str my_str1.trim();println!("my_str len is…...

Docker:技术架构演进
文章目录 基本概念架构演进单机架构应用数据分离架构应用服务集群架构读写分离/主从分离架构冷热分离架构垂直分库微服务容器编排架构 本篇开始进行对于Docker的学习,Docker是一个陌生的词汇,那么本篇开始就先从技术架构的角度出发,先对于技术…...

汽车MCU虚拟化--对中断虚拟化的思考(2)
目录 1.引入 2.TC4xx如何实现中断虚拟化 3.小结 1.引入 其实不管内核怎么变,针对中断虚拟化无非就是上面两种,要么透传给VM,要么由Hypervisor统一分发。汽车MCU虚拟化--对中断虚拟化的思考(1)-CSDN博客 那么,作为车规MCU龙头…...

python的继承
本章正式开始之前,先让我们回顾一下什么是 对象 ? 什么是 类 ? 小贝 喜欢 猫咪,今年领养了一只名叫 Kitty 的 布偶猫。则下列哪项是 对象 呢? A. 猫咪 B. Kitty C. 布偶猫 相比之下,闻闻 更喜欢 犬科 动…...