使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南
🏡作者主页:点击!
🤖AI大模型部署与应用专栏:点击!
🤖Ollama部署LLM专栏:点击!
⏰️创作时间:2024年6月4日10点50分
🀄️文章质量:96分
目录
💥Ollama介绍
➡️主要特点
➡️主要优点
🎊Gemma模型
➡️特点
🤖部署教程
1.下载Ollama
2.下载Gemma的大模型
主要版本及其特点
1. Gemma Latest
2. Gemma 7B
3. Gemma 2B
4. Gemma Instruct
5. Gemma Text
6. Gemma v1.1
🎁第一种下载方式
🎁第二种方式下载
🎁注意事项
💥Ollama介绍
Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。它提供了一套简单的工具和命令,使任何人都可以轻松地启动和使用各种流行的LLM,例如GPT-3、Megatron-Turing NLG和WuDao 2.0。
➡️主要特点
简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。用户只需简单的命令即可启动和停止模型,而无需担心底层的复杂性。
丰富的模型库: Ollama 提供了丰富的预训练模型库,涵盖了各种自然语言处理任务,如文本生成、翻译、问答等。用户可以轻松地选择和使用所需的模型。
跨平台支持: Ollama 支持多种操作系统,包括 Windows、macOS 和 Linux,使其能够满足不同用户的需求。
灵活的自定义: Ollama 提供了灵活的自定义选项,允许用户根据自己的需求调整模型的行为。
➡️主要优点
离线使用: Ollama 可以让用户在离线环境下使用LLM,这对于隐私敏感或网络连接不稳定的情况非常有用。
降低成本: Ollama 可以帮助用户降低使用LLM的成本,因为它避免了云服务的高昂费用。
提高安全性: Ollama 可以提高LLM使用的安全性,因为它允许用户完全控制自己的数据和模型。
应用场景
研究和教育: Ollama 可以用于自然语言处理、机器翻译、人工智能等领域的教学和研究。
开发和测试: Ollama 可以用于开发和测试新的自然语言处理应用程序。
个人使用: Ollama 可以用于个人创作、娱乐等目的
示例模型
以下只是部分模型:
Model | Parameters | Size | Download |
---|---|---|---|
Llama 3 | 8B | 4.7GB | ollama run llama3 |
Llama 3 | 70B | 40GB | ollama run llama3:70b |
Phi 3 Mini | 3.8B | 2.3GB | ollama run phi3 |
Phi 3 Medium | 14B | 7.9GB | ollama run phi3:medium |
Gemma | 2B | 1.4GB | ollama run gemma:2b |
Gemma | 7B | 4.8GB | ollama run gemma:7b |
Mistral | 7B | 4.1GB | ollama run mistral |
Moondream 2 | 1.4B | 829MB | ollama run moondream |
Neural Chat | 7B | 4.1GB | ollama run neural-chat |
Starling | 7B | 4.1GB | ollama run starling-lm |
Code Llama | 7B | 3.8GB | ollama run codellama |
Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
LLaVA | 7B | 4.5GB | ollama run llava |
Solar | 10.7B | 6.1GB | ollama run solar |
🎊Gemma模型
谷歌的Gemma AI模型是一个多版本的开放式人工智能系统,旨在处理各种复杂的任务,如自然语言处理、计算机视觉、生成模型等。Gemma AI模型在不同版本之间具有不同的功能和性能,以满足不同的需求和计算资源。
➡️特点
高性能:Gemma在多个基准测试中展现出优秀的性能,能够生成高质量的自然语言内容。
多任务学习:Gemma通过在多个任务上进行联合训练,学习到了通用的语言理解和生成能力。
安全可靠:Gemma被设计具有较高的安全性,可以避免产生有害或不恰当的输出。
可解释性:Gemma模型的内部工作机制相对更加透明,便于理解和分析。
开放获取:Gemma模型的一些版本已经对外开放,研究人员和开发者可以获取使用。
🤖部署教程
1.下载Ollama
官网地址:点击跳转!
下一步默认下载即可过程十分简单就不演示了
2.下载Gemma的大模型
点击官网的右上角Models
选择对应的模型根你的电脑|服务器性能来选择,这里我选择7b的模型来测试
主要版本及其特点
1. Gemma Latest
- 描述:最新版本的Gemma AI模型,包含最新的优化和改进。
- 性能:通常是所有版本中性能最强的,能够处理最复杂的任务。
- 应用场景:适用于需要高精度和高效率的任务,如实时语言翻译、复杂的对话系统、详细的文本分析等。
- 硬件要求:
- CPU:多核高性能处理器(如Intel Xeon或AMD EPYC)
- 内存:64GB RAM或更多
- 存储:至少1TB的可用存储空间
- GPU:顶级显卡
2. Gemma 7B
- 描述:参数量为70亿的模型版本,平衡了性能和计算资源需求。
- 性能:适合中等规模的任务,能够提供高质量的输出,但对计算资源的要求较低。
- 应用场景:用于中等复杂度的任务,如高级文本生成、图像识别和中等规模的数据处理。
- 硬件要求:
- CPU:八核处理器(如Intel i7或AMD Ryzen 7)
- 内存:16GB RAM
- 存储:至少200GB的可用存储空间
- GPU:中高端显卡
3. Gemma 2B
- 描述:参数量为20亿的模型版本,适用于基础的AI任务。
- 性能:可以高效地处理基础任务,资源消耗较少。
- 应用场景:适用于简单的文本生成、基础数据分析和基本对话系统。
- 硬件要求:
- CPU:四核处理器(如Intel i5或AMD Ryzen 5)
- 内存:8GB RAM
- 存储:至少100GB的可用存储空间
- GPU:入门级显卡
4. Gemma Instruct
- 描述:专门优化用于指令跟随任务的模型版本。
- 性能:在任务指令执行和精确回答问题方面表现优异。
- 应用场景:用于构建高效的对话系统、问答系统和智能助理。
- 硬件要求:
- CPU:六核处理器(如Intel i7或AMD Ryzen 5)
- 内存:16GB RAM
- 存储:至少150GB的可用存储空间
- GPU:中端显卡(如NVIDIA RTX 3060)
5. Gemma Text
- 描述:专注于文本生成和自然语言处理任务的模型版本。
- 性能:在生成高质量文本和处理语言任务方面表现卓越。
- 应用场景:用于自动写作、内容生成、文本摘要和语言翻译。
- 硬件要求:
- CPU:六核处理器(如Intel i7或AMD Ryzen 5)
- 内存:16GB RAM
- 存储:至少150GB的可用存储空间
- GPU:中端显卡
6. Gemma v1.1
- 描述:Gemma模型的第一个主要版本更新,包含显著改进和优化。
- 性能:相比初始版本具有更好的性能和更高的效率。
- 应用场景:广泛应用于各类任务,包括文本生成、数据分析和对话系统。
- 硬件要求:
- CPU:八核处理器(如Intel i7或AMD Ryzen 7)
- 内存:16GB RAM
- 存储:至少200GB的可用存储空间
- GPU:中高端显卡
以上只作为参考建议,具体根据官网查
这里我选择7b的模型来测试
有两种下载方式你可以通过
🎁第一种下载方式
命令行(打开cmd)输入官网复制的命令
在命令行输入 以下命令 等待时长即可下载完成
ollama run gemma:7b
🎁第二种方式下载
基于OpenWebUI下载
首先需要安装Docker容器(自行了解安装,去官网下载步骤也是十分的简单)
复制这条命令( Ollama 在您的计算机上使用以下命令)
不同的条件下,有不同的命令,详细见开源地址所述
官网地址:点击跳转!
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
等待完成即可
安装完成之后访问本地的3000端口
也可以点击自己的Docker,点击访问即可
先点击左下角的设置改为中文简体(方便观看)
点击模型这边下载Gemma 复制官网的运行地址也就是命令输入的命令
此刻只需等待完成即可
下载完成之后上边会显示(你所下载的大模型)
简单的提问
电脑性能越高回答的速度就越快
问题:谈谈你对于AI大爆发的看法
回答
工智能大爆发的看法:人工智能(AI)大爆发将对人类社会产生深远的影响,并带来各种机遇和挑战。积极影响:**提高生产力:**AI工具可以自动化许多任务,提高工作效率和生产力。**提高生活水平:**AI技术可以提供个性化医疗保健、交通和购物体验。**解决重大问题:**AI可以帮助解决全球性挑战,例如气候变化和疾病。**创造新就业机会:**AI技术将创造新的就业机会,以支持新技术和创新。负面影响:**就业损失:**AI工具可能会导致某些工作被自动化,并导致就业损失。**社会影响:**AI技术可能会导致社会分化和个人数据隐私问题。**伦理问题:**AI工具的应用引入了伦理问题,例如 bias 和可持续性。**人类社会:**AI技术可能会对人类社会产生深远的影响,并改变人类与机器的互动方式。可能性:**混合工作模式:**AI技术可以与人类工作相辅相成,以提高效率和生产力。**个人定制:**AI技术可以提供个性化产品和服务,以满足个人的需求和喜好。**社会协作:**AI技术可以帮助人类解决复杂的问题,并改善人类生活。结论:AI大爆发将对人类社会产生深远的影响,既有积极的影响也有负面影响。重要的是要负责任地应用 AI 技术,以最大限度地提高其益处,同时缓解潜在的风险。
可以看出回答的也是十分的全面详细,并且做出相应的总结
但是在回答问题的过程中会占用你的CPU和内存
🎁注意事项
根据电脑性能,来下载对应的大模型
如果是服务器的话,可根据开源地址所说明下载
相关文章:
使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南
🏡作者主页:点击! 🤖AI大模型部署与应用专栏:点击! 🤖Ollama部署LLM专栏:点击! ⏰️创作时间:2024年6月4日10点50分 🀄️文章质量࿱…...
react的自定义组件
// 自定义组件(首字母必须大写) function Button() {return <button>click me</button>; } const Button1()>{return <button>click me1</button>; }// 使用组件 function App() {return (<div className"App">{/* // 自闭和引用自…...
海宁代理记账公司-专业的会计服务
随着中国经济的飞速发展,企业的规模和数量日益扩大,在这个过程中,如何保证企业的财务活动合规、准确无误地进行,成为了每个企业面临的重要问题,专业、可靠的代理记账公司应运而生。 海宁代理记账公司的主要职责就是为各…...
matlab 计算三维空间点到直线的距离
目录 一、算法原理二、代码实现三、结果展示四、参考链接本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫与GPT。 一、算法原理 直线的点向式方程为: x − x 0 m = y...
YOLOv5车流量监测系统研究
一. YOLOv5算法详解 YOLOv5网络架构 上图展示了YOLOv5目标检测算法的整体框图。对于一个目标检测算法而言,我们通常可以将其划分为4个通用的模块,具体包括:输入端、基准网络、Neck网络与Head输出端,对应于上图中的4个红色模块。Y…...
单元测试覆盖率
什么是单元测试覆盖率 关于其定义,先来看一下维基百科上的一段描述: 代码覆盖(Code coverage)是软件测试中的一种度量,描述程序中源代码被测试的比例和程度,所得比例称为代码覆盖率。 简单来理解ÿ…...
逻辑这回事(三)----时序分析与时序优化
基本时序参数 图1.1 D触发器结构 图1.2 D触发器时序 时钟clk采样数据D时,Tsu表示数据前边沿距离时钟上升沿的时间,MicTsu表示时钟clk能够稳定采样数据D的所要求时间,Th表示数据后边沿距离时钟上升沿的时间,MicTh表示时钟clk采样…...
[JAVASE] 类和对象(二) -- 封装
目录 一. 封装 1.1 面向对象的三大法宝 1.2 封装的基本定义与实现 二. 包 2.1 包的定义 2.2 包的作用 2.3 包的使用 2.3.1 导入类 2.3.2 导入静态方法 三. static 关键字 (重要) 3.1 static 的使用 (代码例子) 3.1.1 3.1.2 3.1.3 3.1.4 四. 总结 一. 封装 1.1 面向对象…...
开发网站,如何给上传图片的服务器目录授权
开发网站,上传图像时提示”上传图片失败,Impossible to create the root directory /var/www/html/xxxxx/public/uploads/avatar/20240608.“ 在Ubuntu上,你可以通过调整文件夹权限来解决这个问题。首先,确保Web服务器(…...
特别名词Test Paper2
特别名词Test Paper2 cabinet 橱柜cable 电缆,有线电视cafe 咖啡厅cafeteria 咖啡店,自助餐厅cage 笼子Cambridge 剑桥camel 骆驼camera 相机camp 露营campus 校园candidate 候选人,考生candle 蜡烛canteen 食堂capital 资金,首都…...
数据结构-AVL树
目录 二叉树 二叉搜索树的查找方式: AVL树 AVL树节点的实现 AVL树节点的插入操作 AVL树的旋转操作 右旋转: 左旋转: 左右双旋: 右左双旋: AVL树的不足和下期预告(红黑树) 二叉树 了…...
数字科技如何助力博物馆设计,强化文物故事表现力?
国际博物馆日是每年为了推广博物馆和文化遗产,而设立的一个特殊的日子,让我们可以深入探讨博物馆如何更好地呈现和保护我们的文化遗产,随着近年来的数字科技发展,其在博物馆领域的应用越来越广泛,它为博物馆提供了新的…...
德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第七周) - 结构化预测
结构化预测 0. 写在大模型前面的话1. 词法分析 1.1. 分词1.2. 词性标注 2.2. 句法分析 2.3. 成分句法分析2.3. 依存句法分析 3. 序列标注 3.1. 使用分类器进行标注 4. 语义分析 0. 写在大模型前面的话 在介绍大语言模型之前,先把自然语言处理中遗漏的结构化预测补…...
5-Maven-setttings和pom.xml常用配置一览
5-Maven-setttings和pom.xml常用配置一览 setttings.xml配置 <?xml version"1.0" encoding"UTF-8"?> <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xs…...
input输入框设置样式
input清除自带样式 input, textarea,label, button,select,img,form,table,a{-webkit-tap-highlight-color: rgba(255,255,255,0);-webkit-tap-highlight-color: transparent;margin: 0;padding: 0;border: none; } /*去除iPhone中默认的input样式*/ input, button, select, t…...
平稳交付 20+ 医院,卓健科技基于 OpenCloudOS 的落地实践
导语:随着数字化转型于各个行业领域当中持续地深入推进,充当底层支撑的操作系统正发挥着愈发关键且重要的作用。卓健科技把 OpenCloudOS 当作首要的交付系统,达成了项目交付速度的提升、安全可靠性的增强、运维成本的降低。本文将会阐述卓健科…...
Python下载库
注:本文一律使用windows讲解。 一、使用cmd下载 先用快捷键win R打开"运行"窗口,如下图。 在输入框中输入cmd并按回车Enter或点确定键,随后会出现这个画面: 输入pip install 你想下载的库名,并按回车&…...
SAP HCM OPT函数作用
导读 INTRODUCTION OPT函数:SAP HCM工资核算是很多函数的汇总集,原有有兴趣问过SAP的人为什么SCHEMA需要这样设计,SAP的人说是用汇编的逻辑设计的,当时是尽可能用机器语言加速速度读取,每个函数都有对应的业务逻辑代码…...
Tensorflow音频分类
tensorflow https://www.tensorflow.org/lite/examples/audio_classification/overview?hlzh-cn 官方有移动端demo 前端不会 就只能找找有没有java支持 注意版本 注意JDK版本 package com.example.demo17.controller;import org.tensorflow.*; import org.tensorflow.ndarra…...
mqtt-emqx:keepAlive机制测试
mqtt keepAlive原理详见【https://www.emqx.com/zh/blog/mqtt-keep-alive】 # 下面开始写测试代码 【pom.xml】 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><version>2…...
C++基础7:STL六大组件
目录 一、标准容器 1、顺序容器 vector 编辑 deque list 容器适配器 stack queue prority_queue: 关联容器 有序关联容器set、mutiset、map、mutimap 增删查O(log n) 无序关联容 unordered_set、unordered_mutiset、unordered_map、unordered_mutimap 增删…...
特别名词Test Paper1
特别名词Test Paper1 ability 能力abstract 摘要accountant 会计accuracy 准确度acid 酸action 行动activity 活动actor 男演员adult 成人adventure 冒险advertisements 广告,宣传advertising 广告advice 建议age 年龄agency 代理机构,中介agreement 同…...
每日题库:Huawe数通HCIA——全部【813道】
1.关于ARP报文的说法错误的是?单选 A.ARP报文不能被转发到其他广播域 B.ARP应答报文是单播方发送的 C.任何链路层协议都需要ARP协议辅助获取数据链路层标识 DARP请求报文是广播发送的 答案:C 解析: STP协议不需要ARP辅助 2.园区网络搭建时,使用以下哪种协议可以避免出现二层…...
#04 Stable Diffusion与其他AI图像生成技术的比较
文章目录 前言1. Stable Diffusion2. DALL-E3. GAN(生成对抗网络)4. VQ-VAE比较总结 前言 随着人工智能技术的飞速发展,AI图像生成技术已成为创意产业和科研领域的热点。Stable Diffusion作为其中的佼佼者,其性能和应用广受关注。…...
不确定性+电动汽车!含高比例新能源和多类型电动汽车的配电网能量管理程序代码!
前言 能源供应的可持续性和清洁性是当今世界共同关注的议题,配电网与可再生能源发电相结合,通过多能互补和梯级利用,在不同时空取长补短,提高能源利用率,减少温室气体排放,是解决能源短缺和环境问题的有效…...
准确-K8s系列文章-修改containerd 默认数据目录
修改 Kubernetes 集群中 containerd 默认数据目录为 /data/containerd 前言 本文档适用于 Kubernetes 1.24 及以上版本的集群,介绍如何将 containerd 默认的数据目录从 /var/lib/containerd 修改为 /data/containerd。 步骤 1. 停止 containerd 服务(…...
深入探索Linux命令:`aulastlog`
深入探索Linux命令:aulastlog 在Linux系统中,安全管理一直是管理员和用户关注的焦点。aulastlog是一个非常有用的工具,用于显示用户最近登录的日志。它通过分析/var/log/lastlog文件来提供这些信息,这个文件记录了系统上所有用户…...
Debezium日常分享系列之:Debezium 2.6.2.Final发布
Debezium日常分享系列之:Debezium 2.6.2.Final发布 一、新功能和改进1.Oracle 数据库查询过滤超过 1000 个表 二、修复和稳定性改进1.PostgreSQL 偏移刷新竞争条件2.Avro 兼容性 一、新功能和改进 1.Oracle 数据库查询过滤超过 1000 个表 Debezium Oracle 连接器允…...
PHP质量工具系列之phpmd
PHPMD PHP Mess Detector 它是PHP Depend的一个衍生项目,用于测量的原始指标。 PHPMD所做的是,扫描项目中可能出现的问题如: 可能的bug次优码过于复杂的表达式未使用的参数、方法、属性 PHPMD是一个成熟的项目,它提供了一组不同的…...
【java】速度搭建一个springboot项目
使用软件:IDEA,mysql 使用框架:springboot mybatis-plus druid 坑点 使用IDEA搭建一个springboot项目的时候,需要考虑一下IDEA版本支持的JDK版本以及maven版本。否则再构建项目,引入pom的时候就会报错。 需要检查…...
温州市网页制作项文静/关键词优化教程
今天在解决爬虫对加密参数的分析时,需要使用到base64解码。但是过程中出现了TypeError:Incorrect padding的错误提示。以下是解决方法,以便查阅。 其实正常使用base64是不会出现问题的,就比如下面的代码。 1 #!usr/bin/env pytho…...
dwcs3如何做网站/宝塔没有域名直接做网站怎么弄
我在任何地方都找不到。我从返回标准JSON日期的API中获取了一些JSON。您可以通过在JavaScript控制台中运行以下代码来查看格式:> new Date().toJSON();"2010-10-27T11:58:22.973Z"好吧,实际上,我正在使用的API不会返回毫秒部分&…...
泉州网站建设方案开发/百度手机助手下载安卓
在拆机前一定要拔掉笔记本的电池和台式机的电源线,还有断开CPU风扇的接线。 以免风扇转速过快产生电流损坏电子器件。 如除尘后开不了,可以尝试给主板放静电。 拆前人体放电 金手指使用橡皮擦擦拭,擦除氧化层。 可以的话更换硅胶。 键盘…...
广州优化网站建设/免费推广网站注册入口
在TCP层,有个FLAGS字段,这个字段有以下几个标识:SYN, FIN, ACK, PSH, RST, URG. 其中,对于我们日常的分析有用的就是前面的五个字段。 它们的含义是: SYN表示建立连接, FIN表示关闭连接, ACK表示…...
wordpress 免费中文企业主题/360推广登录平台
我们在出门时,喜欢用微信拍视频给朋友看,大家可能还不知道,微信拍视频还能添加字幕,方法很简单,今天我就把这个技巧分享给大家。 一、短视频添加文字 1.首先打开手机上的微信,点击右下角的【我】ÿ…...
吕梁网站建设/小果seo实战培训课程
实操过程 源数据库服务器(192.168.1.101)备份服务器(192.168.1.102)环境centos 7.4 mysql5.7 centos 7.4 数据库实例3306/安装备份工具Xtrabackup/安装网络限速工具 yum install pv #如果不做网络限速的话,可以不用安装 /ssh免密登陆 ssh…...