当前位置: 首页 > news >正文

使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南

🏡作者主页:点击! 

🤖AI大模型部署与应用专栏:点击!

🤖Ollama部署LLM专栏:点击!

⏰️创作时间:2024年6月4日10点50分

🀄️文章质量:96分


目录

💥Ollama介绍

➡️主要特点

➡️主要优点

🎊Gemma模型

➡️特点

🤖部署教程

1.下载Ollama

2.下载Gemma的大模型

主要版本及其特点

1. Gemma Latest

2. Gemma 7B

3. Gemma 2B

4. Gemma Instruct

5. Gemma Text

6. Gemma v1.1

🎁第一种下载方式

🎁第二种方式下载

🎁注意事项


💥Ollama介绍

Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。它提供了一套简单的工具和命令,使任何人都可以轻松地启动和使用各种流行的LLM,例如GPT-3、Megatron-Turing NLG和WuDao 2.0。

➡️主要特点


简化部署: Ollama 使用 Docker 容器技术来简化大型语言模型的部署和管理。用户只需简单的命令即可启动和停止模型,而无需担心底层的复杂性。

丰富的模型库: Ollama 提供了丰富的预训练模型库,涵盖了各种自然语言处理任务,如文本生成、翻译、问答等。用户可以轻松地选择和使用所需的模型。

跨平台支持: Ollama 支持多种操作系统,包括 Windows、macOS 和 Linux,使其能够满足不同用户的需求。

灵活的自定义: Ollama 提供了灵活的自定义选项,允许用户根据自己的需求调整模型的行为。

➡️主要优点


离线使用: Ollama 可以让用户在离线环境下使用LLM,这对于隐私敏感或网络连接不稳定的情况非常有用。

降低成本: Ollama 可以帮助用户降低使用LLM的成本,因为它避免了云服务的高昂费用。

提高安全性: Ollama 可以提高LLM使用的安全性,因为它允许用户完全控制自己的数据和模型。

应用场景
研究和教育: Ollama 可以用于自然语言处理、机器翻译、人工智能等领域的教学和研究。

开发和测试: Ollama 可以用于开发和测试新的自然语言处理应用程序。

个人使用: Ollama 可以用于个人创作、娱乐等目的

示例模型
以下只是部分模型:

ModelParametersSizeDownload
Llama 38B4.7GBollama run llama3
Llama 370B40GBollama run llama3:70b
Phi 3 Mini3.8B2.3GBollama run phi3
Phi 3 Medium14B7.9GBollama run phi3:medium
Gemma2B1.4GBollama run gemma:2b
Gemma7B4.8GBollama run gemma:7b
Mistral7B4.1GBollama run mistral
Moondream 21.4B829MBollama run moondream
Neural Chat7B4.1GBollama run neural-chat
Starling7B4.1GBollama run starling-lm
Code Llama7B3.8GBollama run codellama
Llama 2 Uncensored7B3.8GBollama run llama2-uncensored
LLaVA7B4.5GBollama run llava
Solar10.7B6.1GBollama run solar

🎊Gemma模型

谷歌的Gemma AI模型是一个多版本的开放式人工智能系统,旨在处理各种复杂的任务,如自然语言处理、计算机视觉、生成模型等。Gemma AI模型在不同版本之间具有不同的功能和性能,以满足不同的需求和计算资源。

➡️特点

高性能:Gemma在多个基准测试中展现出优秀的性能,能够生成高质量的自然语言内容。

多任务学习:Gemma通过在多个任务上进行联合训练,学习到了通用的语言理解和生成能力。

安全可靠:Gemma被设计具有较高的安全性,可以避免产生有害或不恰当的输出。

可解释性:Gemma模型的内部工作机制相对更加透明,便于理解和分析。

开放获取:Gemma模型的一些版本已经对外开放,研究人员和开发者可以获取使用。

🤖部署教程

1.下载Ollama

官网地址:点击跳转!

下一步默认下载即可过程十分简单就不演示了

2.下载Gemma的大模型

点击官网的右上角Models

选择对应的模型根你的电脑|服务器性能来选择,这里我选择7b的模型来测试

主要版本及其特点
1. Gemma Latest
  • 描述:最新版本的Gemma AI模型,包含最新的优化和改进。
  • 性能:通常是所有版本中性能最强的,能够处理最复杂的任务。
  • 应用场景:适用于需要高精度和高效率的任务,如实时语言翻译、复杂的对话系统、详细的文本分析等。
  • 硬件要求
    • CPU:多核高性能处理器(如Intel Xeon或AMD EPYC)
    • 内存:64GB RAM或更多
    • 存储:至少1TB的可用存储空间
    • GPU:顶级显卡
2. Gemma 7B
  • 描述:参数量为70亿的模型版本,平衡了性能和计算资源需求。
  • 性能:适合中等规模的任务,能够提供高质量的输出,但对计算资源的要求较低。
  • 应用场景:用于中等复杂度的任务,如高级文本生成、图像识别和中等规模的数据处理。
  • 硬件要求
    • CPU:八核处理器(如Intel i7或AMD Ryzen 7)
    • 内存:16GB RAM
    • 存储:至少200GB的可用存储空间
    • GPU:中高端显卡
3. Gemma 2B
  • 描述:参数量为20亿的模型版本,适用于基础的AI任务。
  • 性能:可以高效地处理基础任务,资源消耗较少。
  • 应用场景:适用于简单的文本生成、基础数据分析和基本对话系统。
  • 硬件要求
    • CPU:四核处理器(如Intel i5或AMD Ryzen 5)
    • 内存:8GB RAM
    • 存储:至少100GB的可用存储空间
    • GPU:入门级显卡
4. Gemma Instruct
  • 描述:专门优化用于指令跟随任务的模型版本。
  • 性能:在任务指令执行和精确回答问题方面表现优异。
  • 应用场景:用于构建高效的对话系统、问答系统和智能助理。
  • 硬件要求
    • CPU:六核处理器(如Intel i7或AMD Ryzen 5)
    • 内存:16GB RAM
    • 存储:至少150GB的可用存储空间
    • GPU:中端显卡(如NVIDIA RTX 3060)
5. Gemma Text
  • 描述:专注于文本生成和自然语言处理任务的模型版本。
  • 性能:在生成高质量文本和处理语言任务方面表现卓越。
  • 应用场景:用于自动写作、内容生成、文本摘要和语言翻译。
  • 硬件要求
    • CPU:六核处理器(如Intel i7或AMD Ryzen 5)
    • 内存:16GB RAM
    • 存储:至少150GB的可用存储空间
    • GPU:中端显卡
6. Gemma v1.1
  • 描述:Gemma模型的第一个主要版本更新,包含显著改进和优化。
  • 性能:相比初始版本具有更好的性能和更高的效率。
  • 应用场景:广泛应用于各类任务,包括文本生成、数据分析和对话系统。
  • 硬件要求
    • CPU:八核处理器(如Intel i7或AMD Ryzen 7)
    • 内存:16GB RAM
    • 存储:至少200GB的可用存储空间
    • GPU:中高端显卡

以上只作为参考建议,具体根据官网查

这里我选择7b的模型来测试

有两种下载方式你可以通过

🎁第一种下载方式

命令行(打开cmd)输入官网复制的命令

在命令行输入 以下命令 等待时长即可下载完成

ollama run gemma:7b

🎁第二种方式下载

基于OpenWebUI下载

首先需要安装Docker容器(自行了解安装,去官网下载步骤也是十分的简单)

复制这条命令( Ollama 在您的计算机上使用以下命令)

不同的条件下,有不同的命令,详细见开源地址所述

 官网地址:点击跳转!

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待完成即可

安装完成之后访问本地的3000端口

也可以点击自己的Docker,点击访问即可

先点击左下角的设置改为中文简体(方便观看)

点击模型这边下载Gemma 复制官网的运行地址也就是命令输入的命令

此刻只需等待完成即可

下载完成之后上边会显示(你所下载的大模型)

简单的提问

电脑性能越高回答的速度就越快

问题:谈谈你对于AI大爆发的看法

回答

工智能大爆发的看法:人工智能(AI)大爆发将对人类社会产生深远的影响,并带来各种机遇和挑战。积极影响:**提高生产力:**AI工具可以自动化许多任务,提高工作效率和生产力。**提高生活水平:**AI技术可以提供个性化医疗保健、交通和购物体验。**解决重大问题:**AI可以帮助解决全球性挑战,例如气候变化和疾病。**创造新就业机会:**AI技术将创造新的就业机会,以支持新技术和创新。负面影响:**就业损失:**AI工具可能会导致某些工作被自动化,并导致就业损失。**社会影响:**AI技术可能会导致社会分化和个人数据隐私问题。**伦理问题:**AI工具的应用引入了伦理问题,例如 bias 和可持续性。**人类社会:**AI技术可能会对人类社会产生深远的影响,并改变人类与机器的互动方式。可能性:**混合工作模式:**AI技术可以与人类工作相辅相成,以提高效率和生产力。**个人定制:**AI技术可以提供个性化产品和服务,以满足个人的需求和喜好。**社会协作:**AI技术可以帮助人类解决复杂的问题,并改善人类生活。结论:AI大爆发将对人类社会产生深远的影响,既有积极的影响也有负面影响。重要的是要负责任地应用 AI 技术,以最大限度地提高其益处,同时缓解潜在的风险。

可以看出回答的也是十分的全面详细,并且做出相应的总结

但是在回答问题的过程中会占用你的CPU和内存

🎁注意事项

根据电脑性能,来下载对应的大模型

如果是服务器的话,可根据开源地址所说明下载

相关文章:

使用Ollama+OpenWebUI本地部署Gemma谷歌AI开放大模型完整指南

🏡作者主页:点击! 🤖AI大模型部署与应用专栏:点击! 🤖Ollama部署LLM专栏:点击! ⏰️创作时间:2024年6月4日10点50分 🀄️文章质量&#xff1…...

react的自定义组件

// 自定义组件(首字母必须大写) function Button() {return <button>click me</button>; } const Button1()>{return <button>click me1</button>; }// 使用组件 function App() {return (<div className"App">{/* // 自闭和引用自…...

海宁代理记账公司-专业的会计服务

随着中国经济的飞速发展&#xff0c;企业的规模和数量日益扩大&#xff0c;在这个过程中&#xff0c;如何保证企业的财务活动合规、准确无误地进行&#xff0c;成为了每个企业面临的重要问题&#xff0c;专业、可靠的代理记账公司应运而生。 海宁代理记账公司的主要职责就是为各…...

matlab 计算三维空间点到直线的距离

目录 一、算法原理二、代码实现三、结果展示四、参考链接本文由CSDN点云侠原创,原文链接。如果你不是在点云侠的博客中看到该文章,那么此处便是不要脸的爬虫与GPT。 一、算法原理 直线的点向式方程为: x − x 0 m = y...

YOLOv5车流量监测系统研究

一. YOLOv5算法详解 YOLOv5网络架构 上图展示了YOLOv5目标检测算法的整体框图。对于一个目标检测算法而言&#xff0c;我们通常可以将其划分为4个通用的模块&#xff0c;具体包括&#xff1a;输入端、基准网络、Neck网络与Head输出端&#xff0c;对应于上图中的4个红色模块。Y…...

单元测试覆盖率

什么是单元测试覆盖率 关于其定义&#xff0c;先来看一下维基百科上的一段描述&#xff1a; 代码覆盖&#xff08;Code coverage&#xff09;是软件测试中的一种度量&#xff0c;描述程序中源代码被测试的比例和程度&#xff0c;所得比例称为代码覆盖率。 简单来理解&#xff…...

逻辑这回事(三)----时序分析与时序优化

基本时序参数 图1.1 D触发器结构 图1.2 D触发器时序 时钟clk采样数据D时&#xff0c;Tsu表示数据前边沿距离时钟上升沿的时间&#xff0c;MicTsu表示时钟clk能够稳定采样数据D的所要求时间&#xff0c;Th表示数据后边沿距离时钟上升沿的时间&#xff0c;MicTh表示时钟clk采样…...

[JAVASE] 类和对象(二) -- 封装

目录 一. 封装 1.1 面向对象的三大法宝 1.2 封装的基本定义与实现 二. 包 2.1 包的定义 2.2 包的作用 2.3 包的使用 2.3.1 导入类 2.3.2 导入静态方法 三. static 关键字 (重要) 3.1 static 的使用 (代码例子) 3.1.1 3.1.2 3.1.3 3.1.4 四. 总结 一. 封装 1.1 面向对象…...

开发网站,如何给上传图片的服务器目录授权

开发网站&#xff0c;上传图像时提示”上传图片失败&#xff0c;Impossible to create the root directory /var/www/html/xxxxx/public/uploads/avatar/20240608.“ 在Ubuntu上&#xff0c;你可以通过调整文件夹权限来解决这个问题。首先&#xff0c;确保Web服务器&#xff08…...

特别名词Test Paper2

特别名词Test Paper2 cabinet 橱柜cable 电缆&#xff0c;有线电视cafe 咖啡厅cafeteria 咖啡店&#xff0c;自助餐厅cage 笼子Cambridge 剑桥camel 骆驼camera 相机camp 露营campus 校园candidate 候选人&#xff0c;考生candle 蜡烛canteen 食堂capital 资金&#xff0c;首都…...

数据结构-AVL树

目录 二叉树 二叉搜索树的查找方式&#xff1a; AVL树 AVL树节点的实现 AVL树节点的插入操作 AVL树的旋转操作 右旋转&#xff1a; 左旋转&#xff1a; 左右双旋&#xff1a; 右左双旋&#xff1a; AVL树的不足和下期预告&#xff08;红黑树&#xff09; 二叉树 了…...

数字科技如何助力博物馆设计,强化文物故事表现力?

国际博物馆日是每年为了推广博物馆和文化遗产&#xff0c;而设立的一个特殊的日子&#xff0c;让我们可以深入探讨博物馆如何更好地呈现和保护我们的文化遗产&#xff0c;随着近年来的数字科技发展&#xff0c;其在博物馆领域的应用越来越广泛&#xff0c;它为博物馆提供了新的…...

德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第七周) - 结构化预测

结构化预测 0. 写在大模型前面的话1. 词法分析 1.1. 分词1.2. 词性标注 2.2. 句法分析 2.3. 成分句法分析2.3. 依存句法分析 3. 序列标注 3.1. 使用分类器进行标注 4. 语义分析 0. 写在大模型前面的话 在介绍大语言模型之前&#xff0c;先把自然语言处理中遗漏的结构化预测补…...

5-Maven-setttings和pom.xml常用配置一览

5-Maven-setttings和pom.xml常用配置一览 setttings.xml配置 <?xml version"1.0" encoding"UTF-8"?> <settings xmlns"http://maven.apache.org/SETTINGS/1.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xs…...

input输入框设置样式

input清除自带样式 input, textarea,label, button,select,img,form,table,a{-webkit-tap-highlight-color: rgba(255,255,255,0);-webkit-tap-highlight-color: transparent;margin: 0;padding: 0;border: none; } /*去除iPhone中默认的input样式*/ input, button, select, t…...

平稳交付 20+ 医院,卓健科技基于 OpenCloudOS 的落地实践

导语&#xff1a;随着数字化转型于各个行业领域当中持续地深入推进&#xff0c;充当底层支撑的操作系统正发挥着愈发关键且重要的作用。卓健科技把 OpenCloudOS 当作首要的交付系统&#xff0c;达成了项目交付速度的提升、安全可靠性的增强、运维成本的降低。本文将会阐述卓健科…...

Python下载库

注&#xff1a;本文一律使用windows讲解。 一、使用cmd下载 先用快捷键win R打开"运行"窗口&#xff0c;如下图。 在输入框中输入cmd并按回车Enter或点确定键&#xff0c;随后会出现这个画面&#xff1a; 输入pip install 你想下载的库名&#xff0c;并按回车&…...

SAP HCM OPT函数作用

导读 INTRODUCTION OPT函数&#xff1a;SAP HCM工资核算是很多函数的汇总集&#xff0c;原有有兴趣问过SAP的人为什么SCHEMA需要这样设计&#xff0c;SAP的人说是用汇编的逻辑设计的&#xff0c;当时是尽可能用机器语言加速速度读取&#xff0c;每个函数都有对应的业务逻辑代码…...

Tensorflow音频分类

tensorflow https://www.tensorflow.org/lite/examples/audio_classification/overview?hlzh-cn 官方有移动端demo 前端不会 就只能找找有没有java支持 注意版本 注意JDK版本 package com.example.demo17.controller;import org.tensorflow.*; import org.tensorflow.ndarra…...

mqtt-emqx:keepAlive机制测试

mqtt keepAlive原理详见【https://www.emqx.com/zh/blog/mqtt-keep-alive】 # 下面开始写测试代码 【pom.xml】 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId><version>2…...

C++基础7:STL六大组件

目录 一、标准容器 1、顺序容器 vector ​编辑 deque list 容器适配器 stack queue prority_queue: 关联容器 有序关联容器set、mutiset、map、mutimap 增删查O(log n) 无序关联容 unordered_set、unordered_mutiset、unordered_map、unordered_mutimap 增删…...

特别名词Test Paper1

特别名词Test Paper1 ability 能力abstract 摘要accountant 会计accuracy 准确度acid 酸action 行动activity 活动actor 男演员adult 成人adventure 冒险advertisements 广告&#xff0c;宣传advertising 广告advice 建议age 年龄agency 代理机构&#xff0c;中介agreement 同…...

每日题库:Huawe数通HCIA——全部【813道】

1.关于ARP报文的说法错误的是?单选 A.ARP报文不能被转发到其他广播域 B.ARP应答报文是单播方发送的 C.任何链路层协议都需要ARP协议辅助获取数据链路层标识 DARP请求报文是广播发送的 答案:C  解析: STP协议不需要ARP辅助 2.园区网络搭建时,使用以下哪种协议可以避免出现二层…...

#04 Stable Diffusion与其他AI图像生成技术的比较

文章目录 前言1. Stable Diffusion2. DALL-E3. GAN&#xff08;生成对抗网络&#xff09;4. VQ-VAE比较总结 前言 随着人工智能技术的飞速发展&#xff0c;AI图像生成技术已成为创意产业和科研领域的热点。Stable Diffusion作为其中的佼佼者&#xff0c;其性能和应用广受关注。…...

不确定性+电动汽车!含高比例新能源和多类型电动汽车的配电网能量管理程序代码!

前言 能源供应的可持续性和清洁性是当今世界共同关注的议题&#xff0c;配电网与可再生能源发电相结合&#xff0c;通过多能互补和梯级利用&#xff0c;在不同时空取长补短&#xff0c;提高能源利用率&#xff0c;减少温室气体排放&#xff0c;是解决能源短缺和环境问题的有效…...

准确-K8s系列文章-修改containerd 默认数据目录

修改 Kubernetes 集群中 containerd 默认数据目录为 /data/containerd 前言 本文档适用于 Kubernetes 1.24 及以上版本的集群&#xff0c;介绍如何将 containerd 默认的数据目录从 /var/lib/containerd 修改为 /data/containerd。 步骤 1. 停止 containerd 服务&#xff08…...

深入探索Linux命令:`aulastlog`

深入探索Linux命令&#xff1a;aulastlog 在Linux系统中&#xff0c;安全管理一直是管理员和用户关注的焦点。aulastlog是一个非常有用的工具&#xff0c;用于显示用户最近登录的日志。它通过分析/var/log/lastlog文件来提供这些信息&#xff0c;这个文件记录了系统上所有用户…...

Debezium日常分享系列之:Debezium 2.6.2.Final发布

Debezium日常分享系列之&#xff1a;Debezium 2.6.2.Final发布 一、新功能和改进1.Oracle 数据库查询过滤超过 1000 个表 二、修复和稳定性改进1.PostgreSQL 偏移刷新竞争条件2.Avro 兼容性 一、新功能和改进 1.Oracle 数据库查询过滤超过 1000 个表 Debezium Oracle 连接器允…...

PHP质量工具系列之phpmd

PHPMD PHP Mess Detector 它是PHP Depend的一个衍生项目&#xff0c;用于测量的原始指标。 PHPMD所做的是&#xff0c;扫描项目中可能出现的问题如&#xff1a; 可能的bug次优码过于复杂的表达式未使用的参数、方法、属性 PHPMD是一个成熟的项目&#xff0c;它提供了一组不同的…...

【java】速度搭建一个springboot项目

使用软件&#xff1a;IDEA&#xff0c;mysql 使用框架&#xff1a;springboot mybatis-plus druid 坑点 使用IDEA搭建一个springboot项目的时候&#xff0c;需要考虑一下IDEA版本支持的JDK版本以及maven版本。否则再构建项目&#xff0c;引入pom的时候就会报错。 需要检查…...

温州市网页制作项文静/关键词优化教程

今天在解决爬虫对加密参数的分析时&#xff0c;需要使用到base64解码。但是过程中出现了TypeError&#xff1a;Incorrect padding的错误提示。以下是解决方法&#xff0c;以便查阅。 其实正常使用base64是不会出现问题的&#xff0c;就比如下面的代码。 1 #!usr/bin/env pytho…...

dwcs3如何做网站/宝塔没有域名直接做网站怎么弄

我在任何地方都找不到。我从返回标准JSON日期的API中获取了一些JSON。您可以通过在JavaScript控制台中运行以下代码来查看格式&#xff1a;> new Date().toJSON();"2010-10-27T11:58:22.973Z"好吧&#xff0c;实际上&#xff0c;我正在使用的API不会返回毫秒部分&…...

泉州网站建设方案开发/百度手机助手下载安卓

在拆机前一定要拔掉笔记本的电池和台式机的电源线&#xff0c;还有断开CPU风扇的接线。 以免风扇转速过快产生电流损坏电子器件。 如除尘后开不了&#xff0c;可以尝试给主板放静电。 拆前人体放电 金手指使用橡皮擦擦拭&#xff0c;擦除氧化层。 可以的话更换硅胶。 键盘…...

广州优化网站建设/免费推广网站注册入口

在TCP层&#xff0c;有个FLAGS字段&#xff0c;这个字段有以下几个标识&#xff1a;SYN, FIN, ACK, PSH, RST, URG. 其中&#xff0c;对于我们日常的分析有用的就是前面的五个字段。 它们的含义是&#xff1a; SYN表示建立连接&#xff0c; FIN表示关闭连接&#xff0c; ACK表示…...

wordpress 免费中文企业主题/360推广登录平台

我们在出门时&#xff0c;喜欢用微信拍视频给朋友看&#xff0c;大家可能还不知道&#xff0c;微信拍视频还能添加字幕&#xff0c;方法很简单&#xff0c;今天我就把这个技巧分享给大家。 一、短视频添加文字 1.首先打开手机上的微信&#xff0c;点击右下角的【我】&#xff…...

吕梁网站建设/小果seo实战培训课程

实操过程 源数据库服务器&#xff08;192.168.1.101&#xff09;备份服务器(192.168.1.102)环境centos 7.4 mysql5.7 centos 7.4 数据库实例3306/安装备份工具Xtrabackup/安装网络限速工具 yum install pv #如果不做网络限速的话&#xff0c;可以不用安装 /ssh免密登陆 ssh…...