当前位置： 首页 > news >正文

【AI】生成式AI服务器最低配置

news 文章来源：https://blog.csdn.net/weixin_41697242/article/details/139810121 2025/1/17 18:08:22

【背景】

考虑数据安全，又想用AI赋能企业内部的日常工作，答案只有一个，本地部署。
UI采用open-web-ui，模型用Ollama管理，在局域网做成SAAS服务。要组一个服务器，提供部门内部最多30个的API并发。以下为反复比对后得到的配置。
注意，之所以是最低配置，纯粹因为公司申请花钱麻烦，所以有条件的话当然直接双GPU，A100走起，320GDDR4走起。
穷人，只能花小钱办大事。
模型都是text generation，不涉及图片和视频生成。
每个单品硬件控制在5000元以下。

【具体配置】

"英特尔(Intel) i9-14900K
"金士顿（Kingston）FURY 128GB(32G×4)套装 DDR5 6000 台式机内存条
"技嘉（GIGABYTE）风魔 GeForce RTX 4070显卡
"技嘉Z790M AORUS ELITE/小雕/耐久主板
"技嘉（GIGABYTE）C102G全景式 机箱熏黑钢化玻璃侧透兼容360/240水冷散热器
"技嘉（GIGABYTE）AORUS 冰雕一体式CPU水冷散热器
"西部数据（WD） M.2 NVME 2230 SSD固态硬盘

【注意事项】

一些基础的注意事项包括，主板看是否支持14代CPU，版型是ATX还是MATX等，机箱需要匹配。
4070是穷人搞AI最有性价比的卡。
水冷必须一体式不然维护麻烦漏液风险大。
NVM读取速度快但要注意M2接口数量。
电源要看瓦数，目前这个配置至少要750W以上。

【实际效果】

用过再补充，希望能够足够跑服务。

相关文章：

【AI】生成式AI服务器最低配置

【背景】 考虑数据安全，又想用AI赋能企业内部的日常工作，答案只有一个，本地部署。 UI采用open-web-ui，模型用Ollama管理，在局域网做成SAAS服务。要组一个服务器，提供部门内部最多30个的API并发。以下为反复…...

编程日记 2024/6/28 2:41:47

2.Android逆向协议-了解常用的逆向工具

免责声明：内容仅供学习参考，请合法利用知识，禁止进行违法犯罪活动！ 内容参考于：微尘网校 上一个内容：1.Android逆向协议-环境搭建 常用的工具：AndroidKiller、jadx、JEB、IDA AndroidKiller…...

编程日记 2024/6/28 2:39:45

大数据------额外软件、插件及技术------Linux（完整知识点汇总）

Linxu 不同领域的主流操作系统 桌面操作系统 WindowsMAac OSLinux 服务器端操作系统 UNIX（付费）LinuxWindows Server（付费） 移动设备操作系统 Android（基于Linux开源）IOS（不开源） 嵌…...

编程日记 2024/6/28 2:38:44

iOS 其他应用的文件如何在分享中使用自己的应用打开

废话少说 一、第一步：先配置好plist文件 右击info.plist如下图文件打开 根据自己需要配置支持的文件类型，也可使用property List中配置，一样的 其他的文件可是参考文档：System-Declared Uniform Type Identifiers 可复制的代码&am…...

编程日记 2024/6/28 2:34:40

【编译原理必考大题】 推导构建语法树，写出语法树的短语，简单短语和句柄

写在最前 本文为编译原理重点考察大题之一，理论基础见专栏文章，0基础直接使用也可食用 文章目录 推导构造语法树1.语法树的概念2. 子树，短语，简单短语，句柄2.1 子树2.2 短语2.3 简单短语与句柄2.4 真题实战 推导构造语…...

编程日记 2024/6/28 2:30:35

redis服务介绍

redis 基础概念安装使用基础操作命令数据类型操作命令 管理和维护命令 基础概念 Remote Dictionary Server（Redis）远程字典服务器是完全开源免费的，用C语言编写的，遵守BSD开源协议，是一个高性能的（key/val…...

编程日记 2024/6/28 2:25:30

nodepad 中换行符、tab替换

1 nodepad 主要符号 换行符: \r\n（windows） tab: \t 2 展示符号 3 相互替换 tip:需要点击扩展 参考： https://blog.csdn.net/lijing742180/article/details/85174564...

编程日记 2024/6/28 2:24:29

常见的字符串函数(包含头文件string.h)和字符函数（2）

八. strstr函数 1.strstr的定义 char *strstr( const char *str1, const char *str2 ); ->1. strstr查找子串(str2)在字符串(str2)中第一次出现的位置，记录并返回该位置的指针，如果找不到，则返回NULL ->2. str1：查找字符…...

编程日记 2024/6/28 2:23:27

Python | Leetcode Python题解之第187题重复的DNA序列

题目&#xff1a; 题解&#xff1a; L 10 bin {A: 0, C: 1, G: 2, T: 3}class Solution:def findRepeatedDnaSequences(self, s: str) -> List[str]:n len(s)if n < L:return []ans []x 0for ch in s[:L - 1]:x (x << 2) | bin[ch]cnt defaultdict(int)for…...

编程日记 2024/6/28 2:17:22

SpringCloud分布式微服务链路追踪方案：Skywalking

一、引言 随着微服务架构的广泛应用&#xff0c;系统的复杂性也随之增加。在这种复杂的系统中&#xff0c;应用通常由多个相互独立的服务组成&#xff0c;每个服务可能分布在不同的主机上。微服务架构虽然提高了系统的灵活性和可扩展性&#xff0c;但也带来了新的挑战&#xf…...

编程日记 2024/6/28 2:16:21

首次线下联合亮相！灵途科技携手AEye、ATI亮相2024 EAC 易贸汽车产业大会

6月22日&#xff0c;2024 EAC 易贸汽车产业大会在苏州国际博览中心圆满落幕&#xff0c;泛自动驾驶领域光电感知专家灵途科技携手自适应高性能激光雷达解决方案全球领导者AEye公司&#xff08;NASDAQ:LIDR&#xff09;及光电器件规模化量产巨头Accelight Technologies&#xff…...

编程日记 2024/6/28 2:15:20

一文入门CMake

我们前几篇文章已经入门了gcc和Makefile&#xff0c;现在可以来玩玩CMake了。 CMake和Makefile是差不多的&#xff0c;基本上是可以相互替换使用的。CMAke可以生成Makefile&#xff0c;所以本质上我们还是用的Makefile&#xff0c;只不过用了CMake就不用再写Makefile了&#x…...

编程日记 2024/6/28 2:13:18

【LeetCode面试经典150题】117. 填充每个节点的下一个右侧节点指针 II

一、题目 117. 填充每个节点的下一个右侧节点指针 II - 力扣&#xff08;LeetCode&#xff09; 给定一个二叉树&#xff1a; struct Node {int val;Node *left;Node *right;Node *next; } 填充它的每个 next 指针&#xff0c;让这个指针指向其下一个右侧节点。如果找不到下一个…...

编程日记 2024/6/28 2:12:17

RTDETR更换优化器——Lion

RTDETR更换Lion优化器 论文&#xff1a;https://arxiv.org/abs/2302.06675 代码&#xff1a;https://github.com/google/automl/blob/master/lion/lion_pytorch.py 简介&#xff1a; Lion优化器是一种基于梯度的优化算法&#xff0c;旨在提高梯度下降法在深度学习中的优化效果…...

编程日记 2024/6/28 2:10:14

Spring Boot中最佳实践：数据源配置详解

Spring Boot中最佳实践&#xff1a;数据源配置详解 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天我们将深入探讨在Spring Boot中如何进行最佳实践的数据源…...

编程日记 2024/6/28 2:09:13

第1章 物联网模式简介---独特要求和体系结构原则

物联网用例的独特要求 物联网用例往往在功耗、带宽、分析等方面具有非常独特的要求。此外&#xff0c;物联网实施的固有复杂性&#xff08;一端的现场设备在计算上受到挑战&#xff0c;另一端的云容量几乎无限&#xff09;迫使架构师做出艰难的架构决策和实施选择。可用实现技…...

编程日记 2024/6/28 2:06:10

数据挖掘概览

数据挖掘(Data Mining)就是从大量的,不完全的,有噪声的,模糊的,随机的实际应用数据中,提取隐含在其中的,人们事先不知道的,但又是潜在有用的信息和知识的过程. 预测性数据挖掘 分类 定义&#xff1a;分类就是把一些新的数据项映射到给定类别中的某一个类别 分类流程&#x…...

编程日记 2024/6/28 2:05:09

【学习】软件测试中常见的文档类型及其作用

在软件开发的生命周期中&#xff0c;软件测试是确保产品质量的关键步骤。为了系统地进行测试活动&#xff0c;并保证测试结果的有效性和可追溯性&#xff0c;产生了一系列标准化的测试文档。这些文档不仅为测试人员提供了执行指南&#xff0c;而且为项目管理者和利益相关者提供…...

编程日记 2024/6/28 2:04:08

electron的托盘Tray

1.在主进程文件background.js中引入需要的文件 import { Tray, Menu } from "electron"; const path require("path");2.获取托盘图标 const baseSRC process.cwd(); //这里不能使用__dirname,使用dirname会直接获取dist_electron中的文件&#xff0c;…...

编程日记 2024/6/28 2:02:07

Harmony OS UI框架探索笔记

本文探讨了如何将现有的常用架构理论与Arkts和ArkUI结合起来&#xff0c;使代码更有条理&#xff0c;并利用Previewer快速调整布局&#xff0c;同时在不改变代码的情况下运行显示真实数据。 开发环境 Windows 11DevEco Studio 4.0 ReleaseBuild Version: 4.0.0.600, built on…...

编程日记 2024/6/28 1:59:03

transformers evaluate

☆ Evaluate https://huggingface.co/docs/evaluate/main/en/installation ★ 解决方案 常用代码 # 查看支持的评估函数 evaluate.list_evaluation_modules(include_communityTrue)# 加载评估函数 accuracy evaluate.load("accuracy")# load function descripti…...

编程日记 2024/6/28 1:57:02

【ONLYOFFICE深度探索】：ONLYOFFICE桌面编辑器8.1震撼发布，打造高效办公新境界

文章目录 一、功能完善的PDF编辑器&#xff1a;解锁文档处理新维度二、幻灯片版式设计&#xff1a;释放创意&#xff0c;打造专业演示三、改进从右至左显示&#xff1a;尊重多元文化&#xff0c;优化阅读体验四、新增本地化选项&#xff1a;连接全球用户&#xff0c;跨越语言障…...

编程日记 2024/6/28 1:55:00

C++系统相关操作4 - 获取CPU(指令集)架构类型

1. 关键词2. sysutil.h3. sysutil.cpp4. 测试代码5. 运行结果6. 源码地址 1. 关键词 关键词&#xff1a; C 系统调用 CPU架构 指令集 跨平台 实现原理&#xff1a; Unix-like 系统: 可以通过 uname -m 命令获取 CPU 架构类型。Windows 系统: 可以通过环境变量 PROCESSOR_A…...

编程日记 2024/6/28 1:53:58

whisper 实现语音转文字

准备需要转码的音频 https://support.huaweicloud.com/sdkreference-sis/sis_05_0039.html 编码转吗的代码 import whisperif __name__ "__main__":file_path "16k16bit.wav"model whisper.load_model("small")result model.transcribe(f…...

编程日记 2024/6/28 1:49:55

使用VLLM部署llama3量化版

1.首先去魔塔社区下载量化后的llama3模型 git clone https://www.modelscope.cn/huangjintao/Meta-Llama-3-8B-Instruct-AWQ.git 2.跑起来模型 1&#xff09;python -m vllm.entrypoints.openai.api_server --model /home/cxh/Meta-Llama-3-8B-Instruct-AWQ --dtype auto --…...

编程日记 2024/6/28 1:48:54

计算机缺失OpenCL.dll怎么办，OpenCL.dll丢失的多种解决方法

在使用电脑的过程中&#xff0c;我们经常会遇到一些开机弹窗问题。其中&#xff0c;开机弹窗找不到OpenCL.dll是一种常见的情况。本文将详细介绍开机弹窗找不到OpenCL.dll的原因分析、解决方法以及预防措辞&#xff0c;帮助大家更好地解决这一问题。 一&#xff0c;了解OpenCL.…...

编程日记 2024/6/28 1:47:53

git 本地代码管理

简介 git 能实现本地代码多个更改版本的管理和导出。 首先复制好项目&#xff08;参考 git clone 别人项目后正确的修改和同步操作 中的前三步&#xff09; 实操 克隆原始项目 首先&#xff0c;从远程仓库克隆项目到本地&#xff1a; git clone https://github.com/libo-huan…...

编程日记 2024/6/28 1:46:51

Docker(九)-Docker运行redis6.0.8容器实例

1.宿主机新建目录存放redis.conf文件 目的&#xff1a;运行redis容器实例时使用自己的配置文件2.运行redis容器实例 docker run -d -p 6379:6379 --privilegedtrue -v 【宿主机配置文件目录】:/etc/redis/redis.conf -v 【宿主机数据目录】:/data --nameredis6.0.8 redis:6.0…...

编程日记 2024/6/28 1:44:48

似然 与 概率

概率似然概率函数与似然函数的关系似然与机器学习的关系最大似然估计 似然与概率分别是针对不同内容的估计和近似 概率 概率&#xff1a;概率表达给定参数 θ \theta θ下样本随机向量 X x \textbf{X} {x} Xx的可能性。 概率密度函数的定义形式是 f ( x ∣ θ ) f(x|\t…...

编程日记 2024/6/28 1:39:43

Tableau数据可视化与仪表盘搭建

Tableau的主要目的 数据赋能和数据探索。 数据赋能&#xff1a; 1.分析师可以将数据看板发布到线上给其他部门使用 2.自动更新看板 3.自由下载数据 4.线上修改图表 5.邮件发送数据 6.设置数据预警 数据探索&#xff1a; 1.支持亿级数据的连接和处理 2.自由地对字段进行各种…...

编程日记 2024/6/28 1:38:41

客户拒绝做网站的理由/手机如何做网站

文章目录安装mysql服务yum 安装二进制安装mysql编译安装&#xff08;源码安装&#xff09;下载cmake编译工具解压编译安装cmake编译安装mysql5.7.26创建mysql用户和组初始化数据库修改配置文件设置服务启动脚本启动服务安装mysql服务 mysql安装方式有三种&#xff1a; 源代码&a…...

编程日记 2025/1/17 16:06:26

扫wordpress后台/怎样申请网站

使用SpringJPA,今天在进行一个业务处理的时候发现一个方法已经设置事物超时时间为3秒,但是到达3秒的时候程序一直不返回,处于hold状态.使用org.springframework.orm.jpa.JpaTransactionManager事务管理器:下面方法的执行时间一定是超多事务设置的3秒的,但是并没有触发事务的超时…...

编程日记 2025/1/17 16:01:21

和恶魔做交易的网站/发布任务注册app推广的平台

基于 Promise 的动画库 所谓的动画序列&#xff0c;也就是说可以在上一段动画播放结束之后进行下一段动画的播放&#xff0c;这样可以方便用多段动画实现各种不同的复杂效果。而我们不难想到&#xff0c;要实现这个目的&#xff0c;将动画接口实现成 Promise 是一个非常好的方案…...

编程日记 2025/1/17 15:54:06

主流的网站开发语言/seo网站优化论文

隐藏页面顶部的应用名称&#xff0c;在config.json - module 中加入下列配置 "metaData": {"customizeData": [{"name": "hwc-theme","value": "androidhwext:style/Theme.Emui.Light.NoTitleBar"}]},...

编程日记 2025/1/17 15:41:46

有没有做任务赚钱的网站/最新新闻热点素材

...

编程日记 2025/1/17 14:54:37

做特卖网站/优化一个网站需要多少钱

PHP&#xff0c;一个嵌套的缩写名称&#xff0c;是英文超级文本预处理语言(PHP:Hypertext?Preprocessor)的缩写。PHP?是一种?HTML?内嵌式的语言&#xff0c;是一种在服务器端执行的嵌入HTML文档的脚本语言&#xff0c;语言的风格有类似于c语言&#xff0c;现在被很多的网站…...

编程日记 2025/1/17 14:47:27