大模型部署,运维,测试所需掌握的知识点
python环境部署:
python3 -m site --user-base 返回用户级别的Python安装基础目录
sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1 将python3的默认路径/usr/bin/python3替换为/usr/bin/python3.8
sudo update-alternatives --config python 列出当前所有可用的Python版本
python3 --version 查看python版本
python3 -m ensurepip 安装pip3
python3 -m pip install --upgrade pip
sudo python3 -m pip install --upgrade pip -i https://artnj.zte.com.cn/artifactory/api/pypi/public-pypi-virtual/simple 管理员权限中兴镜像下载安装pip3 // python安装库时使用的镜像源
python3 -m site --user-base 查找pip3的安装位置
export PATH="$PATH:/home/yourusername/.local/bin" 将pip3添加到PATH:
pip3 --version 验证pip3是否可用:
python -m venv venv 创建一个venv的虚拟环境:
venv\Scripts\activate windows激活虚拟环境(venv):
source venv/bin/activate linux激活虚拟环境(venv):
deactivate 退出虚拟环境:
git常用命令:
git stash
git pull origin dev --rebase
git stash apply
git add .
git commit -m "[keyword](A): 优化:模型市场-导入模型商品(本地导入),大模型仓库-大模型仓库sftp导入模型"
git push origin HEAD:refs/for/dev
cd .git
git reset --soft HEAD^ 用于撤销最后一次提交,但保留该提交所做的更改在暂存区(staging area)中
git checkout xxx 切换分支
git config --list 查看git的配置列表
git branch -d xxx 删除分支
git checkout dev 切换至dev分支
git pull origin dev --rebase 更新dev分支
git checkout -b xxx 创建自己的分支
git stash apply stash@{1} 应用指定分支
git stash apply 应用最新分支
k8s及容器常用命令:
node>deploy>pod
/home/pict/nodecheck 查询节点占用情况 要su RCms@Zte3
kubectl get pv 获取pv信息
kubectl get pvc 获取pvc信息
kubectl get cm 获取configMap信息
kubectl get rs 获取ReplicaSet控制器信息
kubectl get sts 获取statefulSet控制器信息
kubectl get sa 获取serviceaccount信息
kubectl get svc 获取默认命名空间的service
kubectl get svc -n ingress-nginx 获取指定命名空间为ingress-nginx的service
kubectl get secrets 获取secrets信息
kubectl get sts 获取statefulSet控制器信息
kubectl get node -o wide 查询node详细信息
kubectl get pods -n litmus 查询litmus(zchaos集群)下的pod
kubectl get deploy -n litmus 查询litmus下的deploy(控制器)
kubectl edit rs myapp 修改ReplicaSet控制器的yaml清单内容
kubectl exec -it myapp-lmj45 -- /bin/sh 进入pod内的容器
kubectl exec -it myapp-lmj45 -c myapp-container sh 进入pod内指定容器
kubectl logs myapp-lmj45 --tail 300 -f 查看pod内的容器日志
kubectl explain pod 显示各种资源清单的字段解释
kubectl rollout 滚动更新
kubectl cluster-info 查看集群信息
kubectl uncordon node2 标记节点为可调度节点
kubectl api-resources 查看k8s支持的资源类型
kubectl api-resources --api-group=storage.k8s.io 查看指定群组支持的资源类型
kubectl rollout pause deployment myapp-deploy 更新一个pod后暂停更新
kubectl describe pod podname | grep Node 可查看pod运行在哪个节点上
kubectl rollout resume deployment myapp-deploy 解除暂停状态,继续更新
kubectl rollout status deployment myapp-deploy 监控deployment更新状态
kubectl scale sts myapp --replicas=2 Kubernetes 将会确保 myapp StatefulSet 有 2 个 Pod 副本处于运行状态
kubectl set image deployment myapp-deploy myapp=ikubernetes/myapp:v3 修改deployment的镜像版本
kubectl cordon node2 标记节点为不可调度节点
kubectl delete deploy xxx -n aistudio 删除deploy
kubectl delete pod xxx -n aistudio 删除pod
kubectl describe pod dep2411051954400192fc2d4f86-7f44f44958-7pkfj -n aistudio 查看推理pod详情
kubectl describe deploy dep241107162656019305bbd54c -n aistudio 查询推理deploy详情
kubectl label pods pod-demo release=canary 给一个pod打一个没有存在的标签key=value
kubectl label pods pod-demo release=stable --overwrite 给一个pod已经存在的标签重新赋值
kubectl label nodes node1 disktype- 通过key删除标签
kubectl delete svc redis 删除service
kubectl get pods -A 获取所有namespace的Pod信息
kubectl get pods --show-labels 获取Pod的labels
kubectl get pods -L apps,run 查看所有pod对于指定标签的key是否有value,有则显示,没有则空白
kubectl get pods -l apps --show-labels 获取含有指定标签key的pod
kubectl get namespaces kube-system -o json 获取指定namespace名为kube-system的json格式信息
kubectl get pg -A 查看环境上所有组织下申请GPU资源的任务情况
docker常用命令:
docker ps 列出容器
docker run 创建并启动容器
docker create 创建容器(不启动)
docker start 启动容器
docker stop 停止容器
docker restart 重启容器
docker rm 删除容器
docker inspect 查看容器详情
linux常用命令总结(要保持英文状态下输入命令):
scp -r /path/to/local/directory username@remotehost:/path/to/remote/directory 复制将本地目录及其内容复制到远程主机上(-r递归)
rcp root@218.6.132.5:./testfile testfile 复制远程文件到本地
curl -k -X GET -H "OPENSTACK_REQUEST:internal" http://127.0.0.1:19393/v1/external_ftp_server 查询FTP的地址
cd .. 返回上级目录
pwd 查看当前文件路径
cat filename | tail -n 10 显示文件 filename 的最后 10 行
cat -n filename 显示文件 filename 的内容,并在每行的前面加上行号
chown root /var/run/httpd.pid 把 /var/run/httpd.pid 的所有者设置 root
diff log2014.log log2013.log 比较log2014.log ,log2013.log两个文件
find . -name file.txt 查找当前目录下名为 file.txt 的文件
find /var/log -mtime +7 查找 /var/log 目录下在 7 天前修改过的文件
find /home -size +1M 查找 /home 目录下大于 1MB 的文件
find /path/to/search -atime -7 查找过去 7 天内被访问的文件
sudo systemctl restart containerd 重启容器服务
nvidia-smi 查看GPU信息
brsmi 查看GPU信息
du -sh 显示指定目录或当前目录的总磁盘使用量
df -h 查看磁盘使用量
top 显示容器内部的实时 CPU 和内存使用情况。
find /var -type f -name "log.txt" 查找 /var 目录下所有名为 log.txt 的文件
locate log.txt 数据库来快速查找文件
grep -R "error" /home/*.log 搜索文本内容
which ls 查找可执行文件的位置
ls *.log 列出当前目录下所有以 .log 结尾的文件
find /var/log -type f -exec grep "error" {} \ 查找 /var/log 目录下所有包含 "error" 文本的文件
tail -f tcf_deploy_ccm_tcf_8d1bb00a-f6ee-4c23-a940-a1e0ba81935d.log 用于实时查看并跟踪日志文件的最新内容
touch file 创建一个名为“file”的新的空白文件
mv aaa bbb 将文件 aaa 改名为 bbb
which bash "which"查看指令"bash"的绝对路径
cp –r test/ newtest 将当前目录 test/ 下的所有文件复制到新目录 newtest 下
cp –r test newtest 将test文件复制到新目录 newtest 下
mv /usr/runoob/* . 将 /usr/runoob 下的所有文件和目录移到当前目录下
rm -rf test.txt 删除文件名 test.txt
ln -s log2013.log link2013 给文件创建软链接,为log2013.log文件创建软链接link2013,如果log2013.log丢失,link2013将失效
nc -nvv 192.168.0.1 80 扫描 80端口
kill -15 优雅停机
kill -9 -PID 杀死进程组
kill -l 列出所有可用信号
kill -s SIGSTOP 1234 向 PID 为 1234 的进程发送 SIGSTOP
ps -ef | grep pidname 查询指定pid进程名
shutdown -h 10 指定 10 分钟后关机
shutdown -r now 重新启动计算机
free 显示内存使用信息
free -s 10 每10s 显示内存使用信息
clear 清屏
fdisk -l 显示当前分区情况
vi + filename 打开文件,并将光标置于最后一行首
Ctrl+f 向文件尾翻一屏
i 在光标前插入(文本模式)
dd 删除当前行
yy 复制当前行
Esc 退出插入模式,返回到命令模式
:w 保存文件
:q 不保存文件并退出vi
:wq 或 :x 保存文件并退出vi。
ZZ 修改文件后退出。
Ctrl+z回车 退出
tar -czvf 文件名.tar.gz 目录/ 或 tar -czvf 文件名.tgz 目录/ 创建 .tar.gz 或 .tgz 压缩文件
zip -r 文件名.zip 目录/ 创建 .zip 压缩文件
tar -xzvf 文件名.tar.gz 或 tar -xzvf 文件名.tgz 解压缩 .tar.gz 或 .tgz 文件
unzip 文件名.zip 解压缩 .zip 文件
yum check-update 列出所有可更新的软件清单
yum update 更新所有软件命令
yum list 列出所有可安裝的软件清单
yum remove <package_name> 删除软件包
yum search <keyword> 查找软件包
yum clean packages 清除缓存目录下的软件包
yum clean headers 清除缓存目录下的 headers
sudo apt update 列出所有可更新的软件清单
sudo apt upgrade 升级软件包
apt list --upgradable 列出可更新的软件包及版本信息
apt list --installed 列出所有已安装的包
sudo apt autoremove 清理不再使用的依赖和库文件
sudo apt remove <package_name> 删除软件包命令
re正则表达式命令:
[ABC] 匹配 [...] 中的所有字符,例如 [aeiou] 匹配字符串 "google runoob taobao" 中所有的 aeiou字母
[^ABC] 匹配除了 [...] 中字符的所有字符,例如 [^aeiou] 匹配字符串 "google runoob taobao" 中除了 aeiou 字母的所有字符
[A-Z] [A-Z] 表示一个区间,匹配所有大写字母,[a-z] 表示所有小写字母
. 匹配除换行符(\n、\r)之外的任何单个字符,相等于 [^\n\r]
[\s\S] 匹配所有。\s 是匹配所有空白符,包括换行,\S 非空白符,不包括换行
\w 匹配字母、数字、下划线。等价于 [A-Za-z0-9_]
\d 匹配任意一个阿拉伯数字(0 到 9)。等价于 [0-9]
\cx 匹配由x指明的控制字符。例如, \cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则,将 c 视为一个原义的 'c' 字符
\f 匹配一个换页符。等价于 \x0c 和 \cL
\n 匹配一个换行符。等价于 \x0a 和 \cJ
\r 匹配一个回车符
\s 匹配任何空白字符,包括空格、制表符、换页符等等
\S 匹配任何非空白字符。等价于 [^ \f\n\r\t\v]
\t 匹配一个制表符。等价于 \x09 和 \cI
\v 匹配一个垂直制表符。等价于 \x0b 和 \cK
$ 匹配输入字符串的结尾位置
* 匹配前面的子表达式零次或多次。要匹配 * 字符,请使用 \*
+ 匹配前面的子表达式一次或多次。要匹配 + 字符,请使用 \+。
^ 匹配输入字符串的开始位置,除非在方括号表达式中使用,当该符号在方括号表达式中使用时,表示不接受该方括号表达式中的字符集合
^(0|[1-9][0-9]*)$ 匹配零和非零开头的数字,匹配输入字符串的结束位置
相关文章:
大模型部署,运维,测试所需掌握的知识点
python环境部署: python3 -m site --user-base 返回用户级别的Python安装基础目录 sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.8 1 将python3的默认路径/usr/bin/python3替…...
ECharts柱状图-带圆角的堆积柱状图,附视频讲解与代码下载
引言: 在数据可视化的世界里,ECharts凭借其丰富的图表类型和强大的配置能力,成为了众多开发者的首选。今天,我将带大家一起实现一个柱状图图表,通过该图表我们可以直观地展示和分析数据。此外,我还将提供…...
java 并发编程 (2)Thread 类和 Runnable 接口详解
目录 1. Thread 类和 Runnable 接口的设计目的 1.1 为什么有 Thread 类和 Runnable 接口? 2. Thread 类实现的详细分析 2.1 Thread 类的构造方法 2.2 start() 方法的工作原理 2.3 run() 方法 2.4 join() 方法 3. Runnable 接口的实现和作用 3.1 Runnable 接…...
人工智能之数学基础:线性代数在人工智能中的地位
本文重点 从本文开始,我们将开启线性代数的学习,在线性代数中有向量、矩阵,以及各种性质,那么这些数学知识究竟和人工智能有什么关系呢? 重要性 机器学习和深度学习的本质就是训练模型,要想训练模型需要使…...
PostgreSQL WITH 子句:提高查询效率和可读性
PostgreSQL WITH 子句:提高查询效率和可读性 PostgreSQL 是一种功能强大的开源关系数据库管理系统,它以其稳定性、可靠性和高级功能而闻名。在 PostgreSQL 中,WITH 子句(也称为公用表表达式,CTE)是一种非常有用的特性,它允许用户在一个大的查询中创建一个临时的结果集,…...
TransFormer--解码器:前馈网络层、叠加和归一组件
TransFormer--解码器:前馈网络层、叠加和归一组件 解码器的下一个子层是前馈网络层,如下图所示。 解码器的前馈网络层的工作原理与我们在编码器中学到的完全相同 叠加和归一组件 和在编码器部分学到的一样,叠加和归一组件连接子层的输入和输…...
2024亚太杯国际赛C题参考文章50页+完整解题思路+数据处理+最终结果
中国宠物食品行业的发展趋势与汇率情景分析:基于多模型的量化预测与决策分析 一 、 摘要 本文针对宠物产业及相关产业的发展分析问题,采用多种数学建模方法和数据 分析技术,构建了一系列预测和评估模型。从宠物数量预测、全球市场分析、产业 …...
Kafka 分区分配及再平衡策略深度解析与消费者事务和数据积压的简单介绍
Kafka:分布式消息系统的核心原理与安装部署-CSDN博客 自定义 Kafka 脚本 kf-use.sh 的解析与功能与应用示例-CSDN博客 Kafka 生产者全面解析:从基础原理到高级实践-CSDN博客 Kafka 生产者优化与数据处理经验-CSDN博客 Kafka 工作流程解析:…...
useEffect、useCallback、useMemo和memo的区别
前言 在构建现代 React 应用时,性能优化是一个关键考虑因素。随着组件的复杂性增加,合理管理状态和副作用变得尤为重要。React 提供了多个工具来帮助开发者优化组件性能,其中最常用的包括 useEffect、useCallback、useMemo 和 React.memo。这…...
layui树形组件点击树节点后高亮的解决方案
效果显示: 代码 //节点高亮var nodes document.getElementsByClassName("layui-tree-txt");for (var i 0; i < nodes.length; i) {if (nodes[i].innerHTML obj.data.title){nodes[i].style.color "#006BF9";nodes[i].style.fontWeight …...
大语言模型(LLM)安全:十大风险、影响和防御措施
一、什么是大语言模型(LLM)安全? 大语言模型(LLM)安全侧重于保护大型语言模型免受各种威胁,这些威胁可能会损害其功能、完整性和所处理的数据。这涉及实施措施来保护模型本身、它使用的数据以及支持它的基…...
02 —— Webpack 修改入口和出口
概念 | webpack 中文文档 | webpack中文文档 | webpack中文网 修改入口 webpack.config.js (放在项目根目录下) module.exports {//entry设置入口起点的文件路径entry: ./path/to/my/entry/file.js, }; 修改出口 webpack.config.js const path r…...
Go语言进阶依赖管理
1. Go语言进阶 1.1 Goroutine package mainimport ("fmt""time" )func hello(i int) {println("hello goroutine : " fmt.Sprint(i)) }func main() {for i : 0; i < 5; i {go func(j int) { hello(j) }(i) // 启动一个新的 goroutine&…...
集成了高性能ARM Cortex-M0+处理器的一款SimpleLink 2.4 GHz无线模块-RF-BM-2340B1
蓝牙模组 - RF-BM-2340B1是基于美国TI的CC2340R5为核心设计的一款SimpleLink 2.4 GHz 无线模块。支持Bluetooth 5.3 Low Energy、Zigbee 、IEEE 802.15.4g、TI 15.4-Stack (2.4 GHz)及私有协议。集成了高性能ARM Cortex-M0处理器,具有512 KB Flash、32 KB超低泄漏SR…...
ffmpeg本地编译不容易发现的问题 — Error:xxxxx not found!
这里区分电脑CPU架构 本次编译是在Mac笔记本,M1芯片上进行! 前面大致流程:分为两种(1.仅适用,直接下载编译好的本地安装即可;2.使用并查看源码,自己修改编译运行)。这里介绍的是第…...
mybatis——Mapper代理方式
一、原始DAO开发问题 Dao接口实现类方法中存在大量模板方法,设想能否将这些代码提取出来,大大减轻程序员的工作 量。 调用sqlSession的数据库操作方法需要指定statement的id,这里存在硬编码,不利于开发维护。 调用SqlSession方…...
FreeRTOS——消息队列
目录 一、概念及其作用 1.1概念 1.2特点 1.3工作原理 二、相关API 2.1创建队列 2.2任务中写队列 2.3任务中读队列 2.4中断中写队列 2.5中断中读队列 三、实现原理 3.1消息队列控制块 3.2消息队列的创建 3.3消息的发送 3.3.1任务中发送 3.3.2中断中发送 3.4消息的…...
【题解】—— LeetCode一周小结46
🌟欢迎来到 我的博客 —— 探索技术的无限可能! 🌟博客的简介(文章目录) 【题解】—— 每日一道题目栏 上接:【题解】—— LeetCode一周小结45 11.切棍子的最小成本 题目链接:1547. 切棍子的最…...
Java项目实战II基于微信小程序的校运会管理系统(开发文档+数据库+源码)
目录 一、前言 二、技术介绍 三、系统实现 四、核心代码 五、源码获取 全栈码农以及毕业设计实战开发,CSDN平台Java领域新星创作者,专注于大学生项目实战开发、讲解和毕业答疑辅导 一、前言 在充满活力与激情的校园生活中,校运会不仅是…...
python里的数据结构
列表(List) 定义和特点: 列表是一种有序的可变序列,可包含不同类型的元素,如整数、字符串、列表等。可以通过索引访问和修改元素,索引从 0 开始。代码示例: my_list [1, 2, apple, [4, 5]] pr…...
HTML 列表、表格、表单
1 列表标签 作用:布局内容排列整齐的区域 列表分类:无序列表、有序列表、定义列表。 例如: 1.1 无序列表 标签:ul 嵌套 li,ul是无序列表,li是列表条目。 注意事项: ul 标签里面只能包裹 li…...
测试markdown--肇兴
day1: 1、去程:7:04 --11:32高铁 高铁右转上售票大厅2楼,穿过候车厅下一楼,上大巴车 ¥10/人 **2、到达:**12点多到达寨子,买门票,美团/抖音:¥78人 3、中饭&a…...
工程地质软件市场:发展现状、趋势与策略建议
一、引言 在工程建设领域,准确把握地质条件是确保项目顺利推进和安全运营的关键。工程地质软件作为处理、分析、模拟和展示工程地质数据的重要工具,正发挥着日益重要的作用。它凭借强大的数据处理能力、三维建模功能、空间分析工具和可视化展示手段&…...
Rust 异步编程
Rust 异步编程 引言 Rust 是一种系统编程语言,以其高性能、安全性以及零成本抽象而著称。在多核处理器成为主流的今天,异步编程成为了一种提高应用性能、优化资源利用的有效手段。本文将深入探讨 Rust 异步编程的核心概念、常用库以及最佳实践。 异步编程基础 什么是异步…...
工业自动化时代的精准装配革新:迁移科技3D视觉系统如何重塑机器人定位装配
AI3D视觉的工业赋能者 迁移科技成立于2017年,作为行业领先的3D工业相机及视觉系统供应商,累计完成数亿元融资。其核心技术覆盖硬件设计、算法优化及软件集成,通过稳定、易用、高回报的AI3D视觉系统,为汽车、新能源、金属制造等行…...
k8s业务程序联调工具-KtConnect
概述 原理 工具作用是建立了一个从本地到集群的单向VPN,根据VPN原理,打通两个内网必然需要借助一个公共中继节点,ktconnect工具巧妙的利用k8s原生的portforward能力,简化了建立连接的过程,apiserver间接起到了中继节…...
Map相关知识
数据结构 二叉树 二叉树,顾名思义,每个节点最多有两个“叉”,也就是两个子节点,分别是左子 节点和右子节点。不过,二叉树并不要求每个节点都有两个子节点,有的节点只 有左子节点,有的节点只有…...
鸿蒙DevEco Studio HarmonyOS 5跑酷小游戏实现指南
1. 项目概述 本跑酷小游戏基于鸿蒙HarmonyOS 5开发,使用DevEco Studio作为开发工具,采用Java语言实现,包含角色控制、障碍物生成和分数计算系统。 2. 项目结构 /src/main/java/com/example/runner/├── MainAbilitySlice.java // 主界…...
ABAP设计模式之---“简单设计原则(Simple Design)”
“Simple Design”(简单设计)是软件开发中的一个重要理念,倡导以最简单的方式实现软件功能,以确保代码清晰易懂、易维护,并在项目需求变化时能够快速适应。 其核心目标是避免复杂和过度设计,遵循“让事情保…...
微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据
微软PowerBI考试 PL300-在 Power BI 中清理、转换和加载数据 Power Query 具有大量专门帮助您清理和准备数据以供分析的功能。 您将了解如何简化复杂模型、更改数据类型、重命名对象和透视数据。 您还将了解如何分析列,以便知晓哪些列包含有价值的数据,…...
