当前位置： 首页 > news >正文

最新最全的~教你如何搭建高可用Lustre双机集群

news 文章来源：https://blog.csdn.net/qq_56776641/article/details/132460107 2024/11/17 4:25:45

1.搭建双机lustre高可用集群：

1.环境说明：

主机名系统挂载情况IP地址Lustre集群名内存
mds001Centos7.9（共享磁盘）1个mgs，1个MDT，2个OST192.168.10.21/209.21global1G
mds002Centos7.9（共享磁盘）1个mgs，1个MDT，2个OST192.168.10.22/209.22global1G
clientCentos7.9无192.168.10.41无1G

mds01，mds02作为mds的同时 也做oss，做5个共享盘：1个mgs，2个mdt，2个ost，搭建一套高可用的lustre服务集群

2.两个虚拟机使用共享磁盘：

  • 前提：两台虚拟机没有拍摄快照

  • 在mds001主机中：

    • 添加五块5G的硬盘

      SCSI > 创建新虚拟磁盘 > 指定磁盘容量 ，立即分配所有磁盘空间，将虚拟磁盘存储为单个文件 

  • 在mds001和mds002的虚拟机目录下，找个后缀名为vmx的文件，在文件末尾添加一下内容：

    scsi1.sharedBus = "virtual"
disk.locking = "false"
diskLib.dataCacheMaxSize = "0"
diskLib.dataCacheMaxReadAheadSize = "0"
diskLib.dataCacheMinReadAheadSize = "0"
diskLib.dataCachePageSize = "4096"
diskLib.maxUnsyncedWrites = "0"
disk.EnableUUID = "TRUE"

  • 重启两台虚拟机发现，添加成功

    [root@mds001 ~]# lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk 
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part ├─centos-root 253:0    0   17G  0 lvm  /└─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0    5G  0 disk 
sdc               8:32   0    5G  0 disk 
sdd               8:48   0    5G  0 disk 
sde               8:64   0    5G  0 disk 
sdf               8:80   0    5G  0 disk 
sr0              11:0    1  9.5G  0 rom  /mnt/cdrom

3.安装和配置Lustre：

  • 两台主机都需要下载OSS服务器所需要的包：E2fsprogs包只是在Ext4的原版RPM包基础上增加了对Lustre⽀持

    mkdir ~/e2fsprogs && cd ~/e2fsprogs
wget -c -r -nd https://downloads.whamcloud.com/public/e2fsprogs/1.44.5.wc1/el7/RPMS/x86_64/
rm -rf index.html* unknown.gif *.gif sha256sum

  • 全部rpm安装：

    [root@mds001 e2fsprogs]# cd ~/e2fsprogs && rpm -Uvh *
准备中...                          ################################# [100%]
正在升级/安装...  1:libcom_err-1.42.12.wc1-4.el7.cent################################# [  8%]  2:e2fsprogs-libs-1.42.12.wc1-4.el7.################################# [ 15%]  3:libcom_err-devel-1.42.12.wc1-4.el################################# [ 23%]  4:libss-1.42.12.wc1-4.el7.centos   ################################# [ 31%]  5:e2fsprogs-1.42.12.wc1-4.el7.cento################################# [ 38%]  6:libss-devel-1.42.12.wc1-4.el7.cen################################# [ 46%]  7:e2fsprogs-devel-1.42.12.wc1-4.el7################################# [ 54%]  8:e2fsprogs-static-1.42.12.wc1-4.el################################# [ 62%]  9:e2fsprogs-debuginfo-1.42.12.wc1-4################################# [ 69%]
正在清理/删除... 10:e2fsprogs-1.42.9-19.el7          ################################# [ 77%] 11:e2fsprogs-libs-1.42.9-19.el7     ################################# [ 85%] 12:libss-1.42.9-19.el7              ################################# [ 92%] 13:libcom_err-1.42.9-19.el7         ################################# [100%]

  • 两台主机都需要下载MDS服务器所需要的包：

    wget命令参数说明
    -c断点续传
    -r递归下载
    -nd不分层，所有文件下载到当前目录下
    rpm包说明
    kernel-*.el7_lustre.x86_64.rpm带 Lustre 补丁的 Linux 内核
    kmod-lustre-*.el7.x86_64.rpmLustre 补丁内核模块
    kmod-lustre-osd-ldiskfs-*.el7.x86_64.rpm基于 ldiskfs 的 Lustre 后端文件系统工具
    lustre-*.el7.x86_64.rpmLustre 软件命令行工具
    lustre-osd-ldiskfs-mount-*.el7.x86_64.rpm基于ldiskfs 的 mount.lustre和mkfs。lustre相关帮助文档
    mkdir ~/lustre2.12.1 && cd ~/lustre2.12.1
yum install -y wget
wget \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kernel-3.10.0-957.10.1.el7_lustre.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kmod-lustre-2.12.1-1.el7.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/kmod-lustre-osd-ldiskfs-2.12.1-1.el7.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/lustre-2.12.1-1.el7.x86_64.rpm \
https://downloads.whamcloud.com/public/lustre/lustre-2.12.1/el7/server/RPMS/x86_64/lustre-osd-ldiskfs-mount-2.12.1-1.el7.x86_64.rpm

  • 安装依赖（否则报错error: Failed dependencies:）：

    yum clean all && yum repolist
yum install -y linux-firmware dracut selinux-policy-targeted kexec-tools libyaml perl

  • 全部rpm安装：(如果无法安装就强行安装)

    cd ~/lustre2.12.1 && rpm -ivh *.rpm --force

  • 重启服务器：

    init 6

  • 检查内核：

    [root@master ~]# uname -r
3.10.0-957.el7_lustre.x86_64

  • 加载Lustre模块（此为临时加载，重启失效）：

    [root@master ~]# modprobe lustre && lsmod | grep lustre
lustre                758679  0 
lmv                   177987  1 lustre
mdc                   232938  1 lustre
lov                   314581  1 lustre
ptlrpc               2264705  7 fid,fld,lmv,mdc,lov,osc,lustre
obdclass             1962422  8 fid,fld,lmv,mdc,lov,osc,lustre,ptlrpc
lnet                  595941  6 lmv,osc,lustre,obdclass,ptlrpc,ksocklnd
libcfs                421295  11 fid,fld,lmv,mdc,lov,osc,lnet,lustre,obdclass,ptlrpc,ksocklnd

  • 查看lustre版本：

    [root@mds001 ~]# modinfo lustre
filename:       /lib/modules/3.10.0-957.10.1.el7_lustre.x86_64/extra/lustre/fs/lustre.ko
license:        GPL
version:        2.12.1
description:    Lustre Client File System
author:         OpenSFS, Inc. <http://www.lustre.org/>
retpoline:      Y
rhelversion:    7.6
srcversion:     E50D950B04B4044ABCBCFA3
depends:        obdclass,ptlrpc,libcfs,lnet,lmv,mdc,lov
vermagic:       3.10.0-957.10.1.el7_lustre.x86_64 SMP mod_unload modversions

  • 只有在某个节点挂载上了，才表明MGS，MDT或者是OST被创建了

  • 五个硬盘都在mds001服务器上格式化，因为是共享硬盘，所以在mds002服务器上可以查看到格式化类型：

    格式化参数说明
    --fsname设置Lustre集群的名称，Lustre文件系统的标识，必须唯一
    --servicenodemgs节点的IP地址，Lnet网络
    --mgsnodemgs节点的IP地址，Lnet网络
    --mgs将分区格式化为MGS，MGS（ManaGe Server）是⽤来记录整个Lustre状态的服务
    --mdt将分区格式化为MDT，MDT（MetaData Target）是存放Lustre元数据服务的设备
    --ost将分区格式化为OST，OST（Object Storage Target）则是存储Lustre数据的设备
    --index设置设备的在lustre集群中的标签值，如：--mdt --index=1，LABEL="global-MDT0001"，在同集群具有唯一性
    --reformat跳过检查，防止格式化操作清除已有的数据
    --replace替换
    # 关于MDT和OST，--index的值要从0开始ÿ

相关文章：

最新最全的~教你如何搭建高可用Lustre双机集群

1.搭建双机lustre高可用集群： 1.环境说明： 主机名系统挂载情况IP地址Lustre集群名内存mds001Centos7.9（共享磁盘）1个mgs，1个MDT，2个OST192.168.10.21/209.21global1Gmds002Centos7.9（共享磁盘）1个mgs，1个MDT，2个OST192.168.10.22/209.22global1GclientCentos7.9无19…...

编程日记 2023/8/24 0:57:10

深入浅出Pytorch函数——torch.nn.init.uniform_

分类目录&#xff1a;《深入浅出Pytorch函数》总目录 相关文章&#xff1a; 深入浅出Pytorch函数——torch.nn.init.calculate_gain 深入浅出Pytorch函数——torch.nn.init.uniform_ 深入浅出Pytorch函数——torch.nn.init.normal_ 深入浅出Pytorch函数——torch.nn.init.c…...

编程日记 2023/8/24 0:56:08

会员管理系统实战开发教程02-H5应用创建

低代码平台作为一个应用的快速生成工具&#xff0c;可以方便的进行一页多端的开发&#xff0c;可以在一个应用里生成三端的应用&#xff0c;也可以拆分成三个应用来制作。三端包括H5、小程序和PC管理后台。 上一篇我们介绍了PC管理后台的创建方法&#xff0c;本篇我们介绍一下…...

编程日记 2023/8/24 0:55:06

记一次由于整型参数错误导致的任意文件上传

当时误打误撞发现的&#xff0c;觉得挺奇葩的&#xff0c;记录下 一个正常的图片上传的点&#xff0c;文件类型白名单 但是比较巧的是当时刚对上面的id进行过注入测试&#xff0c;有一些遗留的测试 payload 没删&#xff0c;然后在测试上传的时候就发现.php的后缀可以上传了&a…...

编程日记 2023/8/24 0:54:05

spring之Spring Security - 实现身份验证与授权

Spring Security - 实现身份验证与授权 标题: Spring Security - 实现身份验证与授权摘要:引言:词汇解释:详细介绍:实现基本的身份验证与授权解释概念:代码示例:注意事项: 定制化认证与授权流程解释概念:代码示例:注意事项: 集成OAuth2认证解释概念:代码示例:注意事项: 总结:参…...

编程日记 2023/8/24 0:52:59

【Unity3D赛车游戏】【二】如何制作一个真实模拟的汽车

&#x1f468;‍&#x1f4bb;个人主页&#xff1a;元宇宙-秩沅 &#x1f468;‍&#x1f4bb; hallo 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! &#x1f468;‍&#x1f4bb; 本文由 秩沅 原创 &#x1f468;‍&#x1f4bb; 收录于专栏&#xff1a;Uni…...

编程日记 2023/8/24 0:51:58

【Linux】线程篇Ⅱ：

线程Ⅱ &#x1f517;接上篇【线程篇Ⅰ】五、线程库 和 线程 id六、同步与互斥 &#x1f517;接上篇【线程篇Ⅰ】 &#x1f449;【Linux】线程篇Ⅰ&#xff1a;线程和task_struct 执行流的理解、相关接口命令、线程异常、线程的私有和共享 五、线程库 和 线程 id 对于 Linux …...

编程日记 2023/8/24 0:50:58

浅尝OpenResty

文章目录 1. 写在前面2. 下载安装openresty2.1 下载Openresty2.2 设置nginx启动 3. 嵌入lua脚本4. 实践5. 小结 1. 写在前面 当一个域名中衍生出多个服务的时候&#xff0c;如果想要保持对外服务始终是一个域名&#xff0c;则需要通过nginx反向代理来实现。如果在转发的时候需…...

编程日记 2023/8/24 0:49:57

MySQL分页查询慢怎么办

今天看到一个问题。 MySQL分页查询慢怎么办&#xff1f; 第一反应是用limit限制返回的条数。 比如 select * from table order by idlimit 10, 100;实际上我们限制的只是返回的条数是100&#xff0c;并不是查询时就从第10条开始获取数据。 所以实际上MySQL会从第0条开始查询&a…...

编程日记 2023/8/24 0:48:55

mongodb集群

端口192.168.115.3 192.168.115.4 1192.168.115.5 下载MongoDB软件包版本为4.2.14并安装 rpm -ih --force --nodeps *.rpm 2创建文件夹mkdir -p /opt/local/mongo-cluster/conf 3.在目录里创建配置文件cd /opt/local/mongo-cluster/conf …...

编程日记 2023/8/24 0:47:50

回归预测 | MATLAB实现WOA-BP鲸鱼优化算法优化BP神经网络多输入单输出回归预测（多指标，多图）

回归预测 | MATLAB实现WOA-BP鲸鱼优化算法优化BP神经网络多输入单输出回归预测&#xff08;多指标&#xff0c;多图&#xff09; 目录 回归预测 | MATLAB实现WOA-BP鲸鱼优化算法优化BP神经网络多输入单输出回归预测&#xff08;多指标&#xff0c;多图&#xff09;效果一览基本…...

编程日记 2023/8/24 0:46:49

【前端从0开始】JavaSript——循环控制语句

循环控制语句 while语句 While 循环会在指定条件为真时循环执行代码块。 While循环&#xff0c;先进行条件判断&#xff0c;再执行循环体的代码 while (条件表达式){循环体 }注意&#xff1a;当前循环中&#xff0c;如果不满足条件&#xff0c;一次都不会执行 var i 1; whi…...

编程日记 2023/8/24 0:45:46

【Elasticsearch】spring-boot-starter-data-elasticsearch的使用以及Elasticsearch集群的连接

更多有关博主写的往期Elasticsearch文章 标题地址【ElasticSearch 集群】Linux安装ElasticSearch集群&#xff08;图文解说详细版&#xff09;https://masiyi.blog.csdn.net/article/details/131109454基于SpringBootElasticSearch 的Java底层框架的实现https://masiyi.blog.c…...

编程日记 2023/8/24 0:44:43

Python学习笔记_进阶篇(四)_django知识(三)

本章内容&#xff1a; Django 发送邮件Django cookieDjango sessionDjango CSRF Django 发送邮件 我们常常会用到一些发送邮件的功能&#xff0c;比如有人提交了应聘的表单&#xff0c;可以向HR的邮箱发邮件&#xff0c;这样&#xff0c;HR不看网站就可以知道有人在网站上提…...

编程日记 2023/8/24 0:43:42

指针(初阶）

1. 指针是什么&#xff1f; 指针是什么&#xff1f; 指针理解的2个要点&#xff1a; 1. 指针是内存中一个最小单元的编号&#xff0c;也就是地址 2. 平时口语中说的指针&#xff0c;通常指的是指针变量&#xff0c;是用来存放内存地址的变量 总结&#xff1a;指针就是地址&…...

编程日记 2023/8/24 0:42:41

Flink内核源码解析--Flink中重要的工作组件和机制

Flink内核源码 1、掌握Flink应用程序抽象2、掌握Flink核心组件整体架构抽象3、掌握Flink Job三种运行模式4、理解Flink RPC网络通信框架Akka详解5、理解TaskManager为例子&#xff0c;分析Flink封装Akka Actor的方法和整个调用流程6、理解Flink高可用服务HighAvailabilityServ…...

编程日记 2023/8/24 0:41:40

Linux 压缩解压（归档管理）：tar命令

计算机中的数据经常需要备份&#xff0c;tar是Unix/Linux中最常用的备份工具&#xff0c;此命令可以把一系列文件归档到一个大文件中&#xff0c;也可以把档案文件解开以恢复数据。 tar使用格式 tar [参数] 打包文件名 文件 tar命令很特殊&#xff0c;其参数前面可以使用“-”&…...

编程日记 2023/8/24 0:40:36

spring boot集成mqtt协议发送和订阅数据

maven的pom.xml引入包 <!--mqtt--><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-integration</artifactId><version>2.3.6.RELEASE</version></dependency><dependency…...

编程日记 2023/8/24 0:39:35

【数据库】详解数据库架构优化思路(两主架构、主从复制、冷热分离)

文章目录 1、为什么对数据库做优化2、双主架构双主架构的工作方式如下&#xff1a;双主架构的优势包括&#xff1a;但是一般不用这种架构&#xff0c;原因是&#xff1a; 3、主从复制主从复制的工作方式如下&#xff1a;主从复制的优势包括&#xff1a;主从复制的缺点 4、冷热分…...

编程日记 2023/8/24 0:38:33

el-table 实现动态表头 静态内容 根据数据显示动态输入框

直接放代码了 <el-table:data"form.tableDataA"borderstripestyle"width: 100%; margin-top: 20px"><el-table-columnv-for"(category, categoryIndex) in form.tableDataA":key"categoryIndex":label"category.name&qu…...

编程日记 2023/8/24 0:37:32

Reids 的整合 Spring Data Redis使用

大家好 , 我是苏麟 , 今天带来强大的Redis . REmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统&#xff0c;是跨平台的非关系型数据库。 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选…...

编程日记 2023/8/24 0:36:29

3D数据转换工具HOOPS Exchange概览

HOOPS Exchange SDK是一组C软件库&#xff0c;使开发团队能够快速为其应用程序添加可靠的2D和3D CAD导入和导出功能。这允许访问广泛的数据&#xff0c;包括边界表示&#xff08;BREP&#xff09;、产品制造信息&#xff08;PMI&#xff09;、模型树、视图、持久ID、样式、构造…...

编程日记 2023/8/24 0:35:28

【从零开始的rust web开发之路 一】axum学习使用

系列文章目录 第一章 axum学习使用 文章目录 系列文章目录前言老规矩先看官方文档介绍高级功能兼容性 二、hello world三、路由四&#xff0c;handler和提取器五&#xff0c;响应 前言 本职java开发&#xff0c;兼架构设计。空闲时间学习了rust&#xff0c;目前还不熟练掌握。…...

编程日记 2023/8/24 0:34:27

oracle警告日志\跟踪日志磁盘空间清理

oracle警告日志\跟踪日志磁盘空间清理 问题现象&#xff1a; 通过查看排查到alert和tarce占用大量磁盘空间 警告日志 /u01/app/oracle/diag/rdbms/orcl/orcl/alert 跟踪日志 /u01/app/oracle/diag/rdbms/orcl/orcl/trace 解决方案&#xff1a; 用adrci清除日志 确定目…...

编程日记 2023/8/24 0:33:23

【vue】el-table 数据更新后，刷新表格数据

表格里面的数据更新后&#xff0c;可以通过以下方法来刷新表格 方法1 用更新后的数据&#xff0c;覆盖之前的数据 var newTableData[];for(var i0;i<that.tableData.length;i){ if(aIdthat.selectStationId&&bIdthat.selectDeviceId){that.tableData[i].physica…...

编程日记 2023/8/24 0:32:21

AVL——平衡搜索树

✅<1>主页&#xff1a;我的代码爱吃辣&#x1f4c3;<2>知识讲解&#xff1a;数据结构——AVL树☂️<3>开发环境&#xff1a;Visual Studio 2022&#x1f4ac;<4>前言&#xff1a;AVL树是对二叉搜索树的严格高度控制&#xff0c;所以AVL树的搜索效率很高…...

编程日记 2023/8/24 0:31:19

TCP通信流程以及一些TCP的相关概念

1.TCP和UDP区别 都为传输层协议 UDP&#xff1a;用户数据报协议&#xff0c;面向无连接&#xff0c;可以单播&#xff0c;多播&#xff0c;广播&#xff0c;面向数据报&#xff0c;不可靠 TCP&#xff1a;传输控制协议&#xff0c;面向连接的&#xff0c;可靠的&#xff0c;基…...

编程日记 2023/8/24 0:30:18

PyTorch学习笔记（十七）——完整的模型验证（测试，demo）套路

完整代码&#xff1a; import torch import torchvision from PIL import Image from torch import nnimage_path "../imgs/dog.png" image Image.open(image_path) print(image)# 因为png格式是四个通道&#xff0c;除了RGB三通道外&#xff0c;还有一个透明度通…...

编程日记 2023/8/24 0:29:16

WPF开篇

一、为什么要学习WPF 大环境不好&#xff0c;公司要求逐年提高&#xff0c;既要会后端又要会客户端WPF相对于WinForm来说用户界面效果更好&#xff0c;图像更加立体化也是给自己增加一项技能&#xff0c;谨记一句话&#xff0c;技多不压身&#xff1b;多一份技能就多一份竞争力…...

编程日记 2023/8/24 0:28:13

linux 压缩解压缩

压缩解压缩 linux中压缩和解压文件也是很常见的 zip格式 zip格式的压缩包在windows很常见&#xff0c;linux中也有zip格式的压缩包 #压缩#zip [选项] 压缩包名 文件(多个文件空格隔开)zip 1.zip 123.txt 456.txt zip -r 2.zip /home/user1 ---------------------- -r 压缩目录 …...

编程日记 2023/8/24 0:27:13

做网站快速排名/网络营销中的seo是指

#include<stdio.h> #include<string.h> int main() {char a[1005];int b,c,z1;gets(a);bstrlen(a);for(c0;c<b;c){if(a[c]a[c1]){z;}else{printf("%d%c",z,a[c]);z1;}}}...

编程日记 2024/11/17 2:25:08

哈尔滨网站建设渠道/谷歌chrome浏览器

1、克隆远程仓库 git clone [仓库地址] &#xff0c;但是这样只能克隆master分支的代码&#xff0c;如果我想克隆远程仓库中某一分支的代码怎么办呢&#xff1f;git clone -b [对应的远程分支名称] [仓库地址] 。如克隆aspnetcore的3.0分支&#xff1a;git clone -b 3.0 https:…...

编程日记 2024/11/17 1:13:47

网站套利怎么做/新闻内容摘抄

点击上方“Java基基”&#xff0c;选择“设为星标”做积极的人&#xff0c;而不是积极废人&#xff01;每天 14:00 更新文章&#xff0c;每天掉亿点点头发...源码精品专栏 原创 | Java 2021 超神之路&#xff0c;很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框…...

编程日记 2024/11/17 0:36:56

网站的软件维护包括什么/百度识图扫一扫

实验9:默认路由所谓的默认路由&#xff0c;是指路由器在路由表中如果找不到到达目的网络的具体路由时&#xff0c;最后会采用的路由。默认路由通常会在存根网络&#xff08;Stub network&#xff0c;即只有一个出口的网络&#xff09;中使用。如图&#xff0c;图中左边的网络到…...

编程日记 2024/11/16 20:39:57

活动手机网站开发/营销型网站特点

今天我们学习几个常用的Dockerfile指令&#xff0c;在 http://docs.docker.com/reference/builder/可以查看Dockerfile中能使用的全部指令的清单。 一、CMD指令 CMD指令用于指定一个容器启动时要运行的命令&#xff0c;这与RUN指令有点类似&#xff0c;但RUN指令是指定镜像被…...

编程日记 2024/11/16 13:58:04

seo的中文含义/香港seo公司

进入Dos界面后&#xff0c;输入fdisk /mbr 不会损坏数据.转载于:https://www.cnblogs.com/wjonjon/archive/2009/09/15/1566735.html...

编程日记 2024/11/16 7:43:51