【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch、Zookeeper、Kafka、NoSQL等各类软件
实战章节：在Linux上部署各类软件
前言
为什么学习各类软件在Linux上的部署
在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，但是并没有一些具体的实操能够串联起来这些知识点。
所以，现在我们设计了各类软件在Linux上部署安装的实战章节，可以让同学们：
- 对前面学习的各类操作命令进行复习和练习，从而深度掌握它们
- 本章节中演示部署的软件，包含了IT行业各类岗位中所必须使用的，如：Java后台、大数据开发、运维开发、测试、AI等。无论学习Linux后从事什么岗位，这些内容都会给你带来帮助
对于零基础学员，实战课程中所讲解的软件大概率多数大家并不了解。
所以，课程仅涉及到安装部署，不对软件的使用做详细说明。
同学们在这个过程中，可能会遇到各种各样的错误，
不要怕，解决它，将会给你带来极大的提升。
学习目标
对于本部分的内容学习，我们设计两个目标：
-
对于零基础或未从业的学员，不要求深入理解所安装部署的软件是什么，仅仅能够跟随课程成功的将其部署安装并运行成功即可
在这个过程中，主要锻炼大家对Linux操作系统的熟练度，此乃零基础未从业学员的第一学习目标
-
对于有基础或已从业的学员，本章节讲解的软件涵盖了大多数IT从业者所能接触到的，特别是大数据开发、后端开发两个主流方向，可以作为参考资料，以便在工作中有所帮助。
本章节内的各类软件安装，不强制要求全部学习
- 零基础学员，建议全部学习，作为前面学习内容的总结和实战
- IT从业者、有经验学员，可以按需选择，选择工作中需要用到的进行学习
章节内包含的软件并非100%涵盖了IT开发领域中所需要的内容。
如果您对某些软件的安装有强烈需求，且课程中没有提供教程，可以私信，老师会酌情根据时间安排补充上去哦。
从现在开始，将要进入到Linux的实操阶段，在这个阶段我们将会涉及到非常多的软件部署等操作，涉及到：
- 各类命令的使用
- 各种过程的结果
- 复杂的流程步骤
- 等
前置要求
- 实战章节要求同学们务必全部学习前面的知识点，即：初识Linux、Linux基础命令、Linux权限管理、Linux高阶技巧这4个章节，请勿跳过前面的章节学习实战章节。
- 实战章节中会开启多台虚拟机，请尽量确保电脑的内存在：8GB（包含8GB）以上。如内存不足可以扩充内存条或购买阿里云、UCloud等云服务器临时使用（1个月多台低配服务器几十块左右）
对于云平台上购买服务器，可以参阅最后的章节（云服务）
注意
下面全部的软件安装的相关流程，90%都是取自软件自身的官方网站。
一个合格的程序员要有良好的信息收集能力哦
MySQL数据库管理系统安装部署【简单】
简介
MySQL数据库管理系统（后续简称MySQL），是一款知名的数据库系统，其特点是：轻量、简单、功能丰富。
MySQL数据库可谓是软件行业的明星产品，无论是后端开发、大数据、AI、运维、测试等各类岗位，基本上都会和MySQL打交道。
让我们从MySQL开始，进行实战的Linux软件安装部署。
本次课程分为2个版本进行安装：
- MySQL 5.7版本安装
- MySQL 8.x版本安装
由于MySQL5.x和8.x各自有许多使用者，所以这两个版本我们都演示安装一遍
注意
MySQL的安装过程中，除了会使用Linux命令外，还会使用到少量的数据库专用的：SQL语句
对于SQL语句我们并未涉及，所以可以跟随教程的内容，复制粘贴即可
如有时间，建议可以在学习完Linux系统之后，学习一下MySQL数据库
无论从事什么方面的开发，Java后端、大数据、AI、前端、Linux运维等，都会要求掌握MySQL数据库的
可以说，MySQL是IT开发从业者必备的技能了。
MySQL5.7版本在CentOS系统安装
注意：安装操作需要root权限
MySQL的安装我们可以通过前面学习的yum命令进行。
安装
-
配置yum仓库
# 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安装Mysql yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm
由于MySQL并不在CentOS的官方仓库中，所以我们通过上述rpm命令：
- 导入MySQL仓库的密钥
- 配置MySQLQ的yum仓库
-
使用yum安装MySQL
# yum安装Mysql yum -y install mysql-community-server
-
安装完成后，启动MySQL并配置开机自启动
systemctl start mysqld # 启动 systemctl enable mysqld # 开机自启MySQL安装完成后，会自动配置为名称叫做：
mysqld的服务，可以被systemctl所管理 -
检查MySQL的运行状态
systemctl status mysqld
配置
主要配置管理员用户root的密码以及配置允许远程登录的权限。
-
获取MySQL的初始密码
# 通过grep命令，在/var/log/mysqld.log文件中，过滤temporary password关键字，得到初始密码 grep 'temporary password' /var/log/mysqld.log
-
登陆MySQL数据库系统
# 执行 mysql -uroot -p # 解释 # -u，登陆的用户，MySQL数据库的管理员用户同Linux一样，是root # -p，表示使用密码登陆# 执行完毕后输入刚刚得到的初始密码，即可进入MySQL数据库
-
修改root用户密码
# 在MySQL控制台内执行 ALTER USER 'root'@'localhost' IDENTIFIED BY '密码'; -- 密码需要符合：大于8位，有大写字母，有特殊符号，不能是连续的简单语句如123，abc -
[扩展]，配置root的简单密码
我们可以给root设置简单密码，如123456.
请注意，此配置仅仅是用于测试环境或学习环境的MySQL，如果是正式使用，请勿设置简单密码
# 如果你想设置简单密码，需要降低Mysql的密码安全级别 set global validate_password_policy=LOW; # 密码安全级别低 set global validate_password_length=4; # 密码长度最低4位即可# 然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样） ALTER USER 'root'@'localhost' IDENTIFIED BY '简单密码'; -
[扩展]，配置root运行远程登录
默认情况下，root用户是不运行远程登录的，只允许在MySQL所在的Linux服务器登陆MySQL系统
请注意，允许root远程登录会带来安全风险
# 授权root远程登录 grant all privileges on *.* to root@"IP地址" identified by '密码' with grant option; # IP地址即允许登陆的IP地址，也可以填写%，表示允许任何地址 # 密码表示给远程登录独立设置密码，和本地登陆的密码可以不同# 刷新权限，生效 flush privileges; -
退出MySQL控制台页面
# 退出命令 exit# 或者通过快捷键退出：ctrl + d -
检查端口
MySQL默认绑定了3306端口，可以通过端口占用检查MySQL的网络状态
netstat -anp | grep 3306
至此，MySQL就安装完成并可用了，请妥善保存好MySQL的root密码。
MySQL8.0版本在CentOS系统安装
注意：安装操作需要root权限
安装
-
配置yum仓库
# 更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022# 安装Mysql8.x版本 yum库 rpm -Uvh https://dev.mysql.com/get/mysql80-community-release-el7-2.noarch.rpm -
使用yum安装MySQL
# yum安装Mysql yum -y install mysql-community-server -
安装完成后，启动MySQL并配置开机自启动
systemctl start mysqld # 启动 systemctl enable mysqld # 开机自启MySQL安装完成后，会自动配置为名称叫做：
mysqld的服务，可以被systemctl所管理 -
检查MySQL的运行状态
systemctl status mysqld
配置
主要修改root密码和允许root远程登录
-
获取MySQL的初始密码
# 通过grep命令，在/var/log/mysqld.log文件中，过滤temporary password关键字，得到初始密码 grep 'temporary password' /var/log/mysqld.log -
登录MySQL数据库系统
# 执行 mysql -uroot -p # 解释 # -u，登陆的用户，MySQL数据库的管理员用户同Linux一样，是root # -p，表示使用密码登陆# 执行完毕后输入刚刚得到的初始密码，即可进入MySQL数据库 -
修改root密码
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '密码'; -- 密码需要符合：大于8位，有大写字母，有特殊符号，不能是连续的简单语句如123，abc -
[扩展]，配置root的简单密码
我们可以给root设置简单密码，如123456.
请注意，此配置仅仅是用于测试环境或学习环境的MySQL，如果是正式使用，请勿设置简单密码
set global validate_password.policy=0; # 密码安全级别低 set global validate_password.length=4; # 密码长度最低4位即可 -
允许root远程登录，并设置远程登录密码
默认情况下，root用户是不运行远程登录的，只允许在MySQL所在的Linux服务器登陆MySQL系统
请注意，允许root远程登录会带来安全风险
# 第一次设置root远程登录，并配置远程密码使用如下SQL命令 create user 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码!'; -- 密码需要符合：大于8位，有大写字母，有特殊符号，不能是连续的简单语句如123，abc# 后续修改密码使用如下SQL命令 ALTER USER 'root'@'%' IDENTIFIED WITH mysql_native_password BY '密码'; -
退出MySQL控制台页面
# 退出命令 exit# 或者通过快捷键退出：ctrl + d -
检查端口
MySQL默认绑定了3306端口，可以通过端口占用检查MySQL的网络状态
netstat -anp | grep 3306
至此，MySQL就安装完成并可用了，请妥善保存好MySQL的root密码。
MySQL5.7版本在Ubuntu（WSL环境）系统安装
课程中配置的WSL环境是最新的Ubuntu22.04版本，这个版本的软件商店内置的MySQL是8.0版本
所以我们需要额外的步骤才可以安装5.7版本的MySQL
安装操作需root权限，你可以：
-
通过 sudo su -，切换到root用户
课程中选择这种方式操作
-
或在每一个命令前，加上sudo，用来临时提升权限
安装
-
下载apt仓库文件
# 下载apt仓库的安装包，Ubuntu的安装包是.deb文件 wget https://dev.mysql.com/get/mysql-apt-config_0.8.12-1_all.deb
-
配置apt仓库
# 使用dpkg命令安装仓库 dpkg -i mysql-apt-config_0.8.12-1_all.deb弹出框中选择：
ubuntu bionic（Ubuntu18.04系统的代号是bionic，选择18.04的版本库用来安装）
弹出框中选择：
MySQL Server & Cluster
弹出框中选择：
mysql-5.7
最后选择：
ok
-
更新apt仓库的信息
# 首先导入仓库的密钥信息 apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 467B942D3A79BD29 # 更新仓库信息 apt update -
检查是否成功配置MySQL5.7的仓库
apt-cache policy mysql-server
看到如图所示字样，即成功
-
安装MySQL5.7
# 使用apt安装mysql客户端和mysql服务端 apt install -f -y mysql-client=5.7* mysql-community-server=5.7*弹出框中输入root密码并选择ok，密码任意，课程中以123456代替
再次输入root密码确认
-
启动MySQL
/etc/init.d/mysql start # 启动 /etc/init.d/mysql stop # 停止 /etc/init.d/mysql status # 查看状态
-
对MySQL进行初始化
# 执行如下命令，此命令是MySQL安装后自带的配置程序 mysql_secure_installation # 可以通过which命令查看到这个自带程序所在的位置 root@DESKTOP-Q89USRE:~# which mysql_secure_installation /usr/bin/mysql_secure_installation-
输入密码：
-
是否开启密码验证插件，如果需要增强密码安全性，输入
y并回车，不需要直接回车（课程中选择直接回车）
-
是否更改root密码，需要输入
y回车，不需要直接回车（课程不更改）
-
是否移除匿名用户，移除输入
y回车，不移除直接回车（课程选择移除）
-
是否进制root用户远程登录，禁止输入
y回车，不禁止直接回车（课程选择不禁止）
-
是否移除自带的测试数据库，移除输入
y回车，不移除直接回车（课程选择不移除）
-
是否刷新权限，刷新输入
y回车，不刷新直接回车（课程选择刷新）
-
-
登陆MySQL
mysql -uroot -p # 输入密码即可登陆成功
至此，在Ubuntu上安装MySQL5.7版本成功。
MySQL8.0版本在Ubuntu（WSL环境）系统安装
课程中配置的WSL环境是最新的Ubuntu22.04版本，这个版本的软件商店内置的MySQL是8.0版本
所以直接可以通过apt安装即可
注意，课程是以WSL获得的Ubuntu操作系统环境。
如果你通过VMware虚拟机的方式获得了Ubuntu操作系统环境，操作步骤不用担心，和课程中使用WSL环境是完全一致的
安装操作需root权限，你可以：
-
通过 sudo su -，切换到root用户
课程中选择这种方式操作
-
或在每一个命令前，加上sudo，用来临时提升权限
安装
-
如果已经安装过MySQL5.7版本，需要卸载仓库信息哦
# 卸载MySQL5.7版本 apt remove -y mysql-client=5.7* mysql-community-server=5.7*# 卸载5.7的仓库信息 dpkg -l | grep mysql | awk '{print $2}' | xargs dpkg -P -
更新apt仓库信息
apt update -
安装mysql
apt install -y mysql-server -
启动MySQL
/etc/init.d/mysql start # 启动 /etc/init.d/mysql stop # 停止 /etc/init.d/mysql status # 查看状态 -
登陆MySQL设置密码
# 直接执行：mysql mysql -
设置密码
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'password'; -
退出MySQL控制台
exit -
对MySQL进行初始化
# 执行如下命令，此命令是MySQL安装后自带的配置程序 mysql_secure_installation # 可以通过which命令查看到这个自带程序所在的位置 root@DESKTOP-Q89USRE:~# which mysql_secure_installation /usr/bin/mysql_secure_installation-
输入密码：
-
是否开启密码验证插件，如果需要增强密码安全性，输入
y并回车，不需要直接回车（课程中选择直接回车）
-
是否更改root密码，需要输入
y回车，不需要直接回车（课程不更改）
-
是否移除匿名用户，移除输入
y回车，不移除直接回车（课程选择移除）
-
是否进制root用户远程登录，禁止输入
y回车，不禁止直接回车（课程选择不禁止）
-
是否移除自带的测试数据库，移除输入
y回车，不移除直接回车（课程选择不移除）
-
是否刷新权限，刷新输入
y回车，不刷新直接回车（课程选择刷新）
-
-
重新登陆MySQL（用更改后的密码）
mysql -uroot -p
至此，在Ubuntu上安装MySQL5.7版本成功。
RabbitMQ安装部署【简单】
简介
RabbitMQ一款知名的开源消息队列系统，为企业提供消息的发布、订阅、点对点传输等消息服务。
RabbitMQ在企业开发中十分常见，课程为大家演示快速搭建RabbitMQ环境。
安装
rabbitmq在yum仓库中的版本比较老，所以我们需要手动构建yum仓库
-
准备yum仓库
# root执行 # 1. 准备gpgkey密钥 rpm --import https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc rpm --import https://packagecloud.io/rabbitmq/erlang/gpgkey rpm --import https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkey# 2. 准备仓库文件 vim /etc/yum.repos.d/rabbitmq.repo # 填入如下内容 ## ## Zero dependency Erlang ##[rabbitmq_erlang] name=rabbitmq_erlang baseurl=https://packagecloud.io/rabbitmq/erlang/el/7/$basearch repo_gpgcheck=1 gpgcheck=1 enabled=1 # PackageCloud's repository key and RabbitMQ package signing key gpgkey=https://packagecloud.io/rabbitmq/erlang/gpgkeyhttps://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt metadata_expire=300[rabbitmq_erlang-source] name=rabbitmq_erlang-source baseurl=https://packagecloud.io/rabbitmq/erlang/el/7/SRPMS repo_gpgcheck=1 gpgcheck=0 enabled=1 # PackageCloud's repository key and RabbitMQ package signing key gpgkey=https://packagecloud.io/rabbitmq/erlang/gpgkeyhttps://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt metadata_expire=300## ## RabbitMQ server ##[rabbitmq_server] name=rabbitmq_server baseurl=https://packagecloud.io/rabbitmq/rabbitmq-server/el/7/$basearch repo_gpgcheck=1 gpgcheck=0 enabled=1 # PackageCloud's repository key and RabbitMQ package signing key gpgkey=https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkeyhttps://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt metadata_expire=300[rabbitmq_server-source] name=rabbitmq_server-source baseurl=https://packagecloud.io/rabbitmq/rabbitmq-server/el/7/SRPMS repo_gpgcheck=1 gpgcheck=0 enabled=1 gpgkey=https://packagecloud.io/rabbitmq/rabbitmq-server/gpgkey sslverify=1 sslcacert=/etc/pki/tls/certs/ca-bundle.crt metadata_expire=300 -
安装RabbitMQ
# root执行 yum install erlang rabbitmq-server -yInstalled:erlang.x86_64 0:23.3.4.11-1.el7 rabbitmq-server.noarch 0:3.10.0-1.el7 -
启动
# root执行 # 使用systemctl管控，服务名：rabbitmq-server systemctl enable rabbitmq-server # 开机自启 systemctl disable rabbitmq-server # 关闭开机自启 systemctl start rabbitmq-server # 启动 systemctl stop rabbitmq-server # 关闭 systemctl status rabbitmq-server # 查看状态 -
放行防火墙，RabbitMQ使用5672、15672、25672 3个端口
# 方式1（推荐），关闭防火墙 systemctl stop firewalld # 关闭 systemctl disable firewalld # 关闭开机自启# 方式2，放行5672 25672端口 firewall-cmd --add-port=5672/tcp --permanent # 放行tcp规则下的5672端口，永久生效 firewall-cmd --add-port=15672/tcp --permanent # 放行tcp规则下的15672端口，永久生效 firewall-cmd --add-port=25672/tcp --permanent # 放行tcp规则下的25672端口，永久生效 firewall-cmd --reload # 重新加载防火墙规则 -
启动RabbitMQ的WEB管理控制台
rabbitmq-plugins enable rabbitmq_management -
添加admin用户，并赋予权限
rabbitmqctl add_user admin 'Itheima66^' rabbitmqctl set_permissions -p "/" "admin" ".*" ".*" ".*" rabbitmqctl set_user_tags admin administrator -
浏览器打开管理控制台
http://192.168.88.130:15672
至此，RabbitMQ已经安装完成了。
Redis安装部署【简单】
简介
redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。
redis的特点就是：快，可以基于内存存储数据并提供超低延迟、超快的检索速度
一般用于在系统中提供快速缓存的能力。
安装
-
配置
EPEL仓库EPEL 的全称叫 Extra Packages for Enterprise Linux 。EPEL是由 Fedora 社区打造，为 RHEL 及衍生发行版如 CentOS、Scientific Linux 等提供高质量软件包的项目。装上了 EPEL之后，就相当于添加了一个第三方源。EPEL则为服务器版本提供大量的rpm包(yum程序所使用的程序安装包，类似Windows的exe)，而且大多数rpm包在官方 repository 中是找不到的。
# root执行 yum install -y epel-release -
安装redis
# root执行 yum install -y redis -
启动redis
# root执行 # 使用systemctl管控，服务名：redis systemctl enable redis # 开机自启 systemctl disable redis # 关闭开机自启 systemctl start redis # 启动 systemctl stop redis # 关闭 systemctl status redis # 查看状态 -
放行防火墙，redis使用端口6379
# 方式1（推荐），关闭防火墙 systemctl stop firewalld # 关闭 systemctl disable firewalld # 关闭开机自启# 方式2，放行6379端口 firewall-cmd --add-port=6379/tcp --permanent # 放行tcp规则下的6379端口，永久生效 firewall-cmd --reload -
进入redis服务
# 执行redis-cli [root@centos ~]# redis-cli 127.0.0.1:6379> set mykey hello OK 127.0.0.1:6379> get mykey "hello" 127.0.0.1:6379>
至此，redis安装完成。
ElasticSearch安装部署
简介
全文搜索属于最常见的需求，开源的 Elasticsearch （以下简称 es）是目前全文搜索引擎的首选。
它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。
Elasticsearch简称es，在企业内同样是一款应用非常广泛的搜索引擎服务。
很多服务中的搜索功能，都是基于es来实现的。
安装
-
添加yum仓库
# root执行 # 导入仓库密钥 rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch# 添加yum源 # 编辑文件 vim /etc/yum.repos.d/elasticsearch.repo[elasticsearch-7.x] name=Elasticsearch repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md# 更新yum缓存 yum makecache -
安装es
yum install -y elasticsearch -
配置es
vim /etc/elasticsearch/elasticsearch.yml# 17行，设置集群名称 cluster.name: my-cluster# 23行，设置节点名称 node.name: node-1# 56行，允许外网访问 network.host: 0.0.0.0# 74行，配置集群master节点 cluster.initial_master_nodes: ["node-1"] -
启动es
systemctl start | stop | status | enable | disable elasticsearch -
关闭防火墙
systemctl stop firewalld systemctl disable firewalld -
测试
浏览器打开：http://ip:9200/?pretty
集群化环境前置准备
介绍
在前面，我们所学习安装的软件，都是以单机模式运行的。
后续，我们将要学习大数据相关的软件部署，所以后续我们所安装的软件服务，大多数都是以集群化（多台服务器共同工作）模式运行的。
所以，在当前小节，我们需要完成集群化环境的前置准备，包括创建多台虚拟机，配置主机名映射，SSH免密登录等等。
部署
配置多台Linux虚拟机
安装集群化软件，首要条件就是要有多台Linux服务器可用。
我们可以使用VMware提供的克隆功能，将我们的虚拟机额外克隆出3台来使用。
-
首先，关机当前CentOS系统虚拟机（可以使用root用户执行
init 0来快速关机） -
新建文件夹
文件夹起名为：
虚拟机集群 -
克隆
-
同样的操作克隆出：node2和node3
-
开启node1，修改主机名为node1，并修改固定ip为：192.168.88.131
# 修改主机名 hostnamectl set-hostname node1# 修改IP地址 vim /etc/sysconfig/network-scripts/ifcfg-ens33 IPADDR="192.168.88.131"# 重启网卡 systemctl stop network systemctl start network # 或者直接 systemctl restart network -
同样的操作启动node2和node3,
修改node2主机名为node2，设置ip为192.168.88.132
修改node2主机名为node3，设置ip为192.168.88.133
-
配置FinalShell，配置连接到node1、node2、node3的连接
为了简单起见，建议配置root用户登录
准备主机名映射
-
在Windows系统中修改hosts文件，填入如下内容：
如果同学们使用MacOS系统，请：
- sudo su -，切换到root
- 修改/etc/hosts文件
192.168.88.131 node1 192.168.88.132 node2 192.168.88.133 node3 -
在3台Linux的/etc/hosts文件中，填入如下内容（3台都要添加）
192.168.88.131 node1 192.168.88.132 node2 192.168.88.133 node3
配置SSH免密登录
简介
SSH服务是一种用于远程登录的安全认证协议。
我们通过FinalShell远程连接到Linux，就是使用的SSH服务。
SSH服务支持：
- 通过账户+密码的认证方式来做用户认证
- 通过账户+秘钥文件的方式做用户认证
SSH可以让我们通过SSH命令，远程的登陆到其它的主机上，比如：
在node1执行：ssh root@node2，将以root用户登录node2服务器，输入密码即可成功登陆
或者ssh node2，将以当前用户直接登陆到node2服务器。
SSH免密配置
后续安装的集群化软件，多数需要远程登录以及远程执行命令，我们可以简单起见，配置三台Linux服务器之间的免密码互相SSH登陆
-
在每一台机器都执行：
ssh-keygen -t rsa -b 4096，一路回车到底即可 -
在每一台机器都执行：
ssh-copy-id node1 ssh-copy-id node2 ssh-copy-id node3 -
执行完毕后，node1、node2、node3之间将完成root用户之间的免密互通
配置JDK环境
后续的大数据集群软件，多数是需要Java运行环境的，所以我们为每一台机器都配置JDK环境。
JDK配置参阅：Tomcat安装部署环节。
关闭防火墙和SELinux
集群化软件之间需要通过端口互相通讯，为了避免出现网络不通的问题，我们可以简单的在集群内部关闭防火墙。
在每一台机器都执行
systemctl stop firewalld
systemctl disable firewalld
Linux有一个安全模块：SELinux，用以限制用户和程序的相关权限，来确保系统的安全稳定。
SELinux的配置同防火墙一样，非常复杂，课程中不多涉及，后续视情况可以出一章SELinux的配置课程。
在当前，我们只需要关闭SELinux功能，避免导致后面的软件运行出现问题即可，
在每一台机器都执行
vim /etc/sysconfig/selinux# 将第七行，SELINUX=enforcing 改为
SELINUX=disabled
# 保存退出后，重启虚拟机即可，千万要注意disabled单词不要写错，不然无法启动系统
添加快照
为了避免后续出现问题，在完成上述设置后，为每一台虚拟机都制作快照，留待使用。
补充命令 - scp
后续的安装部署操作，我们将会频繁的在多台服务器之间相互传输数据。
为了更加方面的互相传输，我们补充一个命令：scp
scp命令是cp命令的升级版，即：ssh cp，通过SSH协议完成文件的复制。
其主要的功能就是：在不同的Linux服务器之间，通过SSH协议互相传输文件。
只要知晓服务器的账户和密码（或密钥），即可通过SCP互传文件。
语法：
scp [-r] 参数1 参数2
- -r选项用于复制文件夹使用，如果复制文件夹，必须使用-r
- 参数1：本机路径 或 远程目标路径
- 参数2：远程目标路径 或 本机路径如：
scp -r /export/server/jdk root@node2:/export/server/
将本机上的jdk文件夹， 以root的身份复制到node2的/export/server/内
同SSH登陆一样，账户名可以省略（使用本机当前的同名账户登陆）如：
scp -r node2:/export/server/jdk /export/server/
将远程node2的jdk文件夹，复制到本机的/export/server/内# scp命令的高级用法
cd /export/server
scp -r jdk node2:`pwd`/ # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下
scp -r jdk node2:$PWD # 将本机当前路径的jdk文件夹，复制到node2服务器的同名路径下
Zookeeper集群安装部署
简介
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。
除了为Hadoop和HBase提供协调服务外，Zookeeper也被其它许多软件采用作为其分布式状态一致性的依赖，比如Kafka，又或者一些软件项目中，也经常能见到Zookeeper作为一致性协调服务存在。
Zookeeper不论是大数据领域亦或是其它服务器开发领域，涉及到分布式状态一致性的场景，总有它的身影存在。
安装
Zookeeper是一款分布式的集群化软件，可以在多台服务器上部署，并协同组成分布式集群一起工作。
-
首先，要确保已经完成了
集群化环境前置准备环节的全部内容 -
【node1上操作】下载Zookeeper安装包，并解压
# 下载 wget http://archive.apache.org/dist/zookeeper/zookeeper-3.5.9/apache-zookeeper-3.5.9-bin.tar.gz# 确保如下目录存在，不存在就创建 mkdir -p /export/server# 解压 tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /export/server -
【node1上操作】创建软链接
ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper -
【node1上操作】修改配置文件
vim /export/server/zookeeper/conf/zoo.cfgtickTime=2000 # zookeeper数据存储目录 dataDir=/export/server/zookeeper/data clientPort=2181 initLimit=5 syncLimit=2 server.1=node1:2888:3888 server.2=node2:2888:3888 server.3=node3:2888:3888 -
【node1上操作】配置
myid# 1. 创建Zookeeper的数据目录 mkdir /export/server/zookeeper/data# 2. 创建文件，并填入1 vim /export/server/zookeeper/data/myid # 在文件内填入1即可 -
【在node2和node3上操作】，创建文件夹
mkdir -p /export/server -
【node1上操作】将Zookeeper 复制到node2和node3
cd /export/serverscp -r apache-zookeeper-3.5.9 node2:`pwd`/ scp -r apache-zookeeper-3.5.9 node3:`pwd`/ -
【在node2上操作】
# 1. 创建软链接 ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper# 2. 修改myid文件 vim /export/server/zookeeper/data/myid # 修改内容为2 -
【在node3上操作】
# 1. 创建软链接 ln -s /export/server/apache-zookeeper-3.5.9 /export/server/zookeeper# 2. 修改myid文件 vim /export/server/zookeeper/data/myid # 修改内容为3 -
【在node1、node2、node3上分别执行】启动Zookeeper
# 启动命令 /export/server/zookeeper/bin/zkServer.sh start # 启动Zookeeper -
【在node1、node2、node3上分别执行】检查Zookeeper进程是否启动
jps# 结果中找到有：QuorumPeerMain 进程即可 -
【node1上操作】验证Zookeeper
/export/server/zookeeper/zkCli.sh# 进入到Zookeeper控制台中后，执行 ls /# 如无报错即配置成功
至此Zookeeper安装完成
Kafka集群安装部署
简介
Kafka是一款分布式的、去中心化的、高吞吐低延迟、订阅模式的消息队列系统。
同RabbitMQ一样，Kafka也是消息队列。不过RabbitMQ多用于后端系统，因其更加专注于消息的延迟和容错。
Kafka多用于大数据体系，因其更加专注于数据的吞吐能力。
Kafka多数都是运行在分布式（集群化）模式下，所以课程将以3台服务器，来完成Kafka集群的安装部署。
安装
-
确保已经跟随前面的视频，安装并部署了JDK和Zookeeper服务
Kafka的运行依赖JDK环境和Zookeeper请确保已经有了JDK环境和Zookeeper
-
【在node1操作】下载并上传Kafka的安装包
# 下载安装包 wget http://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz -
【在node1操作】解压
mkdir -p /export/server # 此文件夹如果不存在需先创建# 解压 tar -zxvf kafka_2.12-2.4.1.tgz -C /export/server/# 创建软链接 ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafka -
【在node1操作】修改Kafka目录内的config目录内的
server.properties文件cd /export/server/kafka/config # 指定broker的id broker.id=1 # 指定 kafka的绑定监听的地址 listeners=PLAINTEXT://node1:9092 # 指定Kafka数据的位置 log.dirs=/export/server/kafka/data # 指定Zookeeper的三个节点 zookeeper.connect=node1:2181,node2:2181,node3:2181 -
【在node1操作】将node1的kafka复制到node2和node3
cd /export/server# 复制到node2同名文件夹 scp -r kafka_2.12-2.4.1 node2:`pwd`/ # 复制到node3同名文件夹 scp -r kafka_2.12-2.4.1 node3:$PWD -
【在node2操作】
# 创建软链接 ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafkacd /export/server/kafka/config # 指定broker的id broker.id=2 # 指定 kafka的绑定监听的地址 listeners=PLAINTEXT://node2:9092 # 指定Kafka数据的位置 log.dirs=/export/server/kafka/data # 指定Zookeeper的三个节点 zookeeper.connect=node1:2181,node2:2181,node3:2181 -
【在node3操作】
# 创建软链接 ln -s /export/server/kafka_2.12-2.4.1 /export/server/kafkacd /export/server/kafka/config # 指定broker的id broker.id=3 # 指定 kafka的绑定监听的地址 listeners=PLAINTEXT://node3:9092 # 指定Kafka数据的位置 log.dirs=/export/server/kafka/data # 指定Zookeeper的三个节点 zookeeper.connect=node1:2181,node2:2181,node3:2181 -
启动kafka
# 请先确保Zookeeper已经启动了# 方式1：【前台启动】分别在node1、2、3上执行如下语句 /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties# 方式2：【后台启动】分别在node1、2、3上执行如下语句 nohup /export/server/kafka/bin/kafka-server-start.sh /export/server/kafka/config/server.properties 2>&1 >> /export/server/kafka/kafka-server.log & -
验证Kafka启动
# 在每一台服务器执行 jps
测试Kafka能否正常使用
- 创建测试主题
# 在node1执行，创建一个主题
/export/server/kafka_2.12-2.4.1/bin/kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 3 --topic test
- 运行测试，请在FinalShell中打开2个node1的终端页面
# 打开一个终端页面，启动一个模拟的数据生产者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-producer.sh --broker-list node1:9092 --topic test
# 再打开一个新的终端页面，在启动一个模拟的数据消费者
/export/server/kafka_2.12-2.4.1/bin/kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
大数据集群（Hadoop生态）安装部署
简介
1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2）主要解决，海量数据的存储和海量数据的分析计算问题。
Hadoop HDFS 提供分布式海量数据存储能力
Hadoop YARN 提供分布式集群资源管理能力
Hadoop MapReduce 提供分布式海量数据计算能力
前置要求
- 请确保完成了集群化环境前置准备章节的内容
- 即：JDK、SSH免密、关闭防火墙、配置主机名映射等前置操作
Hadoop集群角色
Hadoop生态体系中总共会出现如下进程角色：
- Hadoop HDFS的管理角色：Namenode进程（
仅需1个即可（管理者一个就够）） - Hadoop HDFS的工作角色：Datanode进程（
需要多个（工人，越多越好，一个机器启动一个）） - Hadoop YARN的管理角色：ResourceManager进程（
仅需1个即可（管理者一个就够）） - Hadoop YARN的工作角色：NodeManager进程（
需要多个（工人，越多越好，一个机器启动一个）） - Hadoop 历史记录服务器角色：HistoryServer进程（
仅需1个即可（功能进程无需太多1个足够）） - Hadoop 代理服务器角色：WebProxyServer进程（
仅需1个即可（功能进程无需太多1个足够）） - Zookeeper的进程：QuorumPeerMain进程（
仅需1个即可（Zookeeper的工作者，越多越好））
角色和节点分配
角色分配如下：
- node1:Namenode、Datanode、ResourceManager、NodeManager、HistoryServer、WebProxyServer、QuorumPeerMain
- node2:Datanode、NodeManager、QuorumPeerMain
- node3:Datanode、NodeManager、QuorumPeerMain
安装
调整虚拟机内存
如上图，可以看出node1承载了太多的压力。同时node2和node3也同时运行了不少程序
为了确保集群的稳定，需要对虚拟机进行内存设置。
请在VMware中，对：
- node1设置4GB或以上内存
- node2和node3设置2GB或以上内存
大数据的软件本身就是集群化（一堆服务器）一起运行的。
现在我们在一台电脑中以多台虚拟机来模拟集群，确实会有很大的内存压力哦。
Zookeeper集群部署
略
Hadoop集群部署
-
下载Hadoop安装包、解压、配置软链接
# 1. 下载 wget http://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz# 2. 解压 # 请确保目录/export/server存在 tar -zxvf hadoop-3.3.0.tar.gz -C /export/server/# 3. 构建软链接 ln -s /export/server/hadoop-3.3.0 /export/server/hadoop -
修改配置文件：
hadoop-env.shHadoop的配置文件要修改的地方很多，请细心
cd 进入到/export/server/hadoop/etc/hadoop，文件夹中，配置文件都在这里
修改hadoop-env.sh文件
此文件是配置一些Hadoop用到的环境变量
这些是临时变量，在Hadoop运行时有用
如果要永久生效，需要写到/etc/profile中
# 在文件开头加入： # 配置Java安装路径 export JAVA_HOME=/export/server/jdk # 配置Hadoop安装路径 export HADOOP_HOME=/export/server/hadoop # Hadoop hdfs配置文件路径 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop # Hadoop YARN配置文件路径 export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop # Hadoop YARN 日志文件夹 export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn # Hadoop hdfs 日志文件夹 export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs# Hadoop的使用启动用户配置 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root export YARN_RESOURCEMANAGER_USER=root export YARN_NODEMANAGER_USER=root export YARN_PROXYSERVER_USER=root -
修改配置文件：
core-site.xml如下，清空文件，填入如下内容
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file. --><!-- Put site-specific property overrides in this file. --> <configuration><property><name>fs.defaultFS</name><value>hdfs://node1:8020</value><description></description></property><property><name>io.file.buffer.size</name><value>131072</value><description></description></property> </configuration> -
配置：
hdfs-site.xml文件<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file. --><!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.datanode.data.dir.perm</name><value>700</value></property><property><name>dfs.namenode.name.dir</name><value>/data/nn</value><description>Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently.</description></property><property><name>dfs.namenode.hosts</name><value>node1,node2,node3</value><description>List of permitted DataNodes.</description></property><property><name>dfs.blocksize</name><value>268435456</value><description></description></property><property><name>dfs.namenode.handler.count</name><value>100</value><description></description></property><property><name>dfs.datanode.data.dir</name><value>/data/dn</value></property> </configuration> -
配置：
mapred-env.sh文件# 在文件的开头加入如下环境变量设置 export JAVA_HOME=/export/server/jdk export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000 export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA -
配置：
mapred-site.xml文件<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file. --><!-- Put site-specific property overrides in this file. --><configuration><property><name>mapreduce.framework.name</name><value>yarn</value><description></description></property><property><name>mapreduce.jobhistory.address</name><value>node1:10020</value><description></description></property><property><name>mapreduce.jobhistory.webapp.address</name><value>node1:19888</value><description></description></property><property><name>mapreduce.jobhistory.intermediate-done-dir</name><value>/data/mr-history/tmp</value><description></description></property><property><name>mapreduce.jobhistory.done-dir</name><value>/data/mr-history/done</value><description></description></property> <property><name>yarn.app.mapreduce.am.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value> </property> <property><name>mapreduce.map.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value> </property> <property><name>mapreduce.reduce.env</name><value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value> </property> </configuration> -
配置：
yarn-env.sh文件# 在文件的开头加入如下环境变量设置 export JAVA_HOME=/export/server/jdk export HADOOP_HOME=/export/server/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_LOG_DIR=$HADOOP_HOME/logs/yarn export HADOOP_LOG_DIR=$HADOOP_HOME/logs/hdfs -
配置：
yarn-site.xml文件<?xml version="1.0"?> <!--Licensed under the Apache License, Version 2.0 (the "License");you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an "AS IS" BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file. --> <configuration><!-- Site specific YARN configuration properties --> <property><name>yarn.log.server.url</name><value>http://node1:19888/jobhistory/logs</value><description></description> </property><property><name>yarn.web-proxy.address</name><value>node1:8089</value><description>proxy server hostname and port</description></property><property><name>yarn.log-aggregation-enable</name><value>true</value><description>Configuration to enable or disable log aggregation</description></property><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/tmp/logs</value><description>Configuration to enable or disable log aggregation</description></property><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>node1</value><description></description></property><property><name>yarn.resourcemanager.scheduler.class</name><value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value><description></description></property><property><name>yarn.nodemanager.local-dirs</name><value>/data/nm-local</value><description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description></property><property><name>yarn.nodemanager.log-dirs</name><value>/data/nm-log</value><description>Comma-separated list of paths on the local filesystem where logs are written.</description></property><property><name>yarn.nodemanager.log.retain-seconds</name><value>10800</value><description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value><description>Shuffle service that needs to be set for Map Reduce applications.</description></property> </configuration> -
修改workers文件
# 全部内容如下 node1 node2 node3 -
分发hadoop到其它机器
# 在node1执行
cd /export/serverscp -r hadoop-3.3.0 node2:`pwd`/
scp -r hadoop-3.3.0 node2:`pwd`/
-
在node2、node3执行
# 创建软链接 ln -s /export/server/hadoop-3.3.0 /export/server/hadoop -
创建所需目录
-
在node1执行：
mkdir -p /data/nn mkdir -p /data/dn mkdir -p /data/nm-log mkdir -p /data/nm-local -
在node2执行：
mkdir -p /data/dn mkdir -p /data/nm-log mkdir -p /data/nm-local -
在node3执行：
mkdir -p /data/dn mkdir -p /data/nm-log mkdir -p /data/nm-local
-
-
配置环境变量
在node1、node2、node3修改/etc/profile
export HADOOP_HOME=/export/server/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin执行
source /etc/profile生效 -
格式化NameNode，在node1执行
hadoop namenode -formathadoop这个命令来自于：$HADOOP_HOME/bin中的程序
由于配置了环境变量PATH，所以可以在任意位置执行hadoop命令哦
-
启动hadoop的hdfs集群，在node1执行即可
start-dfs.sh# 如需停止可以执行 stop-dfs.shstart-dfs.sh这个命令来自于：$HADOOP_HOME/sbin中的程序
由于配置了环境变量PATH，所以可以在任意位置执行start-dfs.sh命令哦
-
启动hadoop的yarn集群，在node1执行即可
start-yarn.sh# 如需停止可以执行 stop-yarn.sh -
启动历史服务器
mapred --daemon start historyserver# 如需停止将start更换为stop -
启动web代理服务器
yarn-daemon.sh start proxyserver# 如需停止将start更换为stop
验证Hadoop集群运行情况
-
在node1、node2、node3上通过jps验证进程是否都启动成功
-
验证HDFS，浏览器打开：http://node1:9870
创建文件test.txt，随意填入内容，并执行：
hadoop fs -put test.txt /test.txthadoop fs -cat /test.txt -
验证YARN，浏览器打开：http://node1:8088
执行：
# 创建文件words.txt，填入如下内容 itheima itcast hadoop itheima hadoop hadoop itheima itcast# 将文件上传到HDFS中 hadoop fs -put words.txt /words.txt# 执行如下命令验证YARN是否正常 hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount -Dmapred.job.queue.name=root.root /words.txt /output
大数据NoSQL数据库HBase集群部署
简介
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。
和Redis一样，HBase是一款KeyValue型存储的数据库。
不过和Redis设计方向不同
- Redis设计为少量数据，超快检索
- HBase设计为海量数据，快速检索
HBase在大数据领域应用十分广泛，现在我们来在node1、node2、node3上部署HBase集群。
安装
-
HBase依赖Zookeeper、JDK、Hadoop（HDFS），请确保已经完成前面
- 集群化软件前置准备（JDK）
- Zookeeper
- Hadoop
- 这些环节的软件安装
-
【node1执行】下载HBase安装包
# 下载 wget http://archive.apache.org/dist/hbase/2.1.0/hbase-2.1.0-bin.tar.gz# 解压 tar -zxvf hbase-2.1.0-bin.tar.gz -C /export/server# 配置软链接 ln -s /export/server/hbase-2.1.0 /export/server/hbase -
【node1执行】，修改配置文件，修改
conf/hbase-env.sh文件# 在28行配置JAVA_HOME export JAVA_HOME=/export/server/jdk # 在126行配置： # 意思表示，不使用HBase自带的Zookeeper，而是用独立Zookeeper export HBASE_MANAGES_ZK=false # 在任意行，比如26行，添加如下内容： export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUP="true" -
【node1执行】，修改配置文件，修改
conf/hbase-site.xml文件# 将文件的全部内容替换成如下内容： <configuration><!-- HBase数据在HDFS中的存放的路径 --><property><name>hbase.rootdir</name><value>hdfs://node1:8020/hbase</value></property><!-- Hbase的运行模式。false是单机模式，true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面 --><property><name>hbase.cluster.distributed</name><value>true</value></property><!-- ZooKeeper的地址 --><property><name>hbase.zookeeper.quorum</name><value>node1,node2,node3</value></property><!-- ZooKeeper快照的存储位置 --><property><name>hbase.zookeeper.property.dataDir</name><value>/export/server/apache-zookeeper-3.6.0-bin/data</value></property><!-- V2.1版本，在分布式情况下, 设置为false --><property><name>hbase.unsafe.stream.capability.enforce</name><value>false</value></property> </configuration> -
【node1执行】，修改配置文件，修改
conf/regionservers文件# 填入如下内容 node1 node2 node3 -
【node1执行】，分发hbase到其它机器
scp -r /export/server/hbase-2.1.0 node2:/export/server/ scp -r /export/server/hbase-2.1.0 node3:/export/server/ -
【node2、node3执行】，配置软链接
ln -s /export/server/hbase-2.1.0 /export/server/hbase -
【node1、node2、node3执行】，配置环境变量
# 配置在/etc/profile内，追加如下两行 export HBASE_HOME=/export/server/hbase export PATH=$HBASE_HOME/bin:$PATHsource /etc/profile -
【node1执行】启动HBase
请确保：Hadoop HDFS、Zookeeper是已经启动了的
start-hbase.sh# 如需停止可使用 stop-hbase.sh由于我们配置了环境变量export PATH= P A T H : PATH: PATH:HBASE_HOME/bin
start-hbase.sh即在$HBASE_HOME/bin内，所以可以无论当前目录在哪，均可直接执行
-
验证HBase
浏览器打开：http://node1:16010，即可看到HBase的WEB UI页面
-
简单测试使用HBase
【node1执行】
hbase shell# 创建表 create 'test', 'cf'# 插入数据 put 'test', 'rk001', 'cf:info', 'itheima'# 查询数据 get 'test', 'rk001'# 扫描表数据 scan 'test'
分布式内存计算Spark环境部署
注意
本小节的操作，基于：大数据集群（Hadoop生态）安装部署环节中所构建的Hadoop集群
如果没有Hadoop集群，请参阅前置内容，部署好环境。
简介
Spark是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。
Spark在大数据体系是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。
在大数据领域广泛应用，是目前世界上使用最多的大数据分布式计算引擎。
我们将基于前面构建的Hadoop集群，部署Spark Standalone集群。
安装
-
【node1执行】下载并解压
wget https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7.tgz# 解压 tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /export/server/# 软链接 ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark -
【node1执行】修改配置文件名称
# 改名 cd /export/server/spark/conf mv spark-env.sh.template spark-env.sh mv slaves.template slaves -
【node1执行】修改配置文件，
spark-env.sh## 设置JAVA安装目录 JAVA_HOME=/export/server/jdk## HADOOP软件配置文件目录，读取HDFS上文件和运行YARN集群 HADOOP_CONF_DIR=/export/server/hadoop/etc/hadoop YARN_CONF_DIR=/export/server/hadoop/etc/hadoop## 指定spark老大Master的IP和提交任务的通信端口 export SPARK_MASTER_HOST=node1 export SPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=1 SPARK_WORKER_MEMORY=1g -
【node1执行】修改配置文件，
slavesnode1 node2 node3 -
【node1执行】分发
scp -r spark-2.4.5-bin-hadoop2.7 node2:$PWD scp -r spark-2.4.5-bin-hadoop2.7 node3:$PWD -
【node2、node3执行】设置软链接
ln -s /export/server/spark-2.4.5-bin-hadoop2.7 /export/server/spark -
【node1执行】启动Spark集群
/export/server/spark/sbin/start-all.sh# 如需停止，可以 /export/server/spark/sbin/stop-all.sh -
打开Spark监控页面，浏览器打开：http://node1:8081
-
【node1执行】提交测试任务
/export/server/spark/bin/spark-submit --master spark://node1:7077 --class org.apache.spark.examples.SparkPi /export/server/spark/examples/jars/spark-examples_2.11-2.4.5.jar
分布式内存计算Flink环境部署
注意
本小节的操作，基于：大数据集群（Hadoop生态）安装部署环节中所构建的Hadoop集群
如果没有Hadoop集群，请参阅前置内容，部署好环境。
简介
Flink同Spark一样，是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。
Flink在大数据体系同样是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。
在大数据领域广泛应用，是目前世界上除去Spark以外，应用最为广泛的分布式计算引擎。
我们将基于前面构建的Hadoop集群，部署Flink Standalone集群
Spark更加偏向于离线计算而Flink更加偏向于实时计算。
安装
-
【node1操作】下载安装包
wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz# 解压 tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /export/server/# 软链接 ln -s /export/server/flink-1.10.0 /export/server/flink -
【node1操作】修改配置文件，
conf/flink-conf.yaml# jobManager 的IP地址 jobmanager.rpc.address: node1 # JobManager 的端口号 jobmanager.rpc.port: 6123 # JobManager JVM heap 内存大小 jobmanager.heap.size: 1024m # TaskManager JVM heap 内存大小 taskmanager.heap.size: 1024m # 每个 TaskManager 提供的任务 slots 数量大小 taskmanager.numberOfTaskSlots: 2 #是否进行预分配内存，默认不进行预分配，这样在我们不使用flink集群时候不会占用集群资源 taskmanager.memory.preallocate: false # 程序默认并行计算的个数 parallelism.default: 1 #JobManager的Web界面的端口（默认：8081） jobmanager.web.port: 8081 -
【node1操作】，修改配置文件，
conf/slavesnode1 node2 node3 -
【node1操作】分发Flink安装包到其它机器
cd /export/server scp -r flink-1.10.0 node2:`pwd`/ scp -r flink-1.10.0 node3:`pwd`/ -
【node2、node3操作】
# 配置软链接 ln -s /export/server/flink-1.10.0 /export/server/flink -
【node1操作】，启动Flink
/export/server/flink/bin/start-cluster.sh -
验证Flink启动
# 浏览器打开 http://node1:8081 -
提交测试任务
【node1执行】
/export/server/flink/bin/flink run /export/server/flink-1.10.0/examples/batch/WordCount.jar
相关文章：
【Linux系统基础】（2）在Linux上部署MySQL、RabbitMQ、ElasticSearch、Zookeeper、Kafka、NoSQL等各类软件
实战章节：在Linux上部署各类软件 前言 为什么学习各类软件在Linux上的部署 在前面，我们学习了许多的Linux命令和高级技巧，这些知识点比较零散，同学们跟随着课程的内容进行练习虽然可以基础掌握这些命令和技巧的使用，…...
CJson 使用 - 解析Object结构
简介 准备在开发板中使用json结构传送数据, 选用了cJson, 现在看下cJson的使用吧步骤 下载 git clone https://github.com/DaveGamble/cJSON 或者直接压缩包下载也行, 毕竟国内有时候下载不下来Qt 中使用cJson 在下载的cJson 目录中加入cJson.pri, 内容如下 INCLUDEPATH …...
MySQL8主主搭建
-- mysql8 主主搭建 mysql-8.0.35-linux-glibc2.12-x86_64.tar.xz 主1 ： 192.168.2.160 主2 ： 192.168.2.161 --解压mysql-8.0.35-linux-glibc2.12-x86_64.tar.xz为mysql8 -- 初始化mysql8 （略） -- 参数192.168.2.160 [root…...
使用Pycharm一键将.ui文件生成.py文件配置教程、一键打开QTDesigner教程
2df3621a-7ffd-4f18-9735-b86464b83a5b 前言 我痛恨所有将白嫖归为理所应当的猪🐖。 教程 打开pycharm之后，依次点击File->Settings->Tools->External Tools，进入如下界面： 1、配置快捷打开Qt Designer 点击号&…...
React 路由跳转
1. push 与 replace 模式 默认情况下，开启的是 push 模式，也就是说，每次点击跳转，都会向栈中压入一个新的地址，在点击返回时，可以返回到上一个打开的地址， 就像上图一样，我们每次返…...
【MySQL】数据处理：从SQL批量删除报错到Python优雅解决
一、背景 MySQL数据库表中有一批重复的脏数据，为不影响正常业务，需要进行批量删除。 二、SQL批量删除 首先想到的是编写SQL语句来批量删除：删除身份证号为51****59且ID不为5的全部数据（保留ID为5的那一条数据） DELETE FROM test_table WHERE id IN ( SELECT i…...
Rust 软件测试
Rust 第18节 软件测试 测试已写的函数 在创建每一个lib crate时，rust都会自动生产一个测试 mod;名字为tests; tests mod 被属性 #[cfg(test)] 修饰，用于测试； 在mod 内，需要在函数头上加属性 #[test]进行修饰，让其变为…...
win11下配置visual studio 2022+PCL1.13.1
第一部分：visual studio2022 安装 vs官网网址如下：https://visualstudio.microsoft.com/zh-hans/vs/ 第一步：我们打开官网链接，按如下操作点击下载免费版本的exe文件 第二步：打开下载目录下的安装文件进行安装&#…...
智能优化算法应用：基于法医调查算法3D无线传感器网络(WSN)覆盖优化 - 附代码
智能优化算法应用：基于法医调查算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用：基于法医调查算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.法医调查算法4.实验参数设定5.算法结果6.…...
【分享】4个方法打开PDF文件
PDF是很多人工作中经常使用的电子文档格式，但是可能有些刚接触的小伙伴不知道用什么工具来打开PDF文件，今天小编就来分享一下4种常用的工具。 1. 使用浏览器 只要有电脑基本都会安装一到两款浏览器，其实浏览器也可以用来打开PDF文件。 只需…...
React 调试
React 调试 console 调试 console.log console.info console.warn console.error console.time() & console.timeEnd() console.count() debugger调试 chrome断点调试 chrome条件断点 HTML节点复制 选中节点，使用 $0复制 JavaScript对象复制 copy…...
List 流的使用
摘要 本文将介绍在 Java 1.8 中对 List 进行流操作的使用方法。引入的 java.util.stream 包为开发者提供了一种更为便捷和强大的方式来处理集合数据。通过使用流，我们能够以声明性的方式进行集合操作，减少了样板代码，提高了代码的可读性和可…...
设计模式：单例模式（使用c++分别实现饿汉式单例、带双重检查锁定机制的懒汉式单例以及IoDH技术的单例）
单例模式 引言正文1. 饿汉式单例2. 带双重检查锁定机制的懒汉式单例3. IoDH技术的单例 结论优点饿汉式单例带双重检查锁定机制的懒汉式单例IoDH技术的单例 缺点饿汉式单例带双重检查锁定机制的懒汉式单例IoDH技术的单例 引言 在软件开发中，单例模式是一种很常用的设…...
[编程相关]正则表达式Regex语法
--目录-- 0. 前言1. 正则语法2. 正则搜索语法（1）字符集 Character_Classes（2）锚定符 Anchors（3）计数 Quantifiers（4）分组与索引 Group_And_Reference（5）周围 …...
axios实例配置和使用
一.vite项目中引入axios 1.1.安装axios pnpm add axios --save 二.配置axios实例 2.1实例配置 import axios from ‘axios’ import router from ‘/router’ const instance axios.create({ baseURL:“http://127.0.0.1:8080”, timeout:10*1000, //最长响应时间 }) instan…...
uni-app 工程目录结构介绍
锋哥原创的uni-app视频教程： 2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中..._哔哩哔哩_bilibili2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中...共计23条视频，包括：第1讲 uni…...
YOLOv8改进 | 主干篇 | 利用SENetV2改进网络结构 (全网首发改进)
一、本文介绍 本文给大家带来的改进机制是SENetV2，其是2023.11月的最新机制(所以大家想要发论文的可以在上面下点功夫)，其是一种通过调整卷积网络中的通道关系来提升性能的网络结构。SENet并不是一个独立的网络模型，而是一个可以和现有的任何…...
TUP实现一对一聊天
package TCP; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import java.net.ServerSocket; import java.net.Socket; import java.util.Scanner; /** * 发送消息线程 */ class Send ext…...
Kafka设计原理详解
Kafka核心总控制器 (Controller) 在Kafka集群中，通常会有一个或多个broker，其中一个会被选举为控制器 (Kafka Controller)，其主要职责是管理整个集群中所有分区和副本的状态。具体来说： 当某个分区的leader副本出现故障时&#…...
光耦继电器
光耦继电器（光电继电器） AQW282SX 282SZ 280SX 280SZ 284SX 284SZ 212S 212SX 21 2SZ 文章目录 光耦继电器（光电继电器）前言一、光耦继电器是什么二、光耦继电器的类型三、光电耦合器的应用总结前言 光耦继电器在工业控制、通讯、医疗设备、家电及汽车电子等领域得到广泛应…...
【C++练级之路】【Lv.5】动态内存管理（都2023年了，不会有人还不知道new吧？）
目录 一、C/C内存分布二、new和delete的使用方式2.1 C语言内存管理2.2 C内存管理2.2.1 new和delete操作内置类型2.2.2 new和delete操作自定义类型 三、new和delete的底层原理3.1 operator new与operator delete函数3.2 原理总结3.2.1 内置类型3.2.2 自定义类型 四、定位new表达…...
2016年第五届数学建模国际赛小美赛A题臭氧消耗预测解题全过程文档及程序
2016年第五届数学建模国际赛小美赛 A题 臭氧消耗预测 原题再现： 臭氧消耗包括自1970年代后期以来观察到的若干现象：地球平流层（臭氧层）臭氧总量稳步下降，以及地球极地附近平流层臭氧（称为臭氧空洞&#x…...
springMVC-与spring整合
一、基本介绍 在项目开发中，spring管理的 Service和 Respository，SrpingMVC管理 Controller和ControllerAdvice,分工明确 当我们同时配置application.xml, springDispatcherServlet-servlet.xml , 那么注解的对象会被创建两次， 故…...
【二叉树】【单调双向队列】LeetCode239:滑动窗口最大值
作者推荐 map|动态规划|单调栈|LeetCode975:奇偶跳 涉及知识点 单调双向队列 二叉树 题目 给你一个整数数组 nums，有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。你只可以看到在滑动窗口内的 k 个数字。滑动窗口每次只向右移动一位。 返回 滑动…...
如何使用树莓派Bookworm系统中配置网络的新方法NetworkManager
树莓派在 10 月新出的 Bookworm 版本系统中，将使用多年的 dhcpcd 换成了 NetworkManager（以前是在rasp-config中可选），这是因为 Raspberry Pi OS 使用的是 Debian 内核（和 Ubuntu 一样），所以树莓…...
恶意软件分析沙箱在网络安全策略中处于什么位置？
恶意软件分析沙箱提供了一种全面的恶意软件分析方法，包括静态和动态技术。这种全面的评估可以更全面地了解恶意软件的功能和潜在影响。然而，许多组织在确定在其安全基础设施中实施沙箱的最有效方法方面面临挑战。让我们看一下可以有效利用沙盒解决方案的…...
ARM学习（24）Can的高阶认识和错误处理
笔者来聊一下CAN协议帧的认识和错误处理。 1、CAN协议帧认识 CAN 差分信号，是经过CAN收发器转成差分信号的，CAN RX和TX是逻辑电平。CAN的基础知识，可参考笔者这边文章：ARM学习（21）STM32 外设Can的认识与驱…...
网络通信--深入理解网络和TCP / IP协议
计算机网络体系结构 TCP/IP协议族 TCP / IP 网络传输中的数据术语 网络通信中的地址和端口 window端查看IP地址和MAC地址：ipconfig -all MAC层地址是在数据链路层的；IP工作在网络层的 MAC是48个字节，IP是32个字节 在子网（局域…...
IPC之九：使用UNIX Domain Socket进行进程间通信的实例
socket 编程是一种用于网络通信的编程方式，在 socket 的协议族中除了常用的 AF_INET、AF_RAW、AF_NETLINK等以外，还有一个专门用于 IPC 的协议族 AF_UNIX，IPC 是 Linux 编程中一个重要的概念，常用的 IPC 方式有管道、消息队列、共…...
学习在UE中通过Omniverse实现对USD文件的Live-Sync(实时同步编辑)
目标 前一篇 学习了Omniverse的一些基础概念。本篇在了解这些概念的基础上，我想体验下Omniverse的一些具体的能力，特别是 Live-Sync (实时同步) 相关的能力。 本篇实践了使用Omniverse的力量在UE中建立USD文件的 Live-Sync 编辑。由于相关的知识我是从…...
实现打印一个数字金字塔。例如：输入5，图形如下图所示
1*12**123***1234**** 12345*****#include<stdio.h> void main() {int i,j,l,n,k;scanf("%d",&n);/**********Program**********//********** End **********/ } 当我们拿到这个题目的时候可以看见题目给了我们五个变量，其中n是我们输入的数…...
hive sql常用函数
目录 一、数据类型 二、基础运算 三、字符串函数 1、字符串长度函数: length() 2、字符串反转函数：reverse 3、字符串连接函数 4、字符串截取函数 5、字符串分割函数：split 6、字符串查找函数 7、ascii 8、base64 9、character_length 10、c…...
Spark系列之：使用spark合并hive数据库多个分区的数据到一个分区中
Spark系列之：使用spark合并hive数据库多个分区的数据到一个分区中 把两个分区的数据合并到同一个分区下把其中一个分区的数据通过append方式添加到另一个分区即可 %spark val df spark.sql("select * from optics_prod.product_1h_a where datetime202311142…...
《重构-改善既有代
重要列表 1、如果你发现自己需要为程序添加一个特性，而代码结构使你无法很方便地达成目的，那就先重构哪个程序，使特性的添加比较容易的进行，然后再添加特性 2、重构前，先检查自己是否有一套可靠的测试机制࿰…...
vue3(七)-基础入门之事件总线与动态组件
一、事件总线 事件总线使用场景： 两个兄弟组件之间的传参，或者两个没有关联的组件之间的传参 html ：引入 publicmsg 与 acceptmsg 自定义组件 (自定义组件名称必须小写) <body><div id"app"><publicmsg></…...
【计算机网络】网络层——IP协议
目录 一. 基本概念 二. 协议报文格式 三. 网段划分 1. 第一次划分 2. CIDR方案 3. 特殊的IP地址 四. IP地址不足 1. 私有IP和公网IP 2. DHCP协议 3. 路由器 4. NAT技术 内网穿透(NAT穿透) 五. 路由转发 路由表生成算法 结束语 一. 基本概念 IP指网络互连协议…...
《钢结构设计标准》中抗震性能化设计的概念
文章目录 0. 背景1. 前言2. 什么是抗震性能化设计3. 我国规范是如何实现性能化设计的4. 从能量角度理解性能化设计05. 《钢结构设计标准》抗震性能化设计的思路06. 《钢结构设计标准》抗震性能化设计的步骤 0. 背景 关于抗震性能化设计，之前一直理解的很模糊&#…...
【算法】【动规】回文串系列问题
文章目录 跳转汇总链接3.1 回文子串3.2 最长回文子串3.3 分割回文串 IV3.4 分割回文串II(hard) 跳转汇总链接 👉🔗动态规划算法汇总链接 3.1 回文子串 🔗题目链接 给定一个字符串 s ，请计算这个字符串中有多少个回文子字符串。 …...
4-Docker命令之docker logs
1.docker logs介绍 docker logs命令是用来获取docker容器的日志 2.docker logs用法 docker logs [参数] CONTAINER [root@centos79 ~]# docker logs --helpUsage: docker logs [OPTIONS] CONTAINERFetch the logs of a containerAliases:docker container logs, docker lo…...
svelte基础语法学习
官网文档地址：绑定 / Each 块绑定 • Svelte 教程 | Svelte 中文网 1、样式 一般情况下父子组件内样式隔离、同级组件间样式隔离 2、页面布局 <style>P{color: red;} </stye><script> // 类似data let name ‘jiang’ let countVal 0 let s…...
Node.js教程-mysql模块
概述 在Node.js中，mysql模块是实现MySQL协议的JavaScript客户端工具。Node.js程序通过与MySQL建立链接，然后可对数据进行增、删、改、查等操作。 安装 由于mysql模块不是Node.js内置模块，需手动安装 npm i mysql注意：若MySQL服…...
网络通信协议
WebSocket通信 WebSocket是一种基于TCP的网络通信协议，提供了浏览器和服务器之间的全双工通信（full-duplex）能力。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接ÿ…...
Spark集群部署与架构
在大数据时代，处理海量数据需要分布式计算框架。Apache Spark作为一种强大的大数据处理工具，可以在集群中高效运行，处理数十TB甚至PB级别的数据。本文将介绍如何构建和管理Spark集群，以满足大规模数据处理的需求。 Spark集群架构…...
DshanMCU-R128s2 SDK 架构与目录结构
R128 S2 是全志提供的一款 M33(ARM)C906(RISCV-64)HIFI5(Xtensa) 三核异构 SoC，同时芯片内部 SIP 有 1M SRAM、8M LSPSRAM、8M HSPSRAM 以及 16M NORFLASH。 本文档作为 R128 FreeRTOS SDK 开发指南，旨在帮助软件开发工程师、技术支持工程师快速上手&am…...
【5G PHY】NR参考信号功率和小区总传输功率的计算
博主未授权任何人或组织机构转载博主任何原创文章，感谢各位对原创的支持！ 博主链接 本人就职于国际知名终端厂商，负责modem芯片研发。 在5G早期负责终端数据业务层、核心网相关的开发工作，目前牵头6G算力网络技术标准研究。 博客…...
k8s学习 — 各知识点快捷入口
k8s学习 — 各知识点快捷入口 k8s学习 — 第一章 核心概念 k8s学习 — 第一章 核心概念 命名空间 实践： k8s学习 — （实践）第二章 搭建k8s集群k8s学习 — （实践）第三章 深入Podk8s学习 — （实践࿰…...
【Python】Python 批量转换PDF到Excel
PDF是面向展示和打印使用的，并未考虑编辑使用，所以缺少了很多编辑属性且非常难修改PDF里面的数据。当您需要分析或修改PDF文档数据时，可以将PDF保存为Excel工作簿，实现轻松编辑数据的需求。PDF转Excel，技术关键就是提取…...
Python并行计算和分布式任务全面指南
更多Python学习内容：ipengtao.com 大家好，我是彭涛，今天为大家分享 Python并行计算和分布式任务全面指南。全文2900字，阅读大约8分钟 并发编程是现代软件开发中不可或缺的一部分，它允许程序同时执行多个任务࿰…...
微信小程序promise封装
一. 在utils文件夹内创建一个request.js 写以下封装的 wx.request() 方法 const baseURL https:// 域名 ; //公用总路径地址 export const request (params) > { //暴露出去一个函数，并且接收一个外部传入的参数let dataObj params.data || {}; //…...
hash长度扩展攻击
作为一个信息安全的人，打各个学校的CTF比赛是比较重要的！ 最近一个朋友发了道题目过来，发现有道题目比较有意思，这里跟大家分享下 这串代码的大致意思是： 这段代码首先引入了一个名为"flag.php"的文件&am…...