当前位置： 首页 > news >正文

大数据组件-Flink环境搭建

news 文章来源：https://blog.csdn.net/beixige/article/details/132672402 2024/10/31 23:20:43

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇

个人主页：beixi@
本文章收录于专栏（点击传送）：【大数据学习】

💓💓持续更新中，感谢各位前辈朋友们支持学习~

文章目录

    • 1.Flink组件介绍
    • 2.环境准备
    • 3.Flink搭建

1.Flink组件介绍

Flink（Apache Flink）是一个开源的流处理和批处理框架，它具有高性能、低延迟、容错性和灵活性的特点。Flink拥有强大而灵活的数据处理能力，用户可以根据自己的需求选择合适的组件和API来构建复杂的数据处理流程和批处理任务。以下是 Flink 的一些重要组件的介绍：

  • Flink Core: Flink核心组件提供了任务调度、作业管理、资源管理、容错机制和数据传输等基础功能。它负责将用户提交的作业进行解析、分配任务并对其进行执行。
  • DataStream API: DataStream API 是 Flink提供的用于处理无界流式数据的高级API。它允许用户定义有状态的流处理操作，如转换、过滤、聚合、窗口操作等。DataStream API支持事件时间和处理时间，并且具备低延迟和高吞吐量的能力。
  • DataSet API: DataSet API 是 Flink 用于处理有界静态数据集的API。它提供了类似于传统编程模型的操作符，如Map、Reduce、Join、GroupBy 等。DataSet API 适用于离线批处理任务，具有良好的可扩展性和优化能力。
  • Table API 和 SQL: Table API 和 SQL 提供了类似于关系型数据库的查询语言和操作符。用户可以使用 SQL查询和操作流或批数据，也可以在 Table API 中使用类似的操作符来处理数据。这种方式使得数据处理更加直观和易用。
  • CEP（Complex Event Processing）: Flink 提供了复杂事件处理的能力。CEP库允许用户定义规则来监测数据流中的模式和事件，并触发相应的操作。它可以用于实时监控、异常检测、欺诈检测等场景。
  • Gelly: Gelly 是 Flink的图处理库，支持执行图算法和操作。它提供了一组高级算法，如图遍历、连通性分析、最短路径等。Gelly 可以在图结构数据上进行大规模的并行计算。
  • Connectors: Flink 提供了与各种数据源和数据存储的连接器，如 Kafka、Hadoop HDFS、AmazonS3、Elasticsearch 等。这些连接器使得 Flink 可以方便地与外部系统集成，读取和写入数据。
    在这里插入图片描述

2.环境准备

本次用到的环境有：
1.Oracle Linux 7.4
2.JDK 1.8
3.Flink 1.13.0

3.Flink搭建

1.解压flink压缩文件至/opt目录下

tar -zxvf /root/experiment/file/flink-1.13.0-bin-scala_2.11.tg -C /opt

在这里插入图片描述

2.修改解压后为文件名为flink

mv /opt/flink-1.13.0 /opt/flink

在这里插入图片描述

3.修改环境变量

vim /etc/profile

在这里插入图片描述

4.按键Shift+g键定位到最后一行，按键 i 切换到输入模式下，添加如下代码

export FLINK_HOME=/opt/flink
export PATH=$PATH:$FLINK_HOME/bin

在这里插入图片描述

5.按键Esc，按键:wq保存退出
6.刷新配置文件

source /etc/profile

在这里插入图片描述

7.启动flink。

start-cluster.sh

在这里插入图片描述

8.查看flink版本信息。

flink --version

在这里插入图片描述

9.关闭flink。

stop-cluster.sh

在这里插入图片描述

至此，Flink搭建就到此结束了，如果本篇文章对你有帮助记得点赞收藏+关注~

相关文章：

大数据组件-Flink环境搭建

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 个人主页：beixi 本文章收录于专栏（点击传送）：【大数据学习】 💓💓持续更新中，感谢各位前辈朋友们支持…...

编程日记 2023/9/12 13:38:45

Java——》synchronized互斥性

推荐链接： 总结——》【Java】 总结——》【Mysql】 总结——》【Redis】 总结——》【Kafka】 总结——》【Spring】 总结——》【SpringBoot】 总结——》【MyBatis、MyBatis-Plus】 总结——》【Linux】 总结——》【MongoD…...

编程日记 2023/9/12 13:37:44

第十章 数组和指针

本章介绍以下内容： 关键字：static 运算符：&、*（一元） 如何创建并初始化数组 指针（在已学过的基础上）、指针和数组的关系 编写处理数组的函数 二维数组 人们通常借助计算机完成统计每月的支出…...

编程日记 2023/9/12 13:36:41

JVM系列 运行时数据区

系列文章目录 第一章 运行区实验 文章目录 系列文章目录前言一、堆（Heap）1.1、新生代/Young区1.1.1、Eden区1.1.2、Survival区 1.2、年老代（old区） 二、虚拟机栈（Stack）2.1、栈顶缓存技术2.2、溢出2.3、栈…...

编程日记 2023/9/12 13:35:40

软件测试/测试开发丨突破传统，革新测试：ChatGpt指引下的测试方案编写

点此获取更多相关资料 简介 测试方案是指描述需要被测产品的特性、测试的方法、测试环境的规划、测试工具的设计和选择、测试用例的设计方法、测试代码的设计方案。 我们常常需要根据产品的特性、测试策略等几个方向输出对应的测试方案。在写测试方案的过程中，常…...

编程日记 2023/9/12 13:34:39

JVM-垃圾回收器详解、参数配置

相关概念 并行和并发 并行（Parallel） 指多条垃圾收集线程并行工作，但此时用户线程仍然处于等待状态。 并发（Concurrent） 指用户线程与垃圾收集线程同时执行（但不一定是并行的，可能会交替执行…...

编程日记 2023/9/12 13:33:38

计算机算法分析与设计（1）---求算法时间复杂性（手写例题）

文章目录 一、主定理求解二、递归树求解三、递归树求解含O的递归方程 一、主定理求解 二、递归树求解 三、递归树求解含O的递归方程...

编程日记 2023/9/12 13:32:37

MyBatisPlus 分页查询

首先要定义一个配置类 MybatisConfig 放在 config 类下 他的生效是通过拦截生效的 所以是要写拦截器的 (这段拦截器的配置是固定的 CV 也可以) Configuration public class MybatisConfig{Beanpublic MybatisPlusInterceptor mybatisPlusInterceptor(){// 1.定义MybatisPlu…...

编程日记 2023/9/12 13:31:36

Kafka3.1部署和Topic主题数据生产与消费

文章目录 前言一、Kafka3.1X版本在Windows11主机部署二、Kafk生产Topic主题数据1.kafka生产数据2.JAVA kafka客户端消费数据 总结 前言 本章节主要讲述Kafka3.1X版本在Windows11主机下部署以及JAVA对Kafka应用： 一、Kafka3.1X版本在Windows11主机部署 1.安装JDK配…...

编程日记 2023/9/12 13:30:35

ICIF2023化工展首亮相，宏工科技解决方案助力制造升级

ICIF China 2023中国国际化工展览会于9月4日-6日在上海新国际博览中心举办。宏工科技携化工物料处理一站式解决方案首次亮相，同化工行业全产业链共叙物料处理自动化未来。 宏工科技是一家提供物料处理自动化设备、系统与服务的国家级高新技术企业，业务覆…...

编程日记 2023/9/12 13:29:34

本地部署kubesphere集群

本地部署kubesphere集群 本文采用一主两从结构 1.前置硬件准备 准备最少3台机器，本人分配如下 IP：192.168.58.10 （主） 192.168.58.11 （节点1） 192.168.58.12 （节点2） 系统镜像…...

编程日记 2023/9/12 13:28:34

HNU小学期工训-STC15单片机模型大作业实验报告

STC15单片机模型大作业实验报告 全称：基于STC15单片机与OLED显示模块&PC端演示的多功能声光温振时钟智能手表模型 计科210X 甘晴void 202108010XXX 【请注意：本作业入选优秀范例，直接照抄源码有很大风险】 【建议理解原理之后作改动】 …...

编程日记 2023/9/12 13:27:33

【计算机网络】 TCP协议头相关知识点

文章目录 TCP协议头 TCP协议头 我们来看一下TCP协议头里都有什么东西，研究一下为什么TCP协议是可靠的呢 TCP协议可靠是因为在协议头里带着一些校验的数据 首先是源端口和目的端口，这两个是UDP中也有的，但是UDP中只有这两个，没有…...

编程日记 2023/9/12 13:26:32

深度学习相关VO梳理

相关论文 基于学习的VO 相关： DeepVO Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks（ICRA，2017） TartanVO: A Generalizable Learning-based VO(CoRL2021) SimVODIS: Simultaneous Vis…...

编程日记 2023/9/12 13:25:31

SpringMVC---CRUD实现

思路分析 搭建环境逆向生层对应的类&#xff08;model、mapper.xml、mapper.java&#xff09;编写业务逻辑层编写web层&#xff08;控制器&#xff09;前端页面 一、环境搭建 1.1、导入项目所需依赖(pom.xml) <project xmlns"http://maven.apache.org/POM/4.0.0"…...

编程日记 2023/9/12 13:24:30

vue+elementUI el-select 自定义搜索逻辑（filter-method）

下拉列表的默认搜索是搜索label显示label,我司要求输入id显示label名称 <el-form-item label"部门&#xff1a;"><el-select v-model"form.region1" placeholder"请选择部门" filterable clearable:filter-method"dataFilter&qu…...

编程日记 2023/9/12 13:23:26

数据库——事务

事务是指作为一个整体被执行的一系列操作。在数据库管理系统中&#xff0c;事务是指一组数据库操作&#xff08;如插入、更新、删除等&#xff09;的逻辑单元&#xff0c;也就是说事务的本质是把多个操作打包成一个操作&#xff0c;并且它要么完全执行&#xff0c;要么完全不执…...

编程日记 2023/9/12 13:22:25

echarts折线图每段显示不同的颜色

效果图 配置项&#xff1a; zqChartFour: {title: {text: "一天用电量分布",subtext: "纯属虚构",},tooltip: {trigger: "axis",axisPointer: {type: "cross",},},toolbox: {show: true,feature: {saveAsImage: {},},},xAxis: {type:…...

编程日记 2023/9/12 13:21:24

设计模式-单例模式（Singleton）

文章目录 前言一、单例模式的概念二、单例模式的实现三、单例模式的应用场景四、单例模式优缺点优点&#xff1a;缺点&#xff1a;总结 前言 单例模式&#xff08;Singleton Pattern&#xff09;是一种创建型设计模式&#xff0c;它确保一个类只有一个实例&#xff0c;并提供一…...

编程日记 2023/9/12 13:20:22

优漫动游 常见的AI视频生成网站的官方网站：

1、Lumen5 Lumen5是一款在线视频制作工具&#xff0c;利用人工智能技术能够迅速将文本、和音乐转换为视频。它可以帮助你把博客文章、社交媒体内容等转化为吸引人的视频&#xff0c;从而提高你的品牌曝光率和社交媒体的参与度。 2.Animoto Animoto是一个视频制作平台&…...

编程日记 2023/9/12 13:19:21

Vue中数据可视化关系图展示与关系图分析

Vue中数据可视化关系图展示与关系图分析 数据可视化是现代Web应用程序的重要组成部分之一&#xff0c;它可以帮助我们以图形的方式呈现和分析复杂的数据关系。Vue.js是一个流行的JavaScript框架&#xff0c;它提供了强大的工具来构建数据可视化应用。本文将介绍如何使用Vue.js…...

编程日记 2023/9/12 13:18:20

【启扬方案】基于启扬安卓屏一体机的医疗手推车解决方案

医疗手推车作为医院基础设施的一部分&#xff0c;被广泛应用于医院内部&#xff0c;包括急诊室、手术室、病房和其他临床部门。伴随着互联网技术的发展和行业的渗透&#xff0c;智慧医疗受到越来越多的青睐&#xff0c;这也使得很多医疗设施得到了改进&#xff0c;医疗手推车也…...

编程日记 2023/9/12 13:17:19

JavaScript实现MD5加密的6种方式

关于MD5&#xff1a; MD5.js是通过前台js加密的方式对用户信息&#xff0c;密码等私密信息进行加密处理的工具&#xff0c;也可称为插件。 在本案例中 可以看到MD5共有6种加密方法&#xff1a; 1&#xff0c; hex_md5(value) 2&#xff0c; b64_md5(value) 3&#xff0c; …...

编程日记 2023/9/12 13:16:17

腾讯云和阿里云2核2G服务器租用价格表对比

2核2G云服务器可以选择阿里云服务器或腾讯云服务器&#xff0c;腾讯云轻量2核2G3M带宽服务器95元一年&#xff0c;阿里云轻量2核2G3M带宽优惠价108元一年&#xff0c;不只是轻量应用服务器&#xff0c;阿里云还可以选择ECS云服务器u1&#xff0c;腾讯云也可以选择CVM标准型S5云…...

编程日记 2023/9/12 13:15:16

抖音无需API开发连接Stable Diffusion，实现自动根据评论区的指令生成图像并返回

抖音用户使用场景&#xff1a; 随着AI绘图的热度不断升高&#xff0c;许多抖音达人通过录制视频介绍不同的AI工具&#xff0c;包括产品背景、使用方法以及价格等&#xff0c;以吸引更多的用户。其中&#xff0c;Stable Diffusion这款产品受到了许多博主达人的青睐。在介绍这款产…...

编程日记 2023/9/12 13:14:13

MySQL（三）

DDL&#xff08;数据定义语言&#xff09; 库 /* 创建数据库testone */ create database testone; /* 查询数据库testone */ show databases; /* 选择数据库testone */ use testone; /* 删除数据库testone */ drop database testone; 表 创建表 create table table_name (…...

编程日记 2023/9/12 13:13:12

汽车级肖特基二极管DSS220-Q 200V 2A

DSS220-Q是什么二极管&#xff1f;贵司有生产吗&#xff1f; 肖特基二极管DSS220-Q符合汽车级AEC Q101标准吗&#xff1f; DSS220-Q贴片肖特基二极管参数是什么封装&#xff1f;正向电流和反向电压是多大&#xff1f; DSS220-Q肖特基二极管需要100KK&#xff0c;有现货吗&#…...

编程日记 2023/9/12 13:12:10

maven jetty post 上传长度设置

maven jetty post 上传长度设置 <plugin><groupId>org.eclipse.jetty</groupId><artifactId>jetty-maven-plugin</artifactId><version>9.4.8.v20171121</version><configuration><scanIntervalSeconds>1</scanInter…...

编程日记 2023/9/12 13:11:09

LeetCode 面试题 03.03. 堆盘子

文章目录 一、题目二、C# 题解 一、题目 堆盘子。设想有一堆盘子&#xff0c;堆太高可能会倒下来。因此&#xff0c;在现实生活中&#xff0c;盘子堆到一定高度时&#xff0c;我们就会另外堆一堆盘子。请实现数据结构 SetOfStacks&#xff0c;模拟这种行为。SetOfStacks 应该由…...

编程日记 2023/9/12 13:10:08

Python-函数进阶

函数的多返回值 按照返回值的顺序&#xff0c; 写对应顺序的多个变量接受即可&#xff0c; 变量之间用逗号隔开&#xff0c;支持不同类型的数据return def test_return():return 1, 2, 3x, y, z test_return()print(x) print(y) print(z)函数参数种类 使用方式上的不同&am…...

编程日记 2023/9/12 13:09:03

创建企业需要什么条件/免费seo推广软件

vector<vector<Point>>::const_iterator itc contours.begin();int cmin 50;while (itc!contours.end()){if (itc->size() < cmin)itc contours.erase(itc);else itc;}...

编程日记 2024/10/31 22:47:42

有什么正网站做兼职的/厦门seo关键词优化

1 ROS必须的环境变量 执行命令&#xff1a; source /opt/ros/ROSDISTRO/setup.bash (Replace ROSDISTRO with the desired ROS distribution, e.g. indigo.)可以完成设置。 当然通常是添加该命令到&#xff5e;/.bashrc,系统启动自动设置这些必须的环境变量。 注意&#xff1a…...

编程日记 2024/10/31 21:42:56

婚纱摄影网站首页/经典网络营销案例

二、操作系统应用41.请在考生文件夹下完成如下操作&#xff1a;(1)在考生文件夹下建立“计算机基础练习”文件夹;(2)在“计算机基础练习”文件夹下建立“文字”﹑“图片”和“多媒体”三个子文件夹;(3)在考生文件夹下查找一个名为“1.BMP”的图片文件&#xff0c;将它复制到“图…...

编程日记 2024/10/31 19:57:35

买了域名后怎么建网站/竞价网络推广培训

当使用Qt进行开发时&#xff0c;qmake是一个非常常见的构建工具&#xff0c;可以通过一个简单的文本文件(.pro)来自动生成Makefiles文件&#xff0c;并将您需要的库和依赖项连接到最终生成的二进制文件中。以下是一些常见的、适用于初级程序员的qmake规则: SOURCES&#xff1a…...

编程日记 2024/10/31 18:27:31

企业营销网站建设费用预算/北京百度seo

欢迎访问 Snippet:2021/6/24 8:36 下午 致谢: &#x1f330; 手把手带你爬取小姐姐私房照&#x1f34e; 一座城市一个故事 问题概述: &#x1f433; &#x1f42d; 使用Python获取朴缜《东方幻月录》中古风城市图片 &#x1f433; &#x1f42d;方案细节 &#x1f433; 介绍…...

编程日记 2024/10/31 16:32:59

整站优化昌吉可以吗?/网站怎么做收录

第五章&#xff1a;高级数据管理 5.2数值和字符处理函数 函数可分为数值(数学、统计、概率)函数和字符处理函数。 5.2.1数学函数 5.2.2统计函数 # 统计函数的示例 z <- mean(x, trim 0.05, na.rmTRUE) # 丢弃最大5%和最小5%的数据和所有缺失值后计算得到算术平均数 newd…...

编程日记 2024/10/31 15:44:23