当前位置： 首页 > news >正文

2. Flink快速上手

news 文章来源：https://blog.csdn.net/howard2005/article/details/143340968 2025/1/12 17:34:39

文章目录

  • 1. 环境准备
    • 1.1 系统环境
    • 1.2 安装配置Java 8和Scala 2.12
    • 1.3 使用集成开发环境IntelliJ IDEA
    • 1.4 安装插件
  • 2. 创建项目
    • 2.1 创建工程
      • 2.1.1 创建Maven项目
      • 2.1.2 设置项目基本信息
      • 2.1.3 生成项目基本框架
    • 2.2 添加项目依赖
      • 2.2.1 添加Flink相关依赖
      • 2.2.2 添加slf4j-nop依赖
      • 2.2.3 刷新项目依赖
  • 3. 编写代码
    • 3.1 准备工作
      • 3.1.1更名目录
      • 3.1.2 添加scala-sdk到项目
      • 3.1.3 查看是否可以创建Scala类
      • 3.1.4 设置源目录与测试源目录
      • 3.1.5 准备数据文件
      • 3.1.6 词频统计思路
      • 3.1.7 创建包
    • 3.2 批处理
      • 3.2.1 创建单例对象
      • 3.2.2 运行程序，查看结果
      • 3.2.3 注意事项
    • 3.3 流处理
      • 3.3.1 流数据概念
      • 3.3.2 读取文件
        • 3.3.2.1 创建单例对象
        • 3.3.2.2 运行程序，查看结果
      • 3.3.3 读取文本流
        • 3.3.3.1 创建单例对象
        • 3.3.3.2 主机上启动nc
        • 3.3.3.3 启动词频统计程序
        • 3.3.3.4 主机上利用nc发送数据
        • 3.3.3.5 在控制台查看结果
  • 4. 总结

在这里插入图片描述

1. 环境准备

大家好，今天我们将一起学习如何快速上手Apache Flink。首先，我们需要准备一下环境。

1.1 系统环境

请确保您的系统环境为Windows 10。

1.2 安装配置Java 8和Scala 2.12

在开始之前，请确认您已经安装了Java 8和Scala 2.12。您可以通过命令行查看Java和Scala的版本。

java -version
scala -version

1.3 使用集成开发环境IntelliJ IDEA

我们推荐使用IntelliJ IDEA 2020.1版本作为我们的集成开发环境。

1.4 安装插件

在IDEA中，我们需要安装以下插件：

  • Maven插件
  • Git插件
  • Scala插件

这些插件将帮

相关文章：

2. Flink快速上手

文章目录 1. 环境准备1.1 系统环境1.2 安装配置Java 8和Scala 2.121.3 使用集成开发环境IntelliJ IDEA1.4 安装插件2. 创建项目2.1 创建工程2.1.1 创建Maven项目2.1.2 设置项目基本信息2.1.3 生成项目基本框架2.2 添加项目依赖2.2.1 添加Flink相关依赖2.2.2 添加slf4j-nop依赖2…...

编程日记 2024/10/30 13:56:46

Java-I/O框架06：常见字符编码、字符流抽象类

视频链接：16.16 字符流抽象类_哔哩哔哩_bilibilihttps://www.bilibili.com/video/BV1Tz4y1X7H7?spm_id_from333.788.videopod.episodes&vd_sourceb5775c3a4ea16a5306db9c7c1c1486b5&p16 1.常见字符编码 IOS-8859-1收录了除ASCII外，还包括西欧…...

编程日记 2024/10/30 13:55:46

计算机网络-MSTP的基础概念

前面我们大致了解了MSTP的由来，是为了解决STP/RSTP只有一根生成树导致的VLAN流量负载分担与次优路径问题，了解MSTP采用实例映射VLAN的方式实现多实例生成树，MSTP有很多的理论概念需要知道，其实与其它的知识一样理论复杂配置还好的…...

编程日记 2024/10/30 13:54:45

P1037 [NOIP2002 普及组] 产生数

[NOIP2002 普及组] 产生数 题目描述 给出一个整数 n n n 和 k k k 个变换规则。 规则： 一位数可变换成另一个一位数。规则的右部不能为零。 例如： n 234 , k 2 n234,k2 n234,k2。有以下两个规则： 2 ⟶ 5 2\longrightarrow 5 2⟶5。 …...

编程日记 2024/10/30 13:51:42

【分布式知识】分布式对象存储组件-Minio

文章目录 什么是minio核心特点：使用场景：开发者工具：社区和支持： 核心概念什么是对象存储？MinIO 如何确定对对象的访问权限？我可以在存储桶内按文件夹结构组织对象吗？如何备份和恢复 MinIO 上的…...

编程日记 2024/10/30 13:50:41

跨平台开发支付组件，实现支付宝支付

效果图： custom-payment ： 在生成预付订单之后页面中需要弹出一个弹层，弹层中展示的内容为支付方式（渠道），由用户选择一种支付方式进行支付。 该弹层组件是以扩展组件 uni-popup 为核心的，关于…...

编程日记 2024/10/30 13:48:38

API 接口：为电商行业高效发展注入强劲动力

一、动力之源：API 接口在电商中的角色剖析 在电商行业的广袤版图中，API 接口宛如一台强劲的发动机，是推动其高效发展的核心动力来源。它不再仅仅是一个技术工具，而是成为了连接电商各个环节的 “神经系统”，使得信息、…...

编程日记 2024/10/30 13:46:35

Golang的跨平台开发

Golang的跨平台开发 一、Golang跨平台开发概述 语言是一种开源的编程语言，由Google开发，广泛应用于云计算和网络编程领域。Golang具有并发性好、性能优异、内存管理自动化等特点，因此备受开发者青睐。其中，Golang的跨平台特性使得…...

编程日记 2024/10/30 13:44:33

txt数据转为pdf格式并使用base64解密输出

使用该方法请注意&#xff1a;因为此方法使用了base64解密&#xff0c;需要保证txt中的数据首先用了base64加密&#xff0c;如果只是普通的二进制数据&#xff0c;该方法并不适用 第一步 <dependency><groupId>org.apache.pdfbox</groupId><artifactId&…...

编程日记 2024/10/30 13:43:32

鸿蒙开发-状态+判断+循环

​&#x1f308;个人主页&#xff1a;前端青山 &#x1f525;系列专栏&#xff1a;鸿蒙开发篇 &#x1f516;人终将被年少不可得之物困其一生 依旧青山,本期给大家带来鸿蒙开发篇专栏内容:鸿蒙开发-状态判断循环 目录 1.状态1原始类型 2.引用类型 2.判断 3.循环 1.基本使用…...

编程日记 2024/10/30 13:42:31

基于SSM网上招投标管理系统的设计

管理员账户功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0c;用户管理&#xff0c;招标者管理&#xff0c;专家管理&#xff0c;项目分类管理&#xff0c;招标项目管理&#xff0c;系统管理 前台账号功能包括&#xff1a;系统首页&#xff0c;个人中心&#xff0…...

编程日记 2024/10/30 13:41:30

「C/C++」C++ 设计模式 之 单例模式（Singleton）

✨博客主页何曾参静谧的博客&#x1f4cc;文章专栏「C/C」C/C程序设计&#x1f4da;全部专栏「VS」Visual Studio「C/C」C/C程序设计「UG/NX」BlockUI集合「Win」Windows程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「PK」Parasoli…...

编程日记 2024/10/30 13:39:28

WPF的行为(Behavior)

WPF&#xff08;Windows Presentation Foundation&#xff09;是微软.NET框架中用于构建Windows客户端应用程序的UI框架。它提供了一种声明性的方式来定义用户界面&#xff0c;并且支持MVVM&#xff08;Model-View-ViewModel&#xff09;设计模式。 在WPF中&#xff0c;“行为…...

编程日记 2024/10/30 13:38:26

SpringBoot框架：闲一品交易平台的新突破

摘 要 随着科学技术的飞速发展&#xff0c;社会的方方面面、各行各业都在努力与现代的先进技术接轨&#xff0c;通过科技手段来提高自身的优势&#xff0c;闲一品交易平台当然也不能排除在外。闲一品交易平台是以实际运用为开发背景&#xff0c;运用软件工程原理和开发方法&…...

编程日记 2024/10/30 13:36:21

关于AI绘画 | Stable Diffusion 技术专栏推荐文章

AI绘画 | Stable Diffusion 技术专栏推荐文章 引言 随着人工智能技术的发展&#xff0c;AI绘画逐渐成为艺术创作的新潮流。在众多的AI绘画工具中&#xff0c;Stable Diffusion因其强大的功能和易用性受到了广泛的关注。本文将详细介绍由“泰山AI”创建的技术专栏“AI绘画 | S…...

编程日记 2024/10/30 13:34:17

Oracle 第13章：事务处理

在数据库管理系统&#xff08;DBMS&#xff09;中&#xff0c;事务处理是一个非常重要的概念&#xff0c;它确保了数据的一致性和可靠性。下面我将解释事务的概念与特性&#xff0c;并讨论如何进行事务管理。 事务的概念与特性 事务是指作为一个工作单元的一组有序的SQL操作。…...

编程日记 2024/10/30 13:33:16

String的长度有限，而我对你的思念却无限延伸

公主请阅 1. 为什么学习string类&#xff1f;2. string类的常用接口2.1 string类对象的常见构造2.1.1 string 2.2 operator[]2.3 迭代器2.4 auto自动推导数据类型2.5 范围for2.6 迭代器第二层2.7 size和length获取字符串的长度2.8 max_size 获取这个字符串能设置的最大长度2.9 …...

编程日记 2024/10/30 13:30:13

二叉树的后序遍历

给你一棵二叉树的根节点 root &#xff0c;返回其节点值的 后序遍历 。 示例 1&#xff1a; 输入&#xff1a;root [1,null,2,3] 输出&#xff1a;[3,2,1] 解释&#xff1a; 示例 2&#xff1a; 输入&#xff1a;root [1,2,3,4,5,null,8,null,null,6,7,9] 输出&#xf…...

编程日记 2024/10/30 13:28:10

Nvidia未来的Blackwell Ultra GPU将更名为B300系列

据TrendForce报道&#xff0c;英伟达&#xff08;Nvidia&#xff09;计划将其Blackwell Ultra产品线重新命名为B300系列&#xff0c;以更好地与即将推出的B100和B200产品进行区分。Blackwell Ultra系列将是一个具有更高性能的升级版本。但据报道&#xff0c;这种升级后的内存配…...

编程日记 2024/10/30 13:27:08

BUUCTF靶场Misc练习

在BUUCTF中&#xff0c;你需要留意各种关于涉及 flag{ } 的信息。只要找的到flag&#xff0c;你就算成功。本文记录我刷BUUCTF的Misc类方法和个人感悟。 Misc第一题 签到 题解在题目中&#xff0c;如图所示 flag是 flag{buu_ctf} 第二题 &#xff08;题目如图所示&#xff…...

编程日记 2024/10/30 13:23:59

ChatGPT、Python和OpenCV支持下的空天地遥感数据识别与计算——从0基础到15个案例实战

从无人机监测农田到卫星数据支持气候研究&#xff0c;空天地遥感数据正以前所未有的方式为科研和商业带来深刻变革。然而&#xff0c;对于许多专业人士而言&#xff0c;如何高效地处理、分析和应用遥感数据仍是一个充满挑战的课题。本教程应运而生&#xff0c;致力于为您搭建一…...

编程日记 2024/10/30 13:21:55

Flume采集Kafka数据到Hive

版本&#xff1a; Kafka&#xff1a;2.4.1 Flume&#xff1a;1.9.0 Hive&#xff1a;3.1.0 Kafka主题准备&#xff1a; Hive表准备&#xff1a;确保hive表为&#xff1a;分区分桶、orc存储、开启事务 Flume准备&#xff1a; 配置flume文件&#xff1a; /opt/datasophon/flume-1…...

编程日记 2024/10/30 13:20:53

大语言模型训练与推理模型构建源码解读(huggingface)

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言一、llama训练模型构建源码解读1、模型构建代码(自己搭建)2、训练模型3、模型调用方法4、训练模型init方法(class LlamaForCausalLM(LlamaPreTrainedModel))5、训练模型forward方法(class Llam…...

编程日记 2024/10/30 13:19:52

第三十三篇：TCP协议如何避免/减少网络拥塞，TCP系列八

一、流量控制 一般来说&#xff0c;我们总是希望数据传输得更快一些&#xff0c;但是如果发送方把数据发送得太快&#xff0c;接收方可能来不及接收&#xff0c;造成数据的丢失&#xff0c;数据重发&#xff0c;造成网络资源的浪费甚至网络拥塞。所谓的流量控制&#xff08;fl…...

编程日记 2024/10/30 13:18:51

并发编程（2）——线程管控

目录 二、day2 1. 线程管控 1.1 归属权转移 1.2 joining_thread 1.2.1 如何使用 joining_thread 1.3 std::jthread 1.3.1 零开销原则 1.3.2 线程停止 1.4 容器管理线程对象 1.4.1 使用容器 1.4.2 如何选择线程运行数量 1.5 线程id 二、day2 今天学习如何管理线程&a…...

编程日记 2024/10/30 13:16:50

【数据仓库】

数据仓库&#xff1a;概念、架构与应用 目录 什么是数据仓库数据仓库的特点数据仓库的架构 3.1 数据源层3.2 数据集成层&#xff08;ETL&#xff09;3.3 数据存储层3.4 数据展示与应用层 数据仓库的建模方法 4.1 星型模型4.2 雪花模型4.3 星座模型 数据仓库与数据库的区别数据…...

编程日记 2024/10/30 13:15:48

计算机毕业设计——ssm基于HTML5的互动游戏新闻网站的设计与实现录像演示2021

作者&#xff1a;程序媛9688开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等。 &#x1f31f;文末获取源码数据库&#x1f31f;感兴趣的可以先收藏起来&#xff0c;还有大家在毕设选题&#xff08;免费咨询指导选题&#xff09;&#xff0…...

编程日记 2024/10/30 13:10:43

ubuntu上申请Let‘s Encrypt HTTPS 证书

Ubuntu 16.04及以上版本通常自带Snapd&#xff0c;如果你的系统还没有安装&#xff0c;可以通过以下命令安装&#xff1a; 安装Certbot# 使用Snap安装Certbot&#xff0c;确保你获得的是最新版本&#xff1a; bash sudo snap install --classic certbot准备Certbot命令# 确保C…...

编程日记 2024/10/30 13:06:40

解决VMware虚拟机的字体过小问题

前言&#xff1a; &#xff08;1&#xff09;先装VMware VMware17Pro虚拟机安装教程(超详细)-CSDN博客 &#xff08;2&#xff09;通过清华等镜像网站安装好Ubuntu镜像&#xff0c;下面贴上链接 教程虚拟机配置我没有做&#xff0c;因为学校给了现成的虚拟机~~大家需要的自己…...

编程日记 2024/10/30 13:04:38

java-web-day6-下-知识点小结

JDBC JDBC --是sun公司定义的一套操作所有关系型数据库的规范, 也就是接口api 数据库驱动 --是各个数据库厂家根据JDBC规范的具体实现, 例如mysql的驱动依赖 Lombok 简介 Lombok是一个实用的java类库, 通过注解的方式自动生成构造器, getter/setter, equals, hashcode, toStr…...

编程日记 2024/10/30 13:03:37

月夜影院/怎么样优化网站seo

求素数只需要到i*i<x for(int i2; i*i<x i) 1、素数&#xff0c;所以没有1&#xff0c;从2开始。 2、一个数如果不是素数&#xff0c;最大的因子该是小于等于x/2&#xff0c;在大根本没法除。 3、进一步确定到根号x&#xff0c;一个数如果不是素数&#xff0c;意味着一定…...

编程日记 2025/1/12 15:21:45

推广目标包括什么/seo建站工具

神州数码客户端常见故障自查一、 客户端认证成功前故障1. 接上网线后网卡灯不亮。(确定自己电脑网卡带灯。注&#xff1a;测试期间最好是不要接交换机&#xff0c;直接接墙上端口)参考方案&#xff1a;A、更换网线&#xff1b;B、如确认是端口故障&#xff0c;则请致电网络中心…...

编程日记 2025/1/12 14:17:07

php mysql做网站登录/营销软件网站

网上看到好多朋友都通过了软考&#xff0c;我也好想参加软考&#xff0c;听说这个证含金量挺高的&#xff0c;加油,打算下半年参加考试&#xff0c;现在赶紧的看书哦&#xff0c;下面是希赛的考试资料网站&#xff0c;有时间上来多学习了&#xff0c;也希望参加过和准备参加的朋…...

编程日记 2025/1/12 13:57:48

郑州网站推广公司案例/百度收录的网站多久更新一次

如搜索框中&#xff0c;每改变一个数值就请求一次搜索接口&#xff0c;当快速的改变数值时并不需要多次请求接口&#xff0c;这就需要一个防抖函数&#xff1a; // 防抖函数 export function debounce(func, delay) { // func 函数 delay间隔时间let timerreturn function (...…...

编程日记 2025/1/12 12:45:50

wordpress编辑器字体/推广普通话手抄报内容

【用户功能模块】 (1)登录功能&#xff1a;注册普通账号登录&#xff1b;登录后可以修改用户的基本信息&#xff0c;也可以退出。 (2)浏览资讯&#xff1a;浏览网站管理发布的资讯&#xff0c;可以评论&#xff0c;评论后需要管理员审核和查看。也可以收藏资讯。 (3)关于我们…...

编程日记 2025/1/12 6:41:41

上海网站建设基础/网站运营主要做什么工作

●一份文档就是一棵节点树。●节点分为不同的类型&#xff1a;元素节点、属性节点和文本节点等。●getElementById()方法将返回一个对象&#xff0c;该对象对应着文档里的一个特定的元素节点。●getElementsByTagName()方法将返回一个对象数组&#xff0c;它们分别对应着文档里…...

编程日记 2025/1/12 4:22:29