网站页面在线设计/上海百度推广方案

引入

spark和flink的区别：在上一个spark专栏中我们了解了spark对数据的处理方式，在 Spark 生态体系中，对于批处理和流处理采用了不同的技术框架，批处理由 Spark-core,SparkSQL 实现，流处理由 Spark Streaming 实现，但是Flink 可以用同一套代码同时实现批处理和流处理。

虽然spark和flink都可以进行批处理和流处理，但是侧重点不同，spark侧重于批处理，flink侧重于流处理。而且Spark Streaming准确来说并不是严格意义上的实时，它本质上还是一种微批处理的结构，用近实时描述更准确，所以使用Spark Streaming来做实时计算会发现延时很高。这也是会出现flink去代替Spark Streaming完成实时计算的原因之一。

一、离线和实时的区别

首先要明确一个概念，离线计算也叫做批量处理，实时计算也叫做流式处理，都是同一种东西，只是叫法不同。

1、离线（批处理）和实时（流处理）的区别：

       批处理的特点是有界、大量，批处理非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实时，流处理方式无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。

二、主流实时计算框架对比

声明式：描述所需的数据转换和输出，而框架负责如何实现这些转换。它更加关注于“做什么”，而不是“如何做”。

组合式：开通过编写具体的指令来控制数据的流动和处理。

三、Spark Streaming微批处理 与Flink流式处理对比

从上图我们就可以看出Spark Streaming处理的方式是每隔一段时间，将该段时间产生的所有数据集中起来一起处理，而Flink流式处理是将数据产生一条就处理一条，这也是flink实时处理延迟低的原因。

四、Apache Flink简介

1、概述

        Apache Flink 是一个实时计算框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

2、Flink特性

十大特性：

3、Apache Flink组件栈

4、Flink API 层级具体划分

---------------------------------------------------------------------------------------------------------------------------------简要的介绍到这里结束，下一篇文章开始正式的学习。下面写一个简单的入门案例配上图解，便于对flink的理解。

五、入门案例（WordCount）

1、单词统计案例1（流处理/实时）

import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public class Demo1StreamWordCount {public static void main(String[] args) throws Exception {//1、获取flink执行环境StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();//设置任务的并行度,一个并行度相当于一个taskenvironment.setParallelism(2);//设置数据从上游发送到下游的延迟时间，也可以不设置，默认延迟为200ms/*(1)一个正整数会根据该整数周期性地触发刷新(2)0在每条记录后触发刷新，从而最大限度地减少延迟(3)-1只在输出缓冲区已满时触发刷新，从而最大限度地提高吞吐量*/environment.setBufferTimeout(200);//2、读取数据//在命令行执行nc -lk 8888来模拟实时数据生成DataStream<String> wordDS = environment.socketTextStream("master", 8888);//3、统计单词数量DataStream<Tuple2<String, Integer>> wordKVDS = wordDS.map(word->Tuple2.of(word,1), Types.TUPLE(Types.STRING,Types.INT));//3、1分组统计单词的数量KeyedStream<Tuple2<String, Integer>, String> wordKeyBY = wordKVDS.keyBy(kv -> kv.f0);//3.2对下标为1的列求和DataStream<Tuple2<String, Integer>> wordCounts = wordKeyBY.sum(1);//打印数据wordCounts.print();//启动flinkenvironment.execute();}
}

运行结果：

代码流程图解：

2、单词统计案例2（批处理/离线）

import org.apache.flink.api.common.RuntimeExecutionMode;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.KeyedStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;public class Demo2BatchWorldCounr {public static void main(String[] args) throws Exception {//1、创建Flink运行环境StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment();/**处理模式：* RuntimeExecutionMode.BATCH：批处理模式(MapReduce模型)* 1、输出最终结果* 2、批处理模式只能用于处理有界流** RuntimeExecutionMode.STREAMING:流处理模式(持续型模型)* 1、输出连续结果（换句话说就是会不断输出中间结果）* 2、流处理模式，有界流和无界流都可以处理*///设置处理模式,如果不设置，默认是流处理模式environment.setRuntimeMode(RuntimeExecutionMode.BATCH);//2、读取文件（有向流）DataStream<String> wordDs = environment.readTextFile("flink/data/words.txt");//3、统计单词数量DataStream<Tuple2<String, Integer>> kvDS = wordDs.map(word -> Tuple2.of(word, 1), Types.TUPLE(Types.STRING, Types.INT));//3.1分组统计单词数量KeyedStream<Tuple2<String, Integer>, String> keyBy = kvDS.keyBy(kv -> kv.f0);//3.2对下标为1的列求和DataStream<Tuple2<String, Integer>> wordCounts = keyBy.sum(1);//打印数据wordCounts.print();//启动flinkenvironment.execute();}
}

运行结果：

注意：在引入便提到过，上述两个案例用的都是同一套代码，flink能够使用同一套代码执行流处理和批处理，完成了流批统一（批流一体）。