大数据课程D3——hadoop的Source

文章作者邮箱：[e-mail]              地址：广东惠州

 ▲ 本章节目的

⚪ 掌握Source的AVRO Source；

⚪ 掌握Source的Exec Source；

⚪ 掌握Source的Spooling Directory Source；

⚪ 掌握Source的Netcat Source；

⚪ 掌握Source的Sequence Generator Source；

⚪ 掌握Source的HTTP Source；

⚪ 掌握Source的Custom Source；

一、AVRO Source

1. 概述

1. AVRO Source监听指定的端口，接收其他节点发送来的被AVRO序列化的数据。

2. AVRO Source结合AVRO Sink可以实现更多的流动模型，包括多级流动、扇入流动以及扇出流动。

2. 配置属性

属性	解释
type	必须是avro
bind	要监听的主机的主机名或者IP
port	要监听的端口

3. 案例

1. 编辑格式文件，在格式文件中需要添加指定内容：

a1.sources = s1

a1.channels = c1

a1.sinks = k1

# 配置AVRO Source

# 必须是avro

a1.sources.s1.type = avro

# 指定要监听的主机

a1.sources.s1.bind = hadoop01

# 指定要监听的端口

a1.sources.s1.port = 8090

a1.channels.c1.type = memory

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1

a1.sinks.k1.channel = c1

2. 启动Flume。

../bin/flume-ng agent -n a1 -c ../conf -f avrosource.conf -

Dflume.root.logger=INFO,console

3. 在另一个窗口中，进入指定目录，编辑文件。

cd /home/software/apache-flume-1.9.0-bin/data

vim a.txt

4. 运行AVRO客户端。

../bin/flume-ng avro-client -H hadoop01 -p 8090 -F a.txt

二、Exec Source

1. 概述

1. Exec Source会运行指定的命令，然后将命令的执行结果作为日志进行收集。

2. 利用这个Source可以实现对文件或者其他操作的实时监听。