5万字长文吃透快手大数据面试题及参考答案（持续更新）

目录

Flink为什么用aggregate()不用process()

为什么使用aggregate()

为什么不用process()

自定义UDF, UDTF实现步骤，有哪些方法？UDTF中的ObjectInspector了解吗？

自定义UDF实现步骤

自定义UDTF实现步骤

UDTF中的ObjectInspector

Spark Streaming和Flink的区别

Flume丢不丢数据？

Flume主要用来做什么？Flume用tail吗？

Flume的主要用途

Flume是否使用tail

Spark怎么做参数调优

参数调优步骤

Spark OOM如何处理

处理OOM的方法

不想用Spark的默认分区，怎么办？

修改Spark的默认分区

Spark自定义Partitioner 实现里面要求的方法 具体是哪几个方法？

自定义Partitioner实现方法

说一下你对元数据的理解，哪些数据算是元数据

元数据的分类

元数据的例子

描述平衡二叉搜索树的概念及其维护平衡的常见方法

维护平衡的常见方法

解释哈希冲突的原因以及解决冲突的不同策略

解决哈希冲突的策略

给出快速排序和归并排序算法的平均时间复杂度和最坏情况时间复杂度

描述图的深度优先搜索（DFS）和广度优先搜索（BFS）算法的实现细节

解释动态规划（DP）在解决组合优化问题中的应用原理

应用原理

详细讲述spark提交一个程序的整体执行流程，包括向yarn申请资源、DAG切割、TaskScheduler、执行task等过程

Spark常用算子列几个，6到8个吧

transformation跟action算子的区别

map和flatmap算子的区别

自定义UDF，UDTF，UDAf讲一下这几个函数的区别，编写的时候要继承什么类，实现什么方法

sparksql调优的方法依赖日志诊断，具体不同情况如何根据日理去调优

Spark任务调度源码实现过程

Spark Streaming的工作机制。Spark的工作机制，怎么绘制DAG的？

Spark Streaming的双流join的过程，怎么做的？讲一下。

Hive创建一个临时表有哪些方法

1. 使用 CREATE TEMPORARY TABLE 语句

2. 使用 CREATE TABLE AS SELECT (CTAS)

3. 使用 WITH 子句

讲一下三范式，三范式解决了什么问题，有什么优缺点

三范式 (3NF)

介绍一下group by max在hive的实现原理（从mr介绍一下过程），map阶段在干什么事情

GROUP BY MAX 实现原理

SQL窗口函数有哪些

HIVE窗口函数lead、lag、first_value、last_value的区别

UDF、UDTF、UDAF区别

讲一下数仓中维度建模的过程

1. 选择业务过程

2. 确定粒度

3. 确定维度

4. 确定事实表

数仓中维度表有哪几种

数仓中事实表有几种

数仓中什么是维度一致性，总线架构，事实一致性

维度一致性

总线架构

事实一致性

数仓中什么是拉链表，如何实现？

概念

实现

数仓中什么是微型纬度、支架表，什么时候会用到

微型纬度

支架表

有过数据治理的经验吗？

说一下你们公司的数据是怎么分层处理的，每一层都解决了什么问题

讲一下星型模型和雪花模型的区别，以及应用场景

星型模型

雪花模型

数据建模的几种方式了解吗，

维度建模怎么做的

事务表有几种类别，维度表呢

事务表类别

维度表类别

讲几个你工作中常用的spark 或者hive 的参数，以及这些参数做什么用的

Spark 参数

Hive 参数

工作中遇到数据倾斜处理过吗？是怎么处理的

谓词下推是什么

实现原理

连接条件写在on里和where里有什么区别

count(1)和 count()的区别

count(1)如果其中有Null值，和count()一样吗，为什么

mapreduce和spark处理distinct去重操作的执行计划以及原理

MapReduce 处理 distinct

Spark 处理 distinct

HIVE怎么把SQL转成MR了解吗？

转换过程

Hive创建一个临时表有哪些方法

数据域是什么，如何划分数据域，为什么这样划分数据域

如何划分数据域

为什么这样划分数据域

DIM层维度表的设计原则

DWD层事实表设计要点

数据库设计与优化

数据库设计原理

数据库优化技巧

数据库设计的原理知道吗，数据库设计大概有哪几个阶段

ngnix，负载均衡用的是哪个策略？iphash还是最小连接，还是权重？

码入MySQL这块怎么做的？你是通过什么往里面写数据的？要监听mysql要开始row模式吗？

监听 MySQL

HDFS怎么读文件和写文件的？

写文件

读文件

最终MR文件输出的个数取决于什么？

ZK的ZAB选举算法。他的一个选举算法。ZK里的节点类型有几种？

ZAB 选举算法

Zookeeper 的节点类型

HBase的架构。region主要是用来管理最终table的一个存储。Store里面又有什么呢？

HBase 架构

Store 组件

RowKey的设计原则？为什么不能超过一定的长度？为什么要唯一？rowkey太长会影响Hfile的存储是吧？Hfile里面会有memstore，是占内存里的，太长的话放不了太多数据，减慢检索效率。

RowKey 设计原则

RowKey 长度的影响

Hbase是按字典序存储的，所以要利用这个排序的特点。

利用排序的特点

Kafka概念与实践

Kafka 的概念

Kafka 的实践

Kafka的isr和osr。ack有几种值？

ISR (In-Sync Replicas)

OSR (Out-of-Sync Replicas)

Acknowledgments (acks)

Kafka基本原理说一下

Kafka 基本原理

Consumer Group中Consumer和Partition的对应关系

对应关系

Kafka支持什么语义（三种语义），怎么实现Exactly Once

三种消息传递语义

实现Exactly Once

Kafka基本原理说一下，和其他的MQ相比的优势

Kafka 基本原理

Kafka 与其他 MQ 相比的优势

Kafka消费者怎么从Kafka取数据的

Kafka消费者怎么保证有序性

Kafka生产者怎么保证不丢不重复（幂等）

Scala的模式匹配和Java有什么区别

Scala 的模式匹配特点

Java 的模式匹配特点

用Kafka的过程中有过什么问题，怎么解决

讲一下kafka对接flume 有几种方式

讲一下spark是如何将一个sql翻译成代码执行的，里面的原理介绍一下？

spark 程序里面的count distinct 具体是如何执行的

hadoop reduce怎么知道去哪里拉去task任务结果

hadoop task、reduce数量如何确定

CAP介绍一下吧，为什么只能3选2

为什么只能3选2

Java多线程了解吗？用Java语言写个生产者消费者模型

id department salary manager_id 找出员工薪水比领导薪水高的人员

有这样一个需求，统计一个用户的已经曝光了某一个页面，想追根溯是从哪几个页面过来的，然后求出在这几个来源所占的比例。你要怎么建模处理？

Java语言实现有序链表合并

n*m的带有数字的矩阵，从左上角走到右下角，问最短的路径上经过的数字的和是多少？

2. student course score 找出哪些学生课程比平均课程成绩高？

给出SQL ，用户关注表有user_id、user_follower_id，求相互关注的用户对(当数据量大的时候，如何不使用join来求相互关注，因为当时场景给定的id是字符abcd，可以考虑使用concat)

给一个字符串，返回所有符合的ip地址，给出代码实现

用sql来实现点击率计算

---

Flink为什么用aggregate()不用process()

在Apache Flink中，aggregate()和process()是两种不同的操作方式。aggregate()主要用于对流或批处理数据进行聚合操作，而process()则提供了更高级的事件处理能力，允许用户自定义如何处理每个元素。

为什么使用aggregate()

1. 简化聚合操作： aggregate()函数通常用于简单的聚合场景，例如计算流数据的总和、平均值等。它简化了常见的聚合操作，使得代码更加简洁易读。

2. 性能优势： 使用agg