2024年大数据高频面试题(中篇）
文章目录
- Kafka
- 为什么要用消息队列
- 为什么选择了kafka
- kafka的组件与作用(架构)
- kafka为什么要分区
- Kafka生产者分区策略
- kafka的数据可靠性怎么保证
- ack应答机制（可问：造成数据重复和丢失的相关问题）
- 副本数据同步策略
- ISR
- kafka的副本机制
- kafka的消费分区分配策略
- Range分区分配策略
- RoundRobinAssignor分区分配策略
- StickyAssignor分区分配策略
- kafka的offset怎么维护
- kafka为什么这么快
- Kafka消费能力不足怎么处理
- kafka事务是怎么实现的
- Kafka中的数据是有序的吗
- Kafka可以按照时间消费数据吗
- Kafka单条日志传输大小
- Kafka参数优化
- Kafka适合以下应用场景
- Exactly Once语义
- Zookerper
- 特点
- 选举机制
- 新集群选举
- 非全新集群选举
- Kafka依赖Zookeeper的选举
- Kafka依赖ZK做了哪些事
- Kafka选举
- Kafka为什么要放弃ZK
- 基于ZooKeeper的Hadoop高可用
- Yarn高可用
- Flink
- 运行时架构
- Flink 应用
- 处理数据API
- 核心抽象
- Flink 异步IO
- 窗口
- Watermark （水印）
- 内存管理
- 内存模型
- 资源管理
- 调度
- 作业调度失败
- 容错
- 保存点恢复
- 端到端严格一次
- Flink SQL
- FLINK API
Kafka
为什么要用消息队列
- 解耦
允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 - 可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理
消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。 - 缓冲
有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。 - 灵活性与峰值处理能力
在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理
这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的
访问压力，而不会因为突发的超负荷的请求而完全崩溃。 - 异步通信
很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入
队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。
为什么选择了kafka
- 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒。
- 可扩展性：kafka集群支持热扩展。
- 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失。
- 容错性：允许集群中
相关文章：
2024年大数据高频面试题(中篇）
文章目录 Kafka为什么要用消息队列为什么选择了kafkakafka的组件与作用(架构)kafka为什么要分区Kafka生产者分区策略kafka的数据可靠性怎么保证ack应答机制（可问：造成数据重复和丢失的相关问题）副本数据同步策略ISRkafka的副本机制kafka的消费分区分配策略Range分区分配策略…...
Python编程工具PyCharm和Jupyter Notebook的使用差异
在编写Python程序时需要用到相应的编程工具，PyCharm和Jupyter Notebook是最常用2款软件。 PyCharm是很强大的综合编程软件，代码提示、代码自动补全、语法检验、文本彩色显示等对于新手来说实在太方便了，但在做数据分析时发现不太方便…...
顶顶通呼叫中心中间件-被叫路由、目的地绑定(mod_cti基于FreeSWITCH)
顶顶通呼叫中心中间件-被叫路由、目的地绑定(mod_cti基于FreeSWITCH) 1、配置分机 点击分机 -> 找到你需要设置的分机 ->呼叫路由设置为external，这里需要设置的分机是呼叫的并不是坐席的分机呼叫路由 2、配置拨号方案 点击拨号方案 -> 输入目的地绑定 …...
【数据集处理工具】根据COCO数据集的json标注文件实现训练与图像的文件划分
根据COCO数据集的json标注文件实现训练与图像的文件划分 一、适用场景：二、COCO数据集简介：三、场景细化：四、代码优势：五、代码 一、适用场景： 适用于一个常见的计算机视觉项目应用场景，特别是当涉及到使…...
vue 如何做一个动态的 BreadCrumb 组件，el-breadcrumb ElementUI
vue 如何做一个动态的 BreadCrumb 组件 el-breadcrumb ElementUI 一、ElementUI 中的 BreadCrumb 定义 elementUI 中的 Breadcrumb 组件是这样定义的 <template><el-breadcrumb separator"/"><el-breadcrumb-item :to"{ path: / }">主…...
FFmpeg播放视频
VS2017+FFmpeg6.2.r113110+SDL2.30.5 1.下载 ShiftMediaProject/FFmpeg 2.下载SDL2 3.新建VC++控制台应用 3.配置include和lib 4.把FFmpeg和SDL的dll 复制到工程Debug目录下，并设置调试命令...
重叠区间的求和
#摘抄 GetGeneLength/src/GetGeneLength/GetGeneLength.py at main PoShine/GetGeneLength GitHub def main(): """ Extract gene length based on featureCount calculation gene nonredundant exon length method. """ # 引…...
java包装类 及其缓存
Java 包装类（Wrapper Class）是将基本数据类型转换为对象的方式，每个基本数据类型在 java.lang 包中都有一个相应的包装类： Boolean 对应基本类型 boolean Character 对应基本类型 char Integer 对应基本类型 int Float 对应基本…...
大龄程序员的出路在哪里？
对于许多资深程序员而言，年龄并非职业发展的桎梏，反而如同陈年的美酒，随着时间的流逝愈发醇厚。他们手握的是丰富的经验和不断进阶的技能，而这些都为他们打开了职业发展的无数扇大门。让我们一同探索这些令人心动的可能性吧&#…...
Unity不用脚本实现点击按钮让另外一个物体隐藏
1.首先在场景中创建一个按钮和一个其他随便什么东西 2.点击按钮中的这个加号 3.然后将刚刚你创建的物体拖到这里来 4.然后依次点击下面这些给按钮绑定事件 5.运行游戏并点击按钮，就会发现拖进来的物体消失了 总结：如果按钮的功能单一，可以使用…...
RAG技术-为自然语言处理注入新动力
引言： 在自然语言处理（NLP）的领域中，RAG（Retrieval-Augmented Generation）技术以其独特的方式，正在改变我们与机器的交互方式。RAG技术结合了大语言模型的强大能力，使得机器在理解和…...
Docker安装ELK（简易版）
1、下载ELK镜像：打开终端，并执行以下命令以下载Elasticsearch、Logstash和Kibana的Docker镜像。您也可以根据需要选择其他版本： docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.6 docker pull docker.elastic.co/logstash…...
WPF项目实战视频《一》（主要为WPF基础知识）
1.WPF布局： Grid，stackPanel，wrapPanel，DockPanel，UniformGrid Grid 按行列布局， Grid.ColumnDefinitions列，Grid.RowDefinitions行 Grid.Row“0” Grid.Column“0” stackPanel 默认从上往下排…...
iOS ------ ARC的工作原理
一，ARC的概念 ARC (Automatic Reference Counting，自动引用计数) 是苹果公司在其编程语言（如 Objective-C 和 Swift）中的内存管理机制。ARC 通过编译器插入的代码自动管理对象的内存生命周期，减少了手动内存管理的复杂…...
【React】JSX基础
一、简介 JSX是JavaScript XML的缩写，它是一种在JavaScript代码中编写类似HTML模板的结构的方法。JSX是React框架中构建用户界面（UI）的核心方式之一。 1.什么是JSX JSX允许开发者使用类似HTML的声明式模板来构建组件。它结合了HTML的直观性…...
1分钟带你了解苹果手机删除照片恢复全过程
在日常使用苹果手机时，我们可能会不小心删除掉一些重要的照片，这让人非常烦恼。那么苹果手机怎么恢复删除的照片？下面小编将会向大家介绍苹果手机恢复删除的照片的方法，帮助大家轻松找回你丢失的照片。 一、利用“最近删除”文件夹…...
Ruby爬虫技术：深度解析Zhihu网页结构
在互联网时代，数据的价值日益凸显，尤其是在社交媒体和问答平台如Zhihu（知乎）上，用户生成的内容蕴含着丰富的信息和洞察。本文将深入探讨如何使用Ruby爬虫技术来解析Zhihu的网页结构，并获取有价值的数据。 …...
python中的re模块--正则表达式
正则表达式，又称规则表达式。（英语：Regular Expression，在代码中常简写为regex、regexp或RE），计算机科 学的一个概念。正则表达式通常被用来检索、替换那些符合某个模 式(规则)的文本 re模块作用 通过使用…...
sqlalchemy反射视图
sqlalchemy反射视图 一个名为my_view的视图，使用SQLAlchemy来操作这个视图 from sqlalchemy import create_engine, MetaData# 创建数据库连接 engine = create_engine(数据库连接字符串)# 创建一个MetaData对象 metadata = MetaData()# 反射视图 metadata.reflect(bind=eng…...
最新版康泰克完整版- Kontakt v7.10.5 for Win和Mac，支持m芯片和intel，有入库工具
一。世界最受欢迎的采样器的新篇章 Native Instruments Kontakt是采样器领域的标准，您将获得高质量的滤波器，在这里您将找到经典的模拟电路和最现代的滤波器。每一个都可以根据您的口味进行定制，并且由于它，您可以获得前所未有的声…...
设计模式和设计原则回顾
设计模式和设计原则回顾 23种设计模式是设计原则的完美体现，设计原则设计原则是设计模式的理论基石， 设计模式 在经典的设计模式分类中（如《设计模式：可复用面向对象软件的基础》一书中），总共有23种设计模式，分为三大类： 一、创建型模式（5种） 1. 单例模式（Sing…...
如何在看板中体现优先级变化
在看板中有效体现优先级变化的关键措施包括：采用颜色或标签标识优先级、设置任务排序规则、使用独立的优先级列或泳道、结合自动化规则同步优先级变化、建立定期的优先级审查流程。其中，设置任务排序规则尤其重要，因为它让看板视觉上直观地体…...
多模态商品数据接口：融合图像、语音与文字的下一代商品详情体验
一、多模态商品数据接口的技术架构 （一）多模态数据融合引擎 跨模态语义对齐 通过Transformer架构实现图像、语音、文字的语义关联。例如，当用户上传一张“蓝色连衣裙”的图片时，接口可自动提取图像中的颜色（RGB值&…...
如何为服务器生成TLS证书
TLS（Transport Layer Security）证书是确保网络通信安全的重要手段，它通过加密技术保护传输的数据不被窃听和篡改。在服务器上配置TLS证书，可以使用户通过HTTPS协议安全地访问您的网站。本文将详细介绍如何在服务器上生成一个TLS证…...
CocosCreator 之 JavaScript/TypeScript和Java的相互交互
引擎版本： 3.8.1 语言： JavaScript/TypeScript、C、Java 环境：Window 参考：Java原生反射机制 您好，我是鹤九日！ 回顾 在上篇文章中：CocosCreator Android项目接入UnityAds 广告SDK。 我们简单讲…...
DBAPI如何优雅的获取单条数据
API如何优雅的获取单条数据 案例一 对于查询类API，查询的是单条数据，比如根据主键ID查询用户信息，sql如下： select id, name, age from user where id #{id}API默认返回的数据格式是多条的，如下： {&qu…...
mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包
文章目录 现象：mysql已经安装，但是通过rpm -q 没有找mysql相关的已安装包遇到 rpm 命令找不到已经安装的 MySQL 包时，可能是因为以下几个原因：1.MySQL 不是通过 RPM 包安装的2.RPM 数据库损坏3.使用了不同的包名或路径4.使用其他包…...
安卓基础（aar）
重新设置java21的环境，临时设置 $env:JAVA_HOME "D:\Android Studio\jbr" 查看当前环境变量 JAVA_HOME 的值 echo $env:JAVA_HOME 构建ARR文件 ./gradlew :private-lib:assembleRelease 目录是这样的： MyApp/ ├── app/ …...
Python 包管理器 uv 介绍
Python 包管理器 uv 全面介绍 uv 是由 Astral（热门工具 Ruff 的开发者）推出的下一代高性能 Python 包管理器和构建工具，用 Rust 编写。它旨在解决传统工具（如 pip、virtualenv、pip-tools）的性能瓶颈，同时…...
安宝特方案丨船舶智造的“AR+AI+作业标准化管理解决方案”（装配）
船舶制造装配管理现状：装配工作依赖人工经验，装配工人凭借长期实践积累的操作技巧完成零部件组装。企业通常制定了装配作业指导书，但在实际执行中，工人对指导书的理解和遵循程度参差不齐。 船舶装配过程中的挑战与需求 挑战 (1…...