当前位置： 首页 > news >正文

新河官网/杭州专业seo公司

news 文章来源：https://blog.csdn.net/yonggeit/article/details/140541946 2025/3/11 6:29:11
新河官网,杭州专业seo公司,沈阳建站,重庆餐饮网站设计文章目录 Kafka介绍及Go操作kafka详解项目背景解决方案面临的问题业界方案ELKELK方案的问题日志收集系统架构设计架构设计组件介绍将学到的技能消息队列的通信模型点对点模式 queue发布/订阅 topicKafka介绍Kafka的架构图工作流程选择partition的原则ACK应答机制Topic和数据日志…

文章目录

  • Kafka介绍及Go操作kafka详解
    • 项目背景
    • 解决方案
    • 面临的问题
    • 业界方案
      • ELK
      • ELK方案的问题
    • 日志收集系统架构设计
      • 架构设计
      • 组件介绍
      • 将学到的技能
    • 消息队列的通信模型
      • 点对点模式 queue
      • 发布/订阅 topic
    • Kafka
      • 介绍
      • Kafka的架构图
      • 工作流程
      • 选择partition的原则
      • ACK应答机制
      • Topic和数据日志
      • Partition结构
      • 消费数据
      • 使用场景
        • 消息队列（MQ）
        • 追踪网站活动
        • Metrics
        • 日志聚合
    • Kafka安装和启动
      • 下载
      • 安装
      • 修改配置
      • 启动
    • Zookeeper启动
    • LogAgent的工作流程
      • log agent开发
        • 下载安装
    • LogAgent编码
      • 存在的问题
      • 引入依赖
      • 最终版本

Kafka介绍及Go操作kafka详解

项目背景

每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登陆到服务器上查看即可满足当系统机器规模巨大，登陆到机器上查看几乎不现实（分布式的系统，一个系统部署在十几台机器上）

解决方案

把机器上的日志实时收集，统一存储到中心系统。再对这些日志建立索引，通过搜索即可快速找到对应的日志记录。通过提供一个界面友好的web页面实现日志展示与检索。

面临的问题

实时日志量非常大，每天处理几十亿条。日志准实时收集，延迟控制在分钟级别。系统的架构设计能够支持水平扩展。

业界方案

ELK

image-20200906204717091

  • AppServer：跑业务的服务器
  • Logstash Agent：
  • Elastic Search Cluster
  • Kibana Server：数据可视化
  • Browser：浏览器

ELK方案的问题

  • 运维成本高，每增加一个日志收集项，都需要手动修改配置
    • 使用etcd来管理被收集的日志项

相关文章：

Kafka介绍及Go操作kafka详解

文章目录 Kafka介绍及Go操作kafka详解项目背景解决方案面临的问题业界方案ELKELK方案的问题日志收集系统架构设计架构设计组件介绍将学到的技能消息队列的通信模型点对点模式 queue发布/订阅 topicKafka介绍Kafka的架构图工作流程选择partition的原则ACK应答机制Topic和数据日志…...

编程日记 2024/7/24 0:39:19

DAY05 CSS

文章目录 1 CSS选择器(Selectors)8. 后代(包含)选择器9. 直接子代选择器10. 兄弟选择器11. 相邻兄弟选择器12. 属性选择器 2 伪元素3 CSS样式优先级1. 相同选择器不同样式2. 相同选择器相同样式3. 继承现象4. 选择器不同权值的计算 4 CSS中的值和单位1. 颜色表示法2. 尺寸表示法…...

编程日记 2024/7/24 0:38:18

HTTPS 的加密过程 详解

HTTP 由于是明文传输，所以安全上存在以下三个风险： 窃听风险，比如通信链路上可以获取通信内容。篡改风险，比如通信内容被篡改。冒充风险，比如冒充网站。 HTTPS 在 HTTP 与 TCP 层之间加入了 SSL/TLS 协议&#xff0c…...

编程日记 2024/7/24 0:32:12

spring整合mybatis,junit纯注解开发（包括连接druid报错的所有解决方法）

目录 Spring整合mybatis开发步骤 第一步：创建我们的数据表 第二步：编写对应的实体类 第三步：在pom.xml中导入我们所需要的坐标 spring所依赖的坐标 mybatis所依赖的坐标 druid数据源坐标 数据库驱动依赖 第四步：编写SpringC…...

编程日记 2024/7/24 0:31:11

ClusterIP、NodePort、LoadBalancer 和 ExternalName

Service 定义 在 Kubernetes 中，由于Pod 是有生命周期的，如果 Pod 重启它的 IP 可能会发生变化以及升级的时候会重建 Pod，我们需要 Service 服务去动态的关联这些 Pod 的 IP 和端口，从而使我们前端用户访问不受后端变更的干扰。 …...

编程日记 2024/7/24 0:30:10

【Day1415】Bean管理、SpringBoot 原理、总结、Maven 高级

0 SpringBoot 配置优先级 从上到下 虽然 springboot 支持多种格式配置文件，但是在项目开发时，推荐统一使用一种格式的配置 （yml是主流） 1 Bean管理 1.1 从 IOC 容器中获取 Bean 1.2 Bean 作品域 可以通过注解 Scope("proto…...

编程日记 2024/7/24 0:29:09

Git之repo sync -c与repo sync -dc用法区别(四十八)

简介： CSDN博客专家，专注Android/Linux系统，分享多mic语音方案、音视频、编解码等技术，与大家一起成长！ 优质专栏：Audio工程师进阶系列【原创干货持续更新中……】🚀 优质专栏：多媒…...

编程日记 2024/7/24 0:22:02

vite + vue3 + uniapp 项目从零搭建

vite + vue3 + uniapp 项目从零搭建 1、创建项目1.1、创建Vue3/vite版Uniapp项目1.2、安装依赖1.3、运行项目2、弹出 用户隐私保护提示 方法2.1、更新用户隐私保护指引 和 修改配置文件2.2、授权结果处理方法3、修改`App.vue`文件内容4、处理报`[plugin:uni:mp-using-component…...

编程日记 2024/7/24 0:21:02

在CentOS中配置三个节点之间相互SSH免密登陆

在CentOS中配置三个节点（假设分别为node1、node2、node3）两两之间相互SSH免密登陆，可以按照以下步骤进行： 一、生成密钥对 在所有节点上生成密钥对： 在每个节点（node1、node2、node3）上执行以…...

编程日记 2024/7/24 0:20:01

arm 内联汇编基础

一、 Arm架构寄存器体系熟悉 基于arm neon 实现的代码有 intrinsic 和inline assembly 两种实现。 1.1 通用寄存器 arm v7 有 16 个 32-bit 通用寄存器，用 r0-r15 表示。 arm v8 有 31 个 64-bit 通用寄存器，用 x0-x30 表示，和 v7 不一样…...

编程日记 2024/7/24 0:16:58

Java语言程序设计——篇五（1）

数组 概述数组定义实例展示实战演练 二维数组定义数组元素的使用数组初始化器实战演练：矩阵计算 💫不规则二维数组实战演练：杨辉三角形 概述 ⚡️数组是相同数据类型的元素集合。各元素是有先后顺序的，它们在内存中按照这个先后顺…...

编程日记 2024/7/24 0:15:56

【香橙派开发板测试】：在黑科技Orange Pi AIpro部署YOLOv8深度学习纤维分割检测模型

文章目录 🚀🚀🚀前言一、1️⃣ Orange Pi AIpro开发板相关介绍1.1 🎓 核心配置1.2 ✨开发板接口详情图1.3 ⭐️开箱展示 二、2️⃣配置开发板详细教程2.1 🎓 烧录镜像系统2.2 ✨配置网络2.3 ⭐️使用SSH连接主板 三、…...

编程日记 2024/7/24 0:13:55

集成学习在数学建模中的应用

集成学习在数学建模中的应用 一、集成学习概述（一）基知（二）相关术语（三）集成学习为何能提高性能？（四）集成学习方法 二、Bagging方法（一）装袋&…...

编程日记 2024/7/24 0:11:53

WebKit 的 Web SQL 数据库：现代浏览器的本地存储解决方案

WebKit 的 Web SQL 数据库：现代浏览器的本地存储解决方案 随着Web应用的不断发展，对本地存储的需求也日益增加。WebKit作为许多现代浏览器的核心引擎，提供了一种强大的本地存储解决方案：Web SQL 数据库。本文将详细探讨Web SQL 数…...

编程日记 2024/7/24 0:09:51

Yolo-World网络模型结构及原理分析（三）——RepVL-PAN

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言1. 网络结构2. 特征融合3. 文本引导（Text-guided）4. 图像池化注意力（Image-Pooling Attention）5. 区域文本匹配&…...

编程日记 2024/7/24 0:08:49

代码随想录——一和零（Leetcode474）

题目链接 0-1背包 class Solution {public int findMaxForm(String[] strs, int m, int n) {// 本题m，n为背包两个维度// dp[i][j]:最多右i个0和j个1的strs的最大子集大小int[][] dp new int[m 1][n 1];// 遍历strs中字符串for(String str : strs){int num0 …...

编程日记 2024/7/24 0:06:47

力扣题解（组合总和IV）

377. 组合总和 Ⅳ 给你一个由 不同 整数组成的数组 nums ，和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。 题目数据保证答案符合 32 位整数范围。 思路： 本题实质上是给一些数字，让他们在满足和是targ…...

编程日记 2024/7/24 0:05:46

Postgresql主键自增的方法

Postgresql主键自增的方法 一.方法（一） 使用 serial PRIMARY KEY 插入数据 二.方法（二） 🎈边走、边悟🎈迟早会好 一.方法（一） 使用 serial PRIMARY KEY 建表语句如下&#xf…...

编程日记 2024/7/24 0:02:44

【源码阅读】Sony的go breaker熔断器源码探究

文章目录 背景源码分析总结 背景 在微服务时代，服务和服务之间调用、跨部门调用都是很常见的事，但这些调用都存在很多不确定因素，如核心服务A依赖的部门B服务挂掉了，那么A本身的功能将会受到直接的影响，而这些都会影响…...

编程日记 2024/7/24 0:01:43

LeetCode题（66,69,35,88）--《c++》

66.加一 // // Created by wxj05 on 2024/7/20. // //法一 class Solution { public:vector<int> plusOne(vector<int>& digits) {bool carry true; // 进位标志for (int i digits.size() - 1; i > 0 && carry; --i) {digits[i] 1;carry digit…...

编程日记 2024/7/23 23:59:41

来参与“向日葵杯”全国教育仿真技术大赛~

可点击进行了解&#xff1a;“向日葵杯”全国教育仿真技术大赛 (sunmooc.cn) 本次大赛共分为四个赛道&#xff1a;自主命题赛道、教育知识图谱设计赛道、FPGA硬件扑克牌对抗赛道、EasyAR元宇宙空间设计赛道。 参赛对象 &#xff1a; 具有正式学籍的在校研究生&#xff0c;本科…...

编程日记 2024/7/23 23:58:39

SQL每日一题：删除重复电子邮箱

题干 表: Person -------------------- | Column Name | Type | -------------------- | id | int | | email | varchar | -------------------- id 是该表的主键列(具有唯一值的列)。 该表的每一行包含一封电子邮件。电子邮件将不包含大写字母。 编写解决方案 删除 所有重复…...

编程日记 2024/7/23 23:57:38

3、宠物商店智能合约实战（truffle智能合约项目实战）

3、宠物商店智能合约实战&#xff08;truffle智能合约项目实战&#xff09; 1-宠物商店环境搭建、运行2-webjs与宠物逻辑实现3-领养智能合约初始化4-宠物领养实现5-更新宠物领养状态 1-宠物商店环境搭建、运行 https://www.trufflesuite.com/boxes/pet-shop 这个还是不行 或者…...

编程日记 2024/7/23 23:55:37

数据库系列

目录 一、数据库的概念和作用 1.数据库的特点 2.数据模型 二、数据库系统 1.数据库管理系统 2.数据库的基本操作 一、数据库的概念和作用 数据库是指长期存储在计算机内&#xff0c;有组织的、可共享的数据集合。它可视为一个电子化的文件柜&#xff0c;用来存储电子文件…...

编程日记 2024/7/23 23:52:34

极狐GitLab如何启用和配置PlantUML？

GitLab 是一个全球知名的一体化 DevOps 平台&#xff0c;很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab &#xff1a;https://gitlab.cn/install?channelcontent&utm_sourcecsdn 是 GitLab 在中国的发行版&#xff0c;专门为中国程序员服务。可以一键式部署…...

编程日记 2024/7/23 23:48:31

Shell 构建flutter + Android 生成Apk

具体步骤 #shell 具体实现和说明如下： echo "build_start_apk!" echo "编译此脚本的前提条件如下：" #在Android 项目的主工程下，进入主工程文件夹，创建build-android 文件夹，在其文件夹下有build-android.sh文件，此文件就是整个文章的脚本内容（…...

编程日记 2024/7/23 23:46:28

如何用手机压缩视频？手机压缩视频方法来了

高清视频的大文件大小常常成为分享和存储的障碍&#xff0c;尤其是在数据流量有限或存储空间紧张的情况下。幸运的是&#xff0c;无论是智能手机还是个人电脑&#xff0c;都有多种方法可以帮助我们轻松压缩视频文件&#xff0c;以适应不同的需求和情境。本文将介绍如何在手机上…...

编程日记 2024/7/23 23:45:27

Linux下如何安装配置Elastic Stack日志收集系统

安装和配置Elastic Stack日志收集系统&#xff0c;包括Elasticsearch、Logstash和Kibana&#xff0c;是一个相对复杂的过程。本篇文章将逐步引导您完成整个过程。 安装Java Elasticsearch、Logstash和Kibana都需要Java运行环境。首先&#xff0c;您需要在Linux系统上安装Java…...

编程日记 2024/7/23 23:40:22

【深入C++】map和set的使用

文章目录 C 中的容器分类1. 顺序容器2. 关联容器3. 无序容器4. 容器适配器5. 字符串容器6. 特殊容器 set1.构造函数2.迭代器3.容量相关的成员函数4.修改器类的成员函数5.容器相关操作的成员函数 multiset1.equal_range map1.初始化相关的函数2.迭代器3.容量相关的成员函数4.访问…...

编程日记 2024/7/23 23:38:20

跟代码执行流程，读Megatron源码（二）训练入口pretrain_gpt.py

Megatron-LM默认支持GPT、T5、BERT等多个常见模型的预训练&#xff0c;当下大模型流行&#xff0c;故以pretrain_gpt.py为例做源码的走读。 一. 启动pretrain_gpt.py pretrain_gpt.py为GPT类模型的训练入口&#xff0c;它通过命令行形式被调用&#xff0c;其精确执行路径位于M…...

编程日记 2024/7/23 23:36:18