当前位置： 首页 > news >正文

ELK日志框架图总结

news 文章来源：https://blog.csdn.net/qq_23858785/article/details/132795461 2024/11/2 20:31:34

ELK日志框架图总结

本文目录

    • ELK日志框架图总结
      • Elastic Stack介绍
      • 模式
        • 分层图
        • beats+elasticsearch+kibana模式
        • logstash+elasticsearch+kibana模式
        • beats+logstash+elasticsearch+kibana模式
        • beats+缓存/消息队列+logstash+elasticsearch+kibana模式
        • elk+springboot

Elastic Stack介绍

官网：https://www.elastic.co/cn/

ELK：日志采集，管理和分析

Elasticsearch + Kibana + Logstash

  • Elasticsearch：开源分布式搜索引擎，存储LogStash收集到的信息，进行分词搜索
  • Logstash：服务器端数据处理管道，负责日志搜集和过滤
  • Kibana：开源分析和可视化平台
  • FileBeat：转发和集中日志数据的轻量级传送工具

ELK实现的日志采集的核心是，通过 logstash 将应用系统的日志通过 input 收集，然后通过内部整理，通过 output 输出到 Elasticsearch 中，其实就是建立了一个 index，然后 kibana 作为可视化平台，将 ES 的index 进行输出到平台，通过图表的方式进行展示

版本对照：https://www.elastic.co/cn/support/matrix/#matrix_compatibility
下载地址：https://www.elastic.co/cn/downloads

Elasticsearch学习笔记：https://blog.csdn.net/u011863024/article/details/115721328
整体介绍：https://www.elastic.co/guide/en/welcome-to-elastic/current/stack-components.html

模式

分层图

beats+elasticsearch+kibana模式

logstash+elasticsearch+kibana模式

beats+logstash+elasticsearch+kibana模式

beats+缓存/消息队列+logstash+elasticsearch+kibana模式

buffering：避免收集过快导致后边的应用支撑不了

elk+springboot

相关文章：

ELK日志框架图总结

ELK日志框架图总结 本文目录 ELK日志框架图总结Elastic Stack介绍模式分层图beatselasticsearchkibana模式logstashelasticsearchkibana模式beatslogstashelasticsearchkibana模式beats缓存/消息队列logstashelasticsearchkibana模式elkspringboot Elastic Stack介绍 官网&…...

编程日记 2023/9/12 2:44:23

go 每天定时任务 --chatGPT

问：clearLog(hour，cmds),定时执行shell 命令，hour 为每天的几点，cmds 为linux命令数组字符串（如 1，{"ls","cd"}） gpt: 要编写一个 Go 函数 clearLog，该函数可…...

编程日记 2023/9/12 2:43:21

Lightdb 23.3 plorasql函数支持DML

开篇立意 oracle在函数中使用dml语句时，有两者情况。即：（1）直接使用select调用该函数；（2）在匿名块中调用该函数。 针对第一种情况我们测试一下 简单的函数： create table nested_t…...

编程日记 2023/9/12 2:42:19

电容笔值不值得买？开学季比较好用的电容笔

眼看着新学期即将到来，到底应该选择什么样的电容笔？一款原装的苹果Pencil，就卖到了将近一千块，这对于很多人来说，都是一个十分昂贵的价格。事实上，由于平替电容笔的价格非常便宜，只要一二百元就…...

编程日记 2023/9/12 2:41:18

Mybatis 框架 ( 五 ) 分页

4.6.分页 Mybatis-plus 内置分页插件, 并支持多种数据库 官网 : 分页插件 | MyBatis-Plus (baomidou.com) 4.6.1.增加拦截器 通过 MapperScan 指定 mapper接口的路径 import com.baomidou.mybatisplus.annotation.DbType; import com.baomidou.mybatisplus.extension.plug…...

编程日记 2023/9/12 2:40:17

Python模板注入

概念 发生在使用模板引擎解析用户提供的输入时。模板注入漏洞可能导致攻击者能够执行恶意代码或访问未授权的数据。 模板引擎可以让（网站）程序实现界面与数据分离，业务代码与逻辑代码分离。即也拓宽了攻击面，注入到模板中的代码可…...

编程日记 2023/9/12 2:39:16

Java常用的设计模式

单例模式（Singleton Pattern）: 确保一个类只有一个实例，并提供一个全局访问点。示例：应用程序中的配置管理器。 工厂模式（Factory Pattern）: 用于创建对象的模式，封装对象的创建过程。示例&…...

编程日记 2023/9/12 2:38:15

攻防世界-WEB-Web_php_include

打开靶机 通过代码审计可以知道，存在文件包含漏洞，并且对伪协议php://进行了过滤。 发现根目录下存在phpinfo 观察phpinfo发现如下： 这两个都为on 所以我们就可以使用data://伪协议 payload如下： - ?pagedata://text/plain,…...

编程日记 2023/9/12 2:37:13

angular中多层嵌套结构的表单如何处理回显问题

最近在处理angular表单时，有一个4层结构的表单。而且很多元素时动态生成，如下： this.validateFormthis.fb.group({storeId: ["test12"],storeNameKey:[],config:this.fb.group({ tableSize:this.fb.group({toggle:[false],groupSiz…...

编程日记 2023/9/12 2:36:12

Leetcode646. 最长数对链

Every day a Leetcode 题目来源：646. 最长数对链 解法1：动态规划 定义 dp[i] 为以 pairs[i] 为结尾的最长数对链的长度。 初始化时，dp 数组需要全部赋值为 1。 计算 dp[i] 时，可以先找出所有的满足 pairs[i][0]>pairs[j]…...

编程日记 2023/9/12 2:35:09

Windows 下安装NPM

第一步: 下载node.js的windows版 当前最新版本是https://nodejs.org/dist/ 第二步:设置环境变量 把node.exe所在目录加入到PATH环境变量中。 配置成功后可以在CMD中通过node --version 看到node.js对应的版本号 C:\Users\fn>node --version v6.10.2 第三步: 安装git 直接…...

编程日记 2023/9/12 2:34:08

【ARM CoreLink 系列 2 -- CCI-400 控制器简介】

文章目录 CCI-400 介绍DVM 机制介绍DVM 消息传输过程TOKEN 机制介绍 下篇文章：ARM CoreLink 系列 3 – CCI-550 控制器介绍 CCI-400 介绍 CCI（Cache Coherent Interconnect）是ARM 中 的Cache一致性控制器。 CCI-400 将 Interconnect 和coh…...

编程日记 2023/9/12 2:33:07

LeetCode(力扣)77. 组合Python

LeetCode77. 组合 题目链接代码 题目链接 https://leetcode.cn/problems/combinations/description/ 代码 class Solution:def combine(self, n: int, k: int) -> List[List[int]]:result []return self.backtracking(n, k, 1, [], result)def backtracking(self, n, k…...

编程日记 2023/9/12 2:32:06

uniapp h5 微信缓存，解决版本更新还是旧版本

文章目录 一、微信缓存是什么？二、如何解决1.打包入口文件解决2.给请求url加时间戳3.给打包的js文件添加时间戳并修改打包后的css文件夹 总结 一、微信缓存是什么？ 微信缓存是指微信客户端为了提高用户的使用体验，会在用户使用微信过程中将一…...

编程日记 2023/9/12 2:31:05

Nacos——Distro一致性协议

Nacos——Distro一致性协议 1. 理论 一致性一直都是分布式系统中绕不开的话题。根据CAP中，要么CP(保证强一致性牺牲可用性)，要么AP(最终一致性来保证可用性)，在市面上也有几种一致性算法，像Paxos，Raft，Zoo…...

编程日记 2023/9/12 2:30:04

大模型参数高效微调PEFT的理解和应用

简介 近年的大型语言模型（也被称作基础模型），大多是采用大量资料数据和庞大模型参数训练的结果，比如常见的ChatGPT3有175B的模型参数量。随着Large Language Model(LLM)的横空出世，网络模型对常见问题的解答有了很强的…...

编程日记 2023/9/12 2:29:03

工作游戏时mfc140u.dll丢失的解决方法，哪个方法可快速修复mfc140u.dll问题

在 Windows 操作系统中，mfc140u.dll 文件是非常重要的一个组件，许多基于 MFC（Microsoft Foundation Classes）的程序都需要依赖这个文件。然而，有些用户在运行这些程序时可能会遇到mfc140u.dll丢失的问题，导…...

编程日记 2023/9/12 2:28:02

选择排序——直接选择排序

直接选择排序：（以重复选择的思想为基础进行排序） 1、简述 顾名思义就是选出一个数，再去抉择放哪里去。 设记录R1，R2…，Rn，对i1，2，…，n-1，重复下…...

编程日记 2023/9/12 2:27:01

【C++基础】观察者模式（“发布-订阅”模式）

本文参考：观察者模式 - 摩根斯 | 爱编程的大丙 观察者模式允许我们定义一种订阅机制，可在对象事件发生时通知所有的观察者对象，使它们能够自动更新。观察者模式还有另外一个名字叫做“发布-订阅”模式。 发布者： 添加订阅者&…...

编程日记 2023/9/12 2:25:59

从业多年，我总结出软件测试工程师必须掌握的技能，你不可错过！

经常会有小伙伴询问：“测试工程师有哪些必须要掌握的技能？”这是一个非常大的课题，因为每个人从事的行业不同、岗位不同，需要掌握的技能自然也不一样。 今天小编就从不同岗位、不同行业两个大方面，来讲讲软件测试工程师…...

编程日记 2023/9/12 2:24:58

【nerfStudio】5-nerfStudio导出3D Mesh模型

几何图形的导出 在这里我们将介绍如何从nerfstudio中导出点云和网格。您将使用的主要命令是ns-export。我们将点云导出为.ply文件，纹理网格导出为.obj文件。 导出网格 1. TSDF融合 TSDF（截断有符号距离函数）融合是一种使用深度图像提取表面网格的算法。此方法适用于所有…...

编程日记 2023/9/12 2:23:57

重要公告｜投票委托已经上线，应该如何选择社区代表？

社区代表是Token持有者委托投票权的个人或团体，可以代表Token持有者在Moonbeam治理中投票。委托是可选的，允许代表在治理过程中代表更大比例的Token和Token持有者。相比社区代表，不愿投票的Token持有者可以将投票权委托给社区代表&#xff0c…...

编程日记 2023/9/12 2:22:55

【操作系统】聊聊进程、线程、协程

进程内部有那些数据 为什么创建进程的成本高 进程和线程 进程是资源分配的基本单位，而线程是程序执行的基本单位，一个是从资源分配的角度看，另一个是执行角度。 那么进程和程序的区别是什么？ 程序，一段代码&#xff…...

编程日记 2023/9/12 2:21:53

springboot 下 activiti 7会签配置与实现

流程图配置 会签实现须在 userTask 节点下的 multi instance 中配置 collection 及 completion condition; collection 会签人员列表；element variable 当前会签变量名称，类似循环中的 item;completion condition: 完成条件。 ${taskExecutionServiceIm…...

编程日记 2023/9/12 2:20:52

RK3399平台开发系列讲解（内核调试篇）spidev_test工具使用

🚀返回专栏总目录 文章目录 一、环境二、执行测试三、回环测试四、字节发送测试五、32位数据发送测试沉淀、分享、成长，让自己和他人都能有所收获！😄 📢 在 Linux 系统上，“spidev_test” 是一个用于测试和配置 SPI（Serial Peripheral Interface）设备的命令行工具。…...

编程日记 2023/9/12 2:19:51

点云从入门到精通技术详解100篇-自适应点云局部邻域特征的特征提取与配准（续）

目录 3.4 深度相机误差建模 3.5 实验结果及分析 3.5.1 TOF 相机平面畸变校正 3.5.2 TOF 相机深度误差校正...

编程日记 2023/9/12 2:18:50

VBA技术资料MF52：VBA_在Excel中突出显示前 10 个值

【分享成果，随喜正能量】一言之善，重于千金。善良不分大小，有时候你以为的一句话，小小的举手之劳，也可能就是别人的救赎！不要吝啬你的善良，因为你永远不知道那小小的善良能给多少人带来光明。。…...

编程日记 2023/9/12 2:17:49

leetcode做题笔记134. 加油站

在一条环路上有 n 个加油站，其中第 i 个加油站有汽油 gas[i] 升。 你有一辆油箱容量无限的的汽车，从第 i 个加油站开往第 i1 个加油站需要消耗汽油 cost[i] 升。你从其中的一个加油站出发，开始时油箱为空。 给定两个整数数组 gas 和 cost &…...

编程日记 2023/9/12 2:16:48

Allegro166版本如何在颜色管理器中实时显示层面操作指导

Allegro166版本如何在颜色管理器中实时显示层面操作指导 在用Allegro166进行PCB设计的时候，需要在颜色管理器中频繁的开关层面。但是166不像172一样在颜色管理器中可以实时的开关层面，如下图 需要打开Board Geometry/Soldermask_top层，首先需要勾选这个层面，再点击Apply即…...

编程日记 2023/9/12 2:15:46

纷享销客入选中国信通院《高质量数字化转型产品及服务全景图》

近期，在中国信息通信研究院主办的“2023数字生态发展大会”暨中国信通院“铸基计划”年中上，重磅发布了《高质量数字化转型产品及服务全景图（2023）》，纷享销客凭借先进的技术能力和十余年客户业务场景应用理解&#xf…...

编程日记 2023/9/12 2:14:44

做网站会犯法吗/推广方法

计算机测色配色中的操作误差分析维普资讯实 验 技 术 与 管 理 V0l20 N02 2003 57计算机测色配色中的操作误差分析周秋宝 ，方红英(1．浙江工程学院材纺学院，杭州 310033；2．杭州第六人民医院)摘 要：本文针对d…...

编程日记 2024/11/2 20:11:52

专门做网站的公司 南阳/google安卓手机下载

目前互联网上有无数个开源的建站程序可供大家选择使用，对现在的站长来说真的是容易多了，10年前我作网站的时候，一个小聊天程序也要自己一句一句的写，看看现在的开源程序，层出不穷。太多了也就不知道选哪个好了&#xf…...

编程日记 2024/11/2 15:08:01

HTTPS网站做CDN加速/哈尔滨seo优化软件

文章目录知识点解决思路案例知识点 如果字段有数据，则oracle不允许直接修改表的字段类型如果字段没有数据，可以修改表字段类型 解决思路 先对原来的字段从命名添加一个新的字段，跟原来字段名字一致，添加备注将数据复制到新的字…...

编程日记 2024/11/2 13:13:14

wordpress 游客留言/怎么自己开网站

前提条件： (1) zabbix服务器端已经成功安装并且运行。 (2) zabbix客户端已经成功建立并且运行。 1 下载并且安装msmtp软件 Wget http://sourceforge.net/projects/msmtp/files/msmtp/1.4.32/msmtp-1.4.32.tar.bz2/download tar jxvf msmtp-1.4.32.tar.bz2 cd ms…...

编程日记 2024/11/2 11:47:05

青岛市建设网站/百度网盘手机版

某天无意中看见一道关于Integer的笔试题，问下面的输出结果是多少：package test;public class Test {public static void main(String[] args) {Integer i1 127;Integer i2 127;System.err.println(i1 i2);i1 128;i2 128;System.err.println(i1 i2)…...

编程日记 2024/11/2 7:15:13

做查询网站费用/行业关键词查询

ER图(实体关系图)是一种数据库建模方法，帮助表示实体和实体之间的关系。 MySQL本身不提供画ER图的功能，你可以使用第三方工具，如： LucidchartMicrosoft VisioGliffyDraw.io 这些工具都支持画ER图，且都有免费版本。可以…...

编程日记 2024/11/2 5:34:54