当前位置： 首页 > news >正文

29.1 时序监控和日志监控的对比，分析日志监控的核心诉求

news 文章来源：https://blog.csdn.net/weixin_48502062/article/details/143415723 2025/1/3 1:20:23

本节重点介绍 :

  • 监控系统分类
  • 时序监控和日志监控的对比
  • 轻量日志监控系统的诉求

监控系统分类

监控系统按照原理和作用大致可以分为三类

  • 日志类（Log）
  • 调用链类（Tracing）
  • 度量类（Metrics）

日志类（Log）介绍

  • 日志类比较常见，我们的框架代码、系统环境、以及业务逻辑中一般都会产出一些日志
  • 这些日志我们通常把它记录后统一收集起来，方便在需要的时候进行查询。
  • 日志类记录的信息一般是一些事件、非结构化的一些文本内容
  • 日志的输出和处理的解决方案比较多，大家熟知的有 ELK Stack 方案（Elasticseach + Logstash + Kibana）log01.png

时序监控和日志监控的对比

  • 日志监控属于非侵入监控
    • 意思是不像时序监控那样必须引用sdk代码才能打点
    • 业务只需要写入日志，提供日志的路径等信息，日志监控系统就可以采集到
  • 日志监控提供更原始的时间戳
    • 因为只要能采集到原始日志，那么时间戳相对精准一点
    • 时序监控在时间戳上会有偏移的处理

elk等日志监控系统的弊端

  • 存储使用es
  • es无论你查不查，巨大的全文索引开销必须时刻承担

轻量日志监控系统的诉求

总结起来就是日志转时序

算qps

  • 比如统计 nginx日志中code=200的qps
  • 对应就是 每隔10秒grep一下日志文件 ，用增量/时间差 算出qps

日志关键字告警

错误类型的关键字举例

  • 如应用连接mysql报错dial mysql host error
  • 如redis同步失败报错cannot sync data
  • 如进程被oom kill了Out of Memory (OOM) killer

诉求和解决方案

  • 出现上述错误类型进行报警
  • 但并不需要存储全量的日志
  • 所以可以通过日志转时序解决
    • 将日志流信息转换计算后推送给时序监控系统

本节重点总结 :

  • 监控系统分类
  • 时序监控和日志监控的对比
  • 轻量日志监控系统的诉求

相关文章：

29.1 时序监控和日志监控的对比，分析日志监控的核心诉求

本节重点介绍 : 监控系统分类时序监控和日志监控的对比轻量日志监控系统的诉求 监控系统分类 监控系统按照原理和作用大致可以分为三类 日志类（Log）调用链类（Tracing）度量类（Metrics） 日志类&#xff08…...

编程日记 2024/10/31 20:50:29

git仓库分支

操作 切换分支 git checkout 1.2.5 git checkout 1.3.0 使用命令切换分支之后，代码内容加载过后也是切换好的...

编程日记 2024/10/31 20:48:23

多模态机器学习在精准健康中的应用--九五小庞

这篇综述文章探讨了将多模态数据融合应用于医疗诊断和预后预测的最新研究进展。 本文作者们确定了三个主要的研究问题：多模态数据融合在健康领域的文献特征是什么？用于分析多模态健康数据的不同分析技术、方法和策略是什么？不同类型的异构数…...

编程日记 2024/10/31 20:47:22

提升网站速度与性能优化的有效策略与实践

内容概要 在数字化快速发展的今天，网站速度与性能优化显得尤为重要，它直接影响用户的浏览体验。用户在访问网站时，往往希望能够迅速获取信息，若加载时间过长，轻易可能导致他们转向其他更为流畅的网站。因此&#xff0…...

编程日记 2024/10/31 20:46:21

MySQL索引从基础到原理，看这一篇就够了

https://developer.aliyun.com/article/841106 https://zhuanlan.zhihu.com/p/29118331 索引创建使用总结 因为索引对于改善查询性能的作用是巨大的，所以我们的目标是尽量使用索引。 1. 索引的创建 • 1、在用于 where 判断 order 排序和 join 的(on)字段上创…...

编程日记 2024/10/31 20:45:19

普通高考预报名上传蓝底证件照手机自拍方法详解

普通高考预报名过程中，上传一张合规的蓝底证件照是必不可少的一步。本文将详细介绍如何使用手机自拍并使用工具来制作符合要求的蓝底证件照。注意，目前仅有广东等个别省份允许特定类型考生使用自拍照上传（例如普高预报名阶段、学考报名&#…...

编程日记 2024/10/31 20:44:18

Webserver(2.3)exec函数族

目录 exec函数族介绍execl函数execlp函数 exec函数族介绍 c语言中没有重载，因为不允许同名函数 一系列功能相似的函数称为函数族 exec函数族的作用是根据指定的文件名找到可执行文件，并用它来取代调用进程的内容。 程序在运行的时候，fork一…...

编程日记 2024/10/31 20:43:15

LeetCode Hot100 - 子串篇

前言 挑战一个月刷完力扣的hot100，记录一下每题的思路~ 这次是子串相关的题目 （1）560. 和为 K 的子数组 ①暴力枚举，使用一个变量sum记录以l开头r结尾的情况 class Solution {public int subarraySum(int[] nums, int k) {int r…...

编程日记 2024/10/31 20:42:12

【Android】Convenient ADB Commands

Install adb install -r <path>Uninstall adb uninstall <pkg>Start adb shell am start -n <pkg>/.SplashActivityStop adb shell am force-stop <pkg>Reset adb shell pm clear <pkg>Reboot adb rebootShutdown adb reboot -p...

编程日记 2024/10/31 20:36:06

elementUI 时间控件控制时间选择

选择时间大于当前月或小于2024年一月禁止选择 <el-form-item label"成交月份:" label-width"105px" ><div class"block"><el-date-pickerv-model"formData.deal_month"type"month":picker-options"pick…...

编程日记 2024/10/31 20:35:04

什么是x86架构，什么是arm架构

什么是 x86 架构&#xff1f; x86 架构是一种经典的指令集架构&#xff08;ISA&#xff09;&#xff0c;最早由英特尔在 1978 年推出&#xff0c;主要用于 PC、服务器等领域。 它是一种复杂指令集计算&#xff08;CISC&#xff09;架构&#xff0c;支持大量的复杂指令和操作&…...

编程日记 2024/10/31 20:33:01

c语言水仙花，超简单讲解

效果 3或者大于3位数 每一位的位数次方相加等于 自身 例如 153 13 53 33 结果为112527 153 1634&#xff1a; 计算过程&#xff1a; 14643444112968125616341^4 6^4 3^4 4^4 1 1296 81 256 16341464344411296812561634 过程 求得单独将所有位数的正数拎出来…...

编程日记 2024/10/31 20:30:58

Flutter 13 网络层框架架构设计，支持dio等框架。

在移动APP开发过程中&#xff0c;进行数据交互时&#xff0c;大多数情况下必须通过网络请求来实现。客户端与服务端常用的数据交互是通过HTTP请求完成。面对繁琐业务网络层&#xff0c;我们该如何通过网络层架构设计来有效解决这些问题&#xff0c;这便是网络层框架架构设计的初…...

编程日记 2024/10/31 20:29:57

Python小白学习教程从入门到入坑------第二十课 闭包修饰器（语法基础）

一、递归函数 1.1 基本信息 递归函数是指一个函数在其定义中直接或间接地调用了自身 递归在解决许多问题&#xff08;如树的遍历、图的搜索、数学中的分治算法等&#xff09;时非常有用 在Python中&#xff0c;递归函数可以通过简单的语法来实现 然而&#xff0c;使用递归…...

编程日记 2024/10/31 20:28:56

Vue+element-ui实现网页右侧快捷导航栏 Vue实现全局右侧快捷菜单功能组件

Vue+element-ui实现网页右侧快捷导航栏 Vue实现全局右侧快捷菜单功能组件 可视区域没超过当前屏幕高度时候只显示三个菜单效果 可视区域超过当前屏幕高度时，显示可回到顶部菜单的，当然这个菜单显示条件可以自定义，根据需求设置 然后将这个整体功能创建为一个全局组件 代…...

编程日记 2024/10/31 20:20:49

如何配置，npm install 是从本地安装依赖

在 Node.js 中&#xff0c;要使npm install从本地安装依赖&#xff0c;可以按照以下步骤进行配置&#xff1a; 一、准备本地依赖包 确保你有本地的依赖包。这个依赖包可以是一个包含package.json文件的文件夹&#xff0c;或者是一个已经打包好的.tgz文件。 二、使用相对路径…...

编程日记 2024/10/31 20:19:47

Python画图3个小案例之“一起看流星雨”、“爱心跳动”、“烟花绚丽”

源码如下&#xff1a; import turtle # 导入turtle库&#xff0c;用于图形绘制 import random # 导入random库&#xff0c;生成随机数 import math # 导入math库&#xff0c;进行数学计算turtle.setup(1.0, 1.0) # 设置窗口大小为屏幕大小 turtle.title("流星雨动画&…...

编程日记 2024/10/31 20:17:45

Knife4j配置 ▎使用 ▎教程 ▎实例

knife4j简介 支持 API 自动生成同步的在线文档:使用 Swagger 后可以直接通过代码生成文档,不再需要自己手动编写接口文档了,对程序员来说非常方便,可以节约写文档的时间去学习新技术。 提供 Web 页面在线测试 API:光有文档还不够,Swagger 生成的文档还支持在线测试.参数和格式都…...

编程日记 2024/10/31 20:16:44

电子电气架构 --- 车载芯片现状

我是穿拖鞋的汉子&#xff0c;魔都中坚持长期主义的汽车电子工程师。 老规矩&#xff0c;分享一段喜欢的文字&#xff0c;避免自己成为高知识低文化的工程师&#xff1a; 所有人的看法和评价都是暂时的&#xff0c;只有自己的经历是伴随一生的&#xff0c;几乎所有的担忧和畏惧…...

编程日记 2024/10/31 20:15:43

Unity 二次元三渲二

三渲二 注意&#xff1a;Unity必须是2022.3LTS及以上和URP项目&#xff01;&#xff01;&#xff01; 下载三渲二插件 【如何将原神的角色导入Unity】全网最细致教程&#xff0c;全程干货。不使用任何收费插件&#xff0c;使用Spring Bone对头发和衣服进行物理模拟。_原神 步…...

编程日记 2024/10/31 20:14:42

echart实现地图数据可视化

文章目录 [TOC](文章目录) 前言一、基本地图展示2.数据可视化 总结 前言 最近工作安排使用echarts来制作图形报表&#xff0c;记录一下我的步骤&#xff0c;需求呈现一个地图&#xff0c;地图显示标签&#xff0c;根据业务指标值给地图不同省市填充不同颜色&#xff0c;鼠标放…...

编程日记 2024/10/31 20:10:38

网关三问：为什么微服务需要网关？什么是微服务网关？网关怎么选型？

文章整体介绍 本文旨在解答关于微服务网关的三个核心问题&#xff1a; 1&#xff09;为什么需要网关&#xff1f;也即在何种场景下应采用微服务网关以优化系统架构&#xff1b; 2&#xff09;什么是微服务网关&#xff1f;主要讲构成微服务网关的关键能力&#xff0c;包括但…...

编程日记 2024/10/31 20:09:37

Mybatis-plus解决兼容oracle批量插入

本博客借鉴网上很多大佬的答案&#xff0c;东拼西凑&#xff0c;最终在项目中完成批量插入&#xff0c;仅供参考~~~ 1. 自定义SQL注入器 新建一个名为EasySqlInjector的类&#xff0c;继承DefaultSqlInjector。 public class EasySqlInjector extends DefaultSqlInjector {O…...

编程日记 2024/10/31 20:08:36

Kaggle竞赛——灾难推文分类（Disaster Tweets）

目录 1. 准备工作2. 资源导入3. 数据处理4. 绘制词云图5. 数据可视化5.1 词数和字符数可视化5.2 元特征可视化5.3 类别可视化 6. 词元分析6.1 一元语法统计6.2 多元语法统计 7. 命名实体识别8. 推文主题提取9. 构建模型9.1 数据划分与封装9.2 模型训练与验证 10. 模型评估11. 测…...

编程日记 2024/10/31 20:07:35

SC2601音频编解码器可pin to pin兼容ES8311

SC2601 是一款低功耗单声道音频编解码器&#xff0c;具有全差分输出&#xff0c;支持在全差分配置下可编程模拟输入。可pin to pin兼容ES8311。 录音路径包含一个全差分输入&#xff0c;低噪声可编程增益放大器和自动增益控制&#xff08;ALC&#xff09;。在录音过程中,通过内…...

编程日记 2024/10/31 20:06:34

通用AT指令

1、查询SIM卡状态 ATCPIN?2、查询信号强度 ATCSQ //99,99 表示无信号3、查询IMEI ATCGSN4、查询4G/5G模式 ATCOPS? //7表示在4G模式&#xff0c;13表示在5G模式5、设置接入点 ATCGDCONT1,"IP","uninet" //联通 ATCGDCONT1,"IP","…...

编程日记 2024/10/31 20:05:33

二进制狼群算法

本文所涉及所有资源均在 传知代码平台 可获取。 目录 一、背景及意义介绍 背景 意义...

编程日记 2024/10/31 20:04:32

STL——list的介绍和使用

前言 本篇博客我们继续来介绍STL的内容&#xff0c;这次我们要介绍的是list这个容器&#xff0c;可以简单地理解为顺序表&#xff0c;当然和我们之前学过顺序表还是有区别的&#xff0c;具体内容大家可以继续往下阅读&#xff0c;下面进入正文。 1. list简介 1.list是一种可…...

编程日记 2024/10/31 19:59:28

二百七十六、ClickHouse——Hive和ClickHouse非常不同的DWS指标数据SQL语句

一、目的 在完成数据之后对业务指标进行分析&#xff0c;Hive和ClickHouseSQL真不一样 二、部分业务指标表 2.1 统计数据流量表1天周期 2.1.1 Hive中原有代码 2.1.1.1 Hive中建表语句 --1、统计数据流量表——动态分区——1天周期 create table if not exists hurys_d…...

编程日记 2024/10/31 19:58:26

Elasticsearch Date类型，时间存储相关说明

本文介绍了在SpringBoot中处理Elasticsearch中日期时间格式的问题。当时间输出为UTC格式并存在时区差异时&#xff0c;可通过设置字段格式如yyyy-MM-dd HH:mm:ss并指定时区为GMT8来解决。存储Date类型数据时&#xff0c;可以使用JSON库如json-lib, fastjson, Jackson或gson进行…...

编程日记 2024/10/31 19:57:25

wordpress动漫游戏主题/成都私人做网站建设

电子商务平台源码请加企鹅求求&#xff1a;三五三六二四七二五九。继之前项目继续整合hystrix框架&#xff0c;hystrix框架为Netflix的模块&#xff0c;是一个容错框架。当用户访问服务调用者的时候&#xff0c;如果服务提供者出现异常导致无法正常返回出现请求超时的情况&…...

编程日记 2025/1/3 1:04:38

医院网站建设水平/聊城seo培训

ZROI#1001 这显然可以\(\Theta(n^3)\)枚举统计. 也显然可以\(\Theta(n)\)处理前缀和然后\(\Theta(n^2)\)枚举统计. 然后我们发现,前缀和之后,我们就把问题转化成了这样: 给定一个三元组序列,求有多少对\((i,j)\)满足对应位置的三元组每个位置的差都相等. 即\((j_1-i_1j_2-i_2j_…...

编程日记 2025/1/2 22:10:47

郑州网站开发yipinpai/图床外链生成工具

要做到这个分为两步 第一步, 导入app #import "AppDelegate.h" 第二步, 监听方法中先写加入以下代码: [self dismissViewControllerAnimated:YES completion:^{ // 这是从一个模态出来的页面跳到tabbar的某一个页面 AppDelegate *appDelegate (AppDelegate *)[[UIAp…...

编程日记 2025/1/2 21:38:13

wordpress 文字居中/网站建站推广

由于某些原因&#xff0c;我们可能需要将redis master更换机器&#xff0c;我们可以停机进行更换&#xff0c;但是那样可能影响到用户体验。本文简要操作进行不停机迁移。系统环境CentOS 6.3 x64redis-server 2.6.16机器两台s1\s2操作步骤1、我们在新redis服务器上&#xff0c;…...

编程日记 2025/1/2 18:57:07

网站轮播图片怎么做/哈尔滨seo推广优化

文章目录1 EnableAspectJAutoProxy注解做了什么&#xff1f;1.1 传入配置类&#xff0c;创建IOC容器1.2 注册配置文件&#xff0c;刷新容器1.3 注册bean的后置处理器1.3.1 从容器中获取所有已经定义好了的BeanPostProcessor1.3.2 注册其他BeanPostProcessor组件1.3.3 分离BeanP…...

编程日记 2025/1/2 16:54:23

互联网网站建设水平/小红书推广方案

为什么需要研究跨库分页&#xff1f;互联网很多业务都有分页拉取数据的需求&#xff0c;例如&#xff1a;(1)微信消息过多时&#xff0c;拉取第N页消息&#xff1b;(2)京东下单过多时&#xff0c;拉取第N页订单&#xff1b;(3)浏览58同城&#xff0c;查看第N页帖子&#xff1b;…...

编程日记 2025/1/2 14:40:49