logback动态获取nacos配置
文章目录
- 前言
- 一、整体思路
- 二、使用bootstrap.yml
- 三、增加环境变量
- 四、pom文件
- 五、logback-spring.xml更改
- 总结
前言
主要是logback动态获取nacos的配置信息,结尾完整代码
项目springcloud+nacos+plumelog,使用的时候、特别是部署的时候,需要改环境,改地址

application.yml

logback-spring.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds"><!--<include resource="org/springframework/boot/logging/logback/base.xml" />--><contextName>logback</contextName><!-- name的值是变量的名称,value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义变量后,可以使“${}”来使用变量。 --><property name="log.path" value="./logs"/><property name="log.name" value="main"/><!--输出到控制台--><appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"><!--此日志appender是为开发使用,只配置最底级别,控制台输出的日志级别是大于或等于此级别的日志信息--><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>debug</level></filter><encoder><pattern>%green(TIMESTAMP):%-5d{yyyy-MM-dd HH:mm:ss.SSS}; %yellow(LEVEL):%level; %magenta(CLASS):%C{50};%magenta(METHOD):%M; %yellow(CT):%thread; %green(MSG):%msg%n</pattern><charset>UTF-8</charset></encoder></appender><!-- 时间滚动输出 level为 INFO 日志 --><appender name="INFO_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!-- 正在记录的日志文件的路径及文件名 --><file>${log.path}/${log.name}.log</file><!--日志文件输出格式--><!-- class="com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder"--><encoder><pattern>%green(TIMESTAMP):%-5d{yyyy-MM-dd HH:mm:ss.SSS}; %yellow(LEVEL):%level; %magenta(CLASS):%C{50};%magenta(METHOD):%M; %yellow(CT):%thread; %green(MSG):%msg%n</pattern><charset>UTF-8</charset></encoder><!-- 日志记录器的滚动策略,按小时 --><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!-- 每天日志归档路径以及格式 --><fileNamePattern>${log.path}/all/${log.name}-%d{yyyy-MM-dd-HH}.gz</fileNamePattern><!--日志文件保留小时数--><maxHistory>2160</maxHistory></rollingPolicy><!-- 此日志文件全部记录,不加入Filter --></appender><!-- 时间滚动输出 level为 ERROR 日志 --><appender name="ERROR_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!-- 正在记录的日志文件的路径及文件名 --><file>${log.path}/${log.name}-error.log</file><!--日志文件输出格式--><encoder><pattern>%green(TIMESTAMP):%-5d{yyyy-MM-dd HH:mm:ss.SSS}; %yellow(LEVEL):%level; %magenta(CLASS):%C{50};%magenta(METHOD):%M; %yellow(CT):%thread; %green(MSG):%msg%n</pattern><charset>UTF-8</charset> <!-- 此处设置字符集 --></encoder><!-- 日志记录器的滚动策略,按小时 --><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><fileNamePattern>${log.path}/error/${log.name}-error-%d{yyyy-MM-dd-HH}.gz</fileNamePattern><!--日志文件保留小时数--><maxHistory>2160</maxHistory></rollingPolicy><!-- 此日志文件只记录ERROR级别的 --><filter class="ch.qos.logback.classic.filter.LevelFilter"><level>ERROR</level><onMatch>ACCEPT</onMatch><onMismatch>DENY</onMismatch></filter></appender><!-- 异步输出 --><appender name="ASYNC_CONSOLE" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志的话,discardingThreshold必须大于0,并且应小于appender的maxQueueSize --><discardingThreshold>0</discardingThreshold><!-- 设置日志事件的最大队列长度 --><queueSize>256</queueSize><!-- 添加真正的日志appender,引用同步,将其包装为异步 --><appender-ref ref="CONSOLE"/></appender><!-- 异步输出 --><appender name="ASYNC_INFO_FILE" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志的话,discardingThreshold必须大于0,并且应小于appender的maxQueueSize --><discardingThreshold>0</discardingThreshold><!-- 设置日志事件的最大队列长度 --><queueSize>256</queueSize><!-- 添加真正的日志appender,引用同步,将其包装为异步 --><appender-ref ref="INFO_FILE"/></appender><!-- 异步输出 --><appender name="ASYNC_ERROR_FILE" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志的话,discardingThreshold必须大于0,并且应小于appender的maxQueueSize --><discardingThreshold>0</discardingThreshold><!-- 设置日志事件的最大队列长度 --><queueSize>256</queueSize><!-- 添加真正的日志appender,引用同步,将其包装为异步--><appender-ref ref="ERROR_FILE"/></appender><!-- 使用kafka启用下面配置--><appender name="plumelog" class="com.plumelog.logback.appender.KafkaAppender"><appName>cmp-system</appName><!-- qa--><!-- <kafkaHosts>192.168.31.12:6667,192.168.31.13:6667,192.168.31.14:6667</kafkaHosts>--><!--prod--><kafkaHosts>192.168.30.17:6667,192.168.30.18:6667,192.168.30.19:6667,192.168.30.20:6667,192.168.30.21:6667</kafkaHosts></appender><!--开发环境:打印控制台--><springProfile name="dev"><root level="info"><appender-ref ref="CONSOLE"/><!--<appender-ref ref="DEBUG_FILE" />--><appender-ref ref="INFO_FILE"/><!--<appender-ref ref="WARN_FILE" />--><appender-ref ref="ERROR_FILE"/><appender-ref ref="plumelog"/></root></springProfile><!--测试环境:输出到文件--><springProfile name="test"><root level="info"><appender-ref ref="CONSOLE"/><!--<appender-ref ref="DEBUG_FILE" />--><appender-ref ref="INFO_FILE"/><!--<appender-ref ref="WARN_FILE" />--><appender-ref ref="ERROR_FILE"/><appender-ref ref="plumelog"/></root></springProfile><!--QA环境:输出到文件--><springProfile name="qa"><root level="info"><appender-ref ref="CONSOLE"/><!--<appender-ref ref="DEBUG_FILE" />--><appender-ref ref="INFO_FILE"/><!--<appender-ref ref="WARN_FILE" />--><appender-ref ref="ERROR_FILE"/><appender-ref ref="plumelog"/></root></springProfile><!--生产环境:输出到文件--><springProfile name="prod"><root level="info"><appender-ref ref="CONSOLE"/><!--<appender-ref ref="DEBUG_FILE" />--><appender-ref ref="INFO_FILE"/><!--<appender-ref ref="WARN_FILE" />--><appender-ref ref="ERROR_FILE"/><appender-ref ref="plumelog"/></root></springProfile></configuration>
每次部署需要修改使用active的版本。和修改xml的kafka地址。已经使用了nacos的服务发现功能。决定用配置中心整理下。
一、整体思路
在nacos上将配置信息配置上。logback动态获取nacos的配置
二、使用bootstrap.yml
原来是application.yml,但是在spring中,logback.xml的加载循序在application.yml之前。导致logback.xml动态获取kafka服务器地址失败。
bootstrap.yml

NACOS_SERVER_ADDR、NACOS_NAMESPACE是自定义环境变量。
如果读取不到NACOS_SERVER_ADDR、NACOS_NAMESPACE值,默认值为后面的nacos地址、命名空间
三、增加环境变量
本地不用管。默认即可。qa、prod环境需要再机器上执行命令
export NACOS_SERVER_ADDR=192.168.31.11:8848
export NACOS_NAMESPACE=bd1c9d0c-be99-425f-a0bc-93838b2171a5
四、pom文件
pom中增加nacos-config依赖
<dependency><groupId>com.alibaba.cloud</groupId><artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId></dependency>
五、logback-spring.xml更改
logback-spring.xml修改为logback-nacos.xml,名字可以自定义。
在nacos的配置文件中。做日志指向。
logging:config: classpath:logback-nacos.xml
这步最重要,不然动态获取失败。也是看别人解决的


完整的代码

bootstrap.yml
# Tomcat
server:port: 9003# Spring
spring:application:# 应用名称name: cmp-sim-managementcloud:nacos:discovery:# 服务注册地址server-addr: ${NACOS_SERVER_ADDR:10.10.10.20:8848}config:# 配置中心地址server-addr: ${NACOS_SERVER_ADDR:10.10.10.20:8848}# 配置文件格式file-extension: yamlnamespace: ${NACOS_NAMESPACE:bd1c9d0c-be99-425f-a0bc-93838b2171a5}refresh-enabled: true
logback-nacos-xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true -->
<!-- scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。当scan为true时,此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="10 seconds"><!--<include resource="org/springframework/boot/logging/logback/base.xml" />--><!-- <contextName>logback1</contextName>--><!-- name的值是变量的名称,value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义变量后,可以使“${}”来使用变量。 --><property name="log.path" value="./logs"/><property name="log.name" value="main"/><springProperty scope="context" name="application.name" source="spring.application.name"/><springProperty scope="context" name="plumelog.kafka" source="spring.kafka.bootstrap-servers"/><!--输出到控制台--><appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"><!--此日志appender是为开发使用,只配置最底级别,控制台输出的日志级别是大于或等于此级别的日志信息--><filter class="ch.qos.logback.classic.filter.ThresholdFilter"><level>info</level></filter><encoder><pattern>%green(TIMESTAMP):%-5d{yyyy-MM-dd HH:mm:ss.SSS}; %yellow(LEVEL):%level; %magenta(CLASS):%C{50};%magenta(METHOD):%M; %yellow(CT):%thread; %green(MSG):%msg%n</pattern><charset>UTF-8</charset></encoder></appender><!-- 时间滚动输出 level为 INFO 日志 --><appender name="INFO_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!-- 正在记录的日志文件的路径及文件名 --><file>${log.path}/${log.name}.log</file><!--日志文件输出格式--><!-- class="com.yomahub.tlog.core.enhance.logback.AspectLogbackEncoder"--><encoder><pattern>%green(TIMESTAMP):%-5d{yyyy-MM-dd HH:mm:ss.SSS}; %yellow(LEVEL):%level; %magenta(CLASS):%C{50};%magenta(METHOD):%M; %yellow(CT):%thread; %green(MSG):%msg%n</pattern><charset>UTF-8</charset></encoder><!-- 日志记录器的滚动策略,按小时 --><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><!-- 每天日志归档路径以及格式 --><fileNamePattern>${log.path}/all/${log.name}-%d{yyyy-MM-dd-HH}.gz</fileNamePattern><!--日志文件保留小时数--><maxHistory>2160</maxHistory></rollingPolicy><!-- 此日志文件全部记录,不加入Filter --></appender><!-- 时间滚动输出 level为 ERROR 日志 --><appender name="ERROR_FILE" class="ch.qos.logback.core.rolling.RollingFileAppender"><!-- 正在记录的日志文件的路径及文件名 --><file>${log.path}/${log.name}-error.log</file><!--日志文件输出格式--><encoder><pattern>%green(TIMESTAMP):%-5d{yyyy-MM-dd HH:mm:ss.SSS}; %yellow(LEVEL):%level; %magenta(CLASS):%C{50};%magenta(METHOD):%M; %yellow(CT):%thread; %green(MSG):%msg%n</pattern><charset>UTF-8</charset> <!-- 此处设置字符集 --></encoder><!-- 日志记录器的滚动策略,按小时 --><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><fileNamePattern>${log.path}/error/${log.name}-error-%d{yyyy-MM-dd-HH}.gz</fileNamePattern><!--日志文件保留小时数--><maxHistory>2160</maxHistory></rollingPolicy><!-- 此日志文件只记录ERROR级别的 --><filter class="ch.qos.logback.classic.filter.LevelFilter"><level>ERROR</level><onMatch>ACCEPT</onMatch><onMismatch>DENY</onMismatch></filter></appender><!-- 异步输出 --><appender name="ASYNC_CONSOLE" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志的话,discardingThreshold必须大于0,并且应小于appender的maxQueueSize --><discardingThreshold>0</discardingThreshold><!-- 设置日志事件的最大队列长度 --><queueSize>256</queueSize><!-- 添加真正的日志appender,引用同步,将其包装为异步 --><appender-ref ref="CONSOLE"/></appender><!-- 异步输出 --><appender name="ASYNC_INFO_FILE" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志的话,discardingThreshold必须大于0,并且应小于appender的maxQueueSize --><discardingThreshold>0</discardingThreshold><!-- 设置日志事件的最大队列长度 --><queueSize>256</queueSize><!-- 添加真正的日志appender,引用同步,将其包装为异步 --><appender-ref ref="INFO_FILE"/></appender><!-- 异步输出 --><appender name="ASYNC_ERROR_FILE" class="ch.qos.logback.classic.AsyncAppender"><!-- 不丢失日志的话,discardingThreshold必须大于0,并且应小于appender的maxQueueSize --><discardingThreshold>0</discardingThreshold><!-- 设置日志事件的最大队列长度 --><queueSize>256</queueSize><!-- 添加真正的日志appender,引用同步,将其包装为异步--><appender-ref ref="ERROR_FILE"/></appender><!-- <!– 使用kafka启用下面配置–>--><appender name="plumelog" class="com.plumelog.logback.appender.KafkaAppender"><appName>${application.name}</appName><kafkaHosts>${plumelog.kafka}</kafkaHosts></appender><root level="info"><appender-ref ref="CONSOLE"/><!--<appender-ref ref="DEBUG_FILE" />--><appender-ref ref="INFO_FILE"/><!--<appender-ref ref="WARN_FILE" />--><appender-ref ref="ERROR_FILE"/><appender-ref ref="plumelog"/></root></configuration>
从nacos中动态获取kafka信息


总结
原本想着将logback-nacos.xml也放到nacos中。这样就维护一份就可以了。但是没有成功,之后有空再试吧
相关文章:
logback动态获取nacos配置
文章目录 前言一、整体思路二、使用bootstrap.yml三、增加环境变量四、pom文件五、logback-spring.xml更改总结 前言 主要是logback动态获取nacos的配置信息,结尾完整代码 项目springcloudnacosplumelog,使用的时候、特别是部署的时候,需要改环境&#…...
KETTLE安装部署V2.0
一、前置准备工作 JDK:下载JDK (1.8),安装并配置 JAVA_HOME 环境变量,并将其下的 bin 目录追加到 PATH 环境变量中。如果你的环境中已存在,可以跳过这步。KETTLE(8.2)压缩包:LHR提供关闭防火墙…...
[RabbitMQ] 保证消息可靠性的三大机制------消息确认,持久化,发送方确认
🌸个人主页:https://blog.csdn.net/2301_80050796?spm1000.2115.3001.5343 🏵️热门专栏: 🧊 Java基本语法(97平均质量分)https://blog.csdn.net/2301_80050796/category_12615970.html?spm1001.2014.3001.5482 🍕 Collection与…...
aws服务--机密数据存储AWS Secrets Manager(1)介绍和使用
一、介绍 1、简介 AWS Secrets Manager 是一个完全托管的服务,用于保护应用程序、服务和 IT 资源中的机密信息。它支持安全地存储、管理和访问应用程序所需的机密数据,比如数据库凭证、API 密钥、访问密钥等。通过 Secrets Manager,你可以轻松管理、轮换和访问这些机密信息…...
Java设计模式笔记(一)
Java设计模式笔记(一) (23种设计模式由于篇幅较大分为两篇展示) 一、设计模式介绍 1、设计模式的目的 让程序具有更好的: 代码重用性可读性可扩展性可靠性高内聚,低耦合 2、设计模式的七大原则 单一职…...
Unity3d C# 实现一个基于UGUI的自适应尺寸图片查看器(含源码)
前言 Unity3d实现的数字沙盘系统中,总有一些图片或者图片列表需要点击后弹窗显示大图,这个弹窗在不同尺寸分辨率的图片查看处理起来比较麻烦,所以,需要图片能够根据容器的大小自适应地进行缩放,兼容不太尺寸下的横竖图…...
【es6进阶】vue3中的数据劫持的最新实现方案的proxy的详解
vuejs中实现数据的劫持,v2中使用的是Object.defineProperty()来实现的,在大版本v3中彻底重写了这部分,使用了proxy这个数据代理的方式,来修复了v2中对数组和对象的劫持的遗留问题。 proxy是什么 Proxy 用于修改某些操作的默认行为࿰…...
w~视觉~3D~合集3
我自己的原文哦~ https://blog.51cto.com/whaosoft/12538137 #SIF3D 通过两种创新的注意力机制——三元意图感知注意力(TIA)和场景语义一致性感知注意力(SCA)——来识别场景中的显著点云,并辅助运动轨迹和姿态的预测…...
IT服务团队建设与管理
在 IT 服务团队中,需要明确各种角色。例如系统管理员负责服务器和网络设备的维护与管理;软件工程师专注于软件的开发、测试和维护;运维工程师则保障系统的稳定运行,包括监控、故障排除等。通过清晰地定义每个角色的职责࿰…...
一文学习开源框架OkHttp
OkHttp 是一个开源项目。它由 Square 开发并维护,是一个现代化、功能强大的网络请求库,主要用于与 RESTful API 交互或执行网络通信操作。它是 Android 和 Java 开发中非常流行的 HTTP 客户端,具有高效、可靠、可扩展的特点。 核心特点 高效…...
自研芯片逾十年,亚马逊云科技Graviton系列芯片全面成熟
在云厂商自研芯片的浪潮中,亚马逊云科技无疑是最早践行这一趋势的先驱。自其迈出自研芯片的第一步起,便如同一颗石子投入平静的湖面,激起了层层涟漪,引领着云服务和云上算力向着更高性能、更低成本的方向演进。 早在2012年&#x…...
Stable Diffusion 3 部署笔记
SD3下载地址:https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main https://huggingface.co/spaces/stabilityai/stable-diffusion-3-medium comfyui 教程: 深度测评:SD3模型表现如何?实用教程助你玩转Stabl…...
微信小程序WXSS全局样式与局部样式的使用教程
微信小程序WXSS全局样式与局部样式的使用教程 引言 在微信小程序的开发中,样式的设计与实现是提升用户体验的关键部分。WXSS(WeiXin Style Sheets)作为微信小程序的样式表语言,不仅支持丰富的样式功能,还能通过全局样式与局部样式的灵活运用,帮助开发者构建美观且易于维…...
Docker 部署 MongoDB
🚀 作者主页: 有来技术 🔥 开源项目: youlai-mall 🍃 vue3-element-admin 🍃 youlai-boot 🍃 vue-uniapp-template 🌺 仓库主页: GitCode💫 Gitee …...
Unity图形学之法线贴图原理
1.正常贴图:RGBA 4通道 每个通道取值范围 0-255 贴图里面取值是 0-1 2.法线贴图:法线怎么存入正常贴图的过程 每个通道里面存储的是一个向量(x,y,z,w) 通常我们会对应xyzw为rgba 存储值的范围也是0-1向量的取值范围是 -1到1法线怎么存入正常贴图的过程&…...
爬虫开发(5)如何写一个CSDN热门榜爬虫小程序
笔者 綦枫Maple 的其他作品,欢迎点击查阅哦~: 📚Jmeter性能测试大全:Jmeter性能测试大全系列教程!持续更新中! 📚UI自动化测试系列: SeleniumJava自动化测试系列教程❤ 📚…...
JVM系列之OOM观测准备
OOM, 全称 “Out Of Memory”,即内存用完的意思。JVM 因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时(可分配内存大于需要分配的内存), 就会抛出 java.lang.OutOfMemoryError。在实际的生产应用中,一旦…...
Qt | 开发技能提升档次哈
点击上方"蓝字"关注我们 01、Creator常用快捷键 >>> F1 查看帮助 F2 跳转到函数定义 Shift+F2 声明和定义之间切换 F3 查找下一个 F4 头文件和源文件之间切换 Ctrl+1 欢迎模式 Ctrl+2 编辑模…...
D79【 python 接口自动化学习】- python基础之HTTP
day79 requests模块发送请求 学习日期:20241125 学习目标:http定义及实战 -- requests模块进行get请求带参数&requests模块进行post请求 学习笔记: requests模块进行get请求 import requestsparams{"shouji":"130999…...
C++【日志模块中的writer类】前文中 循环队列用法
用到前文中的循环队列模板 /* ** File name: LogWriter.h ** Author: ** Date: 2024-11-4 ** Brief: 日志写入类 ** Note: 日志写入类,负责将日志写入文件和连接客户端。 ** Copyright (C) 1392019713qq.com All rights reserve…...
C++初阶-list的底层
目录 1.std::list实现的所有代码 2.list的简单介绍 2.1实现list的类 2.2_list_iterator的实现 2.2.1_list_iterator实现的原因和好处 2.2.2_list_iterator实现 2.3_list_node的实现 2.3.1. 避免递归的模板依赖 2.3.2. 内存布局一致性 2.3.3. 类型安全的替代方案 2.3.…...
在rocky linux 9.5上在线安装 docker
前面是指南,后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...
蓝牙 BLE 扫描面试题大全(2):进阶面试题与实战演练
前文覆盖了 BLE 扫描的基础概念与经典问题蓝牙 BLE 扫描面试题大全(1):从基础到实战的深度解析-CSDN博客,但实际面试中,企业更关注候选人对复杂场景的应对能力(如多设备并发扫描、低功耗与高发现率的平衡)和前沿技术的…...
1.3 VSCode安装与环境配置
进入网址Visual Studio Code - Code Editing. Redefined下载.deb文件,然后打开终端,进入下载文件夹,键入命令 sudo dpkg -i code_1.100.3-1748872405_amd64.deb 在终端键入命令code即启动vscode 需要安装插件列表 1.Chinese简化 2.ros …...
ETLCloud可能遇到的问题有哪些?常见坑位解析
数据集成平台ETLCloud,主要用于支持数据的抽取(Extract)、转换(Transform)和加载(Load)过程。提供了一个简洁直观的界面,以便用户可以在不同的数据源之间轻松地进行数据迁移和转换。…...
大模型多显卡多服务器并行计算方法与实践指南
一、分布式训练概述 大规模语言模型的训练通常需要分布式计算技术,以解决单机资源不足的问题。分布式训练主要分为两种模式: 数据并行:将数据分片到不同设备,每个设备拥有完整的模型副本 模型并行:将模型分割到不同设备,每个设备处理部分模型计算 现代大模型训练通常结合…...
Android Bitmap治理全解析:从加载优化到泄漏防控的全生命周期管理
引言 Bitmap(位图)是Android应用内存占用的“头号杀手”。一张1080P(1920x1080)的图片以ARGB_8888格式加载时,内存占用高达8MB(192010804字节)。据统计,超过60%的应用OOM崩溃与Bitm…...
Hive 存储格式深度解析:从 TextFile 到 ORC,如何选对数据存储方案?
在大数据处理领域,Hive 作为 Hadoop 生态中重要的数据仓库工具,其存储格式的选择直接影响数据存储成本、查询效率和计算资源消耗。面对 TextFile、SequenceFile、Parquet、RCFile、ORC 等多种存储格式,很多开发者常常陷入选择困境。本文将从底…...
搭建DNS域名解析服务器(正向解析资源文件)
正向解析资源文件 1)准备工作 服务端及客户端都关闭安全软件 [rootlocalhost ~]# systemctl stop firewalld [rootlocalhost ~]# setenforce 0 2)服务端安装软件:bind 1.配置yum源 [rootlocalhost ~]# cat /etc/yum.repos.d/base.repo [Base…...
MySQL 主从同步异常处理
阅读原文:https://www.xiaozaoshu.top/articles/mysql-m-s-update-pk MySQL 做双主,遇到的这个错误: Could not execute Update_rows event on table ... Error_code: 1032是 MySQL 主从复制时的经典错误之一,通常表示ÿ…...
