当前位置: 首页 > news >正文

【Apache Doris】周FAQ集锦:第 1 期

【Apache Doris】周FAQ集锦:第 1 期

  • SQL问题
  • 数据操作问题
  • 运维常见问题
  • 其它问题
  • 关于社区

在这里插入图片描述

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 替换nvl2的方式有哪些?

💡A1 在SQL中,NVL2是一个函数,用于在条件成立时返回一个值,在条件不成立时返回另一个值;可以通过case when进行替换。

❓Q2 查询报错:meet unknown column stats on table 0lapscanNode
在这里插入图片描述

💡A2 通过关闭相关变量解决:set global forbid_unknown_col_stats = false;
forbid_unknown_col_stats参数只有在测试和跑benchmark时会打开,用于防止没有收集到统计信息,导致结果不理性,而进行不必要的问题追查。
生产环境中,建议永远设置为false。

数据操作问题

❓Q1 Doris 1.2.6,数据写入过程中出现错误码[-233]异常

💡A1 OLAP_ERR_TOO_MANY_TRANSACTIONS ,太多事务积压未完成导致。降低写入或者更新频率,或调大BE参数max_runnings_transactions_per_txn_map处理。
BE参数说明可以查阅BE配置项:
https://doris.apache.org/zh-CN/docs/admin-manual/config/be-config

❓Q2 查看Broker Load导入状态时,Progress为50%,但State为FINISHED
在这里插入图片描述

💡A2 State为FINISHED是正确的,Progress进度统计存在问题,但只是显示问题,不会影响数据读写。
在Apache Doris 2.0.3已经修复了,建议升级至>=2.0.3的版本。
Release 2.0.3,可以查阅:
https://cdnd.selectdb.com/zh-CN/docs/releasenotes/release-2.0.3

运维常见问题

❓Q1 Routine Load异常:fetch failed due to requested offset not available on the broker: Broker: Offset out of range

💡A1 Routine Load报[broker:Offset Out of range] 原因:

  1. routine load 记录的偏移量和kafka group 已经committed的offset是一致的,由于kafka的数据清理机制(有没有消费都会清理),记录的偏移量下一个offset被清理导致的这个异常 。
  2. kafka清理时间设置过短,数据积压严重,也会导致此类异常出现。
    解决方案:查看kafka 现阶段最小偏移量,使用alter routine load job,重新设置偏移量,恢复routine load job即可。

❓Q2 Drop一张大表后,为什么BE磁盘空间没有减少?

💡A2 分两种情况:

  1. drop不加force时,数据不会放入回收站。这个机制是为了防止误删除,recoverd的时候用,和 fe.conf的catalog_trash_expire_second 参数有关系,默认为1天,1天后会将删除的表自动放到trash中。
  2. drop加force时,数据会直接放入回收站,此时可以通过admin clean trash去清理。

❓Q3 FE的负载均衡怎么实现?

💡A3 可以通过 JDBC Connector / ProxySQL / Nginx 方式实现:
https://doris.apache.org/zh-CN/docs/admin-manual/cluster-management/load-balancing
1. JDBC的通信方式,建议使用 JDBC Connector的loadbalance实现。
2. 代理的方式用Nginx多些,也可以考虑 ProxySQL。

❓Q4 FE启动异常:Try to lock process failed

💡A4 fe进程冲突导致,jps查看是否已经存在fe进程进行排查处理。

❓Q5 Routine Load任务stop后,多久会删除?

💡A5 routine load任务stop之后,默认会在三天回收删除。
由fe的label_keep_max_second参数控制,该参数除了控制routine load,也是job共用的参数。
FE参数说明可以查阅FE配置项:
https://cdnd.selectdb.com/zh-CN/docs/admin-manual/config/fe-config

其它问题

❓Q Doris血缘分析的开源工具有哪些?

💡A 可以参考

  1. datahub:
    https://datahubproject.io/docs/next/features/
  2. apache atlas:
    https://atlas.apache.org/api/v2/index.html
  3. 基于ali的druid二开,例如data-lineage-doris项目:
    使用ali的druid去解析sql。由于sql本身有记录在fe的审计日志里,只需通过类似flume采集日志推送到kafka,后端设计一个服务专门去解析这些sql生成血缘关系即可:
    https://github.com/eyesmoons/data-lineage-doris

关于社区

在这里插入图片描述

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关文章:

【Apache Doris】周FAQ集锦:第 1 期

【Apache Doris】周FAQ集锦:第 1 期 SQL问题数据操作问题运维常见问题其它问题关于社区 欢迎查阅本周的 Apache Doris 社区 FAQ 栏目! 在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和…...

Windows创建远程线程学习

CreateRemoteThread是一个Windows API函数,它能够创建一个在其它进程地址空间中运行的线程; 下面来简单做一下,配合procexp工具; VC代码如下,我是写到一个菜单单击处理函数中, void CCrrmthView::OnMenuitem32771() {// TODO: Add your command handler code hereHAN…...

使用c语言libexpat开源库解析XML数据

1 libexpat简介 Expat 是一个用 C 语言编写的开源 XML 解析库,以其高性能和小巧的体积著称。Expat 兼容多种操作系统平台,包括但不限于 Windows、Linux、macOS 等。由于其跨平台特性和简单易用的API,Expat 成为了许多C/C程序员解析XML文档的…...

51单片机入门_江协科技_19~20_OB记录的笔记

19. 串口通讯 19.1. 串口介绍: •串口是一种应用十分广泛的通讯接口,串口成本低、容易使用、通信线路简单,可实现两个设备的互相通信。 •单片机的串口可以使单片机与单片机、单片机与电脑、单片机与各式各样的模块互相通信,极大的…...

基于k8s的高性能综合web服务器搭建

目录 基于k8s的高性能综合web服务器搭建 项目描述: 项目规划图: 项目环境: k8s, docker centos7.9 nginx prometheus grafana flask ansible Jenkins等 1.规划设计整个集群的架构,k8s单master的集群环境&…...

Folder Icons for Mac v1.8 激活版文件夹个性化图标修改软件

Folder Icons for Mac是一款Mac OS平台上的文件夹图标修改软件,同时也是一款非常有意思的系统美化软件。这款软件的主要功能是可以将Mac的默认文件夹图标更改为非常漂亮有趣的个性化图标。 软件下载:Folder Icons for Mac v1.8 激活版 以下是这款软件的一…...

Gitee上传私有仓库

个人记录 Gitee创建账号 以KS进销存系统为例,下载到本地电脑解压。 新建私有仓库 仓库名称:ks-vue3,选择‘私有’ 本地配置 下载安装git配置git 第一次配置可以在本地目录右键【Open Git Bash here】输入【Git 全局设置】再输入【创…...

HTMLCSSJS

HTML基本结构 <html><head><title>标题</title></head><body>页面内容</body> </html> html是一棵DOM树, html是根标签, head和body是兄弟标签, body包括内容相关, head包含对内容的编写相关, title 与标题有关.类似html这种…...

第14章 数据结构与集合源码

一 数据结构剖析 我们举一个形象的例子来理解数据结构的作用&#xff1a; 战场&#xff1a;程序运行所需的软件、硬件环境 战术和策略&#xff1a;数据结构 敌人&#xff1a;项目或模块的功能需求 指挥官&#xff1a;编写程序的程序员 士兵和装备&#xff1a;一行一行的代码 …...

分享react+three.js展示温湿度采集终端

前言 气象站将采集到的相关气象数据通过GPRS/3G/4G无线网络发送到气象站监测中心&#xff0c;摆脱了地理空间的限制。 前端&#xff1a;气象站主机将采集好的气象数据存储到本地&#xff0c;通过RS485等线路与GPRS/3G/4G无线设备相连。 通信&#xff1a;GPRS/3G/4G无线设备通…...

易宝OA ExecuteSqlForDataSet SQL注入漏洞复现

0x01 产品简介 易宝OA系统是一种专门为企业和机构的日常办公工作提供服务的综合性软件平台,具有信息管理、 流程管理 、知识管理(档案和业务管理)、协同办公等多种功能。 0x02 漏洞概述 易宝OA ExecuteSqlForDataSet接口处存在SQL注入漏洞,未经身份认证的攻击者可以通过…...

C++语言学习(二)——⭐缺省参数、函数重载、引用

1.⭐缺省参数 &#xff08;1&#xff09;缺省参数概念 缺省参数是声明或定义函数时为函数的参数指定一个缺省值。在调用该函数时&#xff0c;如果没有指定实参则采用该形参的缺省值&#xff0c;否则使用指定的实参。 void Func(int a 0) {cout<<a<<endl; } int…...

qt通过setProperty设置样式表笔记

在一个pushbutton里面嵌套两个label即可&#xff0c;左侧放置图片label&#xff0c;右侧放置文字label&#xff0c;就如上图所示&#xff1b; 但是这时的hover&#xff0c;press的伪状态是没有办法“传递”给里面的控件的&#xff0c;对btn的伪状态样式表的设置&#xff0c;是不…...

Sora文本生成视频(附免费的专属提示词)

sora-时髦女郎 bike_1 Sara-潮汐波浪 Sora是一个由OpenAI出品的文本生成视频工具,已官方发布了生成视频的样式,视频的提示词是:A时髦的女人走在充满温暖霓虹灯的东京街道上动画城市标牌。她穿着黑色皮夹克、红色长裙和黑色靴子,拎着黑色钱包。她穿着太阳镜和红色唇膏。她走…...

Flask Python:数据库多条件查询,flask中模型关联

前言 在上一篇Flask Python:模糊查询filter和filter_by&#xff0c;数据库多条件查询中&#xff0c;已经分享了几种常用的数据库操作&#xff0c;这次就来看看模型的关联关系是怎么定义的&#xff0c;先说基础的关联哈。在分享之前&#xff0c;先分享官方文档,点击查看 从文档…...

Spring Security 实现后台切换用户

Spring Security version 后端代码&#xff1a; /*** author Jerry* date 2024-03-28 17:47* spring security 切换账号*/RestController RequiredArgsConstructor RequestMapping("api/admin") public class AccountSwitchController {private final UserDetailsSe…...

《QT实用小工具·一》电池电量组件

1、概述 项目源码放在文章末尾 本项目实现了一个电池电量控件&#xff0c;包含如下功能&#xff1a; 可设置电池电量&#xff0c;动态切换电池电量变化。可设置电池电量警戒值。可设置电池电量正常颜色和报警颜色。可设置边框渐变颜色。可设置电量变化时每次移动的步长。可设置…...

基于springboot实现墙绘产品展示交易平台管理系统项目【项目源码+论文说明】计算机毕业设计

基于springboot实现墙绘产品展示交易平台管理系统演示 摘要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本墙绘产品展示交易平台就是在这样的大环境下诞生&…...

主流公链文章整理

主流公链文章整理 分类文章地址&#x1f349;BTC什么是比特币&#x1f96d;BTCBTC网络是如何运行的&#x1f351;BTC一文搞懂BTC私钥&#xff0c;公钥&#xff0c;地址&#x1f955;ETH什么是以太坊&#x1f336;️基础知识BTC网络 vs ETH网络&#x1f95c;CosmosCosmos介绍&a…...

css3之3D转换transform

css3之3D转换 一.特点二.坐标系三.3D移动&#xff08;translate3d)1.概念2.透视&#xff08;perpective)(近大远小&#xff09;&#xff08;写在父盒子上&#xff09; 四.3D旋转&#xff08;rotate3d)1.概念2.左手准则3.呈现&#xff08;transfrom-style)&#xff08;写父级盒子…...

SpringBoot -- 外部化配置

我们如果要对普通程序的jar包更改配置&#xff0c;那么我们需要对jar包解压&#xff0c;并在其中的配置文件中更改配置参数&#xff0c;然后再打包并重新运行。可以看到过程比较繁琐&#xff0c;SpringBoot也注意到了这个问题&#xff0c;其可以通过外部配置文件更新配置。 我…...

优酷动漫顶梁柱!神话大乱炖的修仙番为何火爆?

优酷动漫新晋顶梁柱&#xff0c;实时超160万在追的修仙番长啥样&#xff1f; 由优酷动漫联合玄机科技打造的《师兄啊师兄》俨然成为了国漫界一颗璀璨的新星。自去年开播以来热度口碑双丰收&#xff0c;今年在播的第二季人气更是节节攀升&#xff0c;稳坐优酷动漫榜第一把交椅。…...

每日一题:C语言经典例题之判断实数相等

题目&#xff1a; 从键盘输入两个正实数&#xff0c;位数不超过200&#xff0c;试判断这两个实数是否完全相等。注意输入的实数整数部分可能有前导0&#xff0c;小数部分可能有末尾0。 输入 输入两个正实数a和b。 输出 如果两个实数相等&#xff0c;则输出Yes&#xff0c;…...

【算法每日一练]-数论(保姆级教程 篇1 埃氏筛,欧拉筛)

目录 保证给你讲透讲懂 第一种&#xff1a;埃氏筛法 第二种&#xff1a;欧拉筛法 题目&#xff1a;质数率 题目&#xff1a;不喜欢的数 思路&#xff1a; 问题&#xff1a;1~n 中筛选出所有素数&#xff08;质数&#xff09; 有两种经典的时间复杂度较低的筛法&#xff0…...

【剑指offr--C/C++】JZ59 滑动窗口的最大值

一、题目 二、思路及代码 暴力解法是依次往后滑动一位&#xff0c;然后比较窗口内的值。 我这里考虑&#xff1a;窗口每次往后移动一位&#xff0c;那么如果当前窗口的最大值max在窗口内部&#xff0c;那么再滑动到下一个窗口的时候&#xff0c;窗口内只有最新进来的一个元素没…...

RabbitMQ Tutorial

参考API : Overview (RabbitMQ Java Client 5.20.0 API) 参考文档: RabbitMQ: One broker to queue them all | RabbitMQ 目录 结构 Hello World consumer producer 创建连接API解析 创建连接工厂 生产者生产消息 消费者消费消息 队列声明 工作队列Work Queues 公平…...

如何对Webpack进行优化

目录 1.优化-提取css代码 1.1. 插件 mini-css-extract-plugin 1.2. 步骤&#xff1a; 1.3. 注意 1.4. 好处 1.5. 练习 2. 优化-css代码提取后压缩 2.1. 问题引入 2.2. 解决 2.3. 步骤 3. Webpack打包less代码 3.1. 加载器 less-loader 3.2. 步骤 3.3. 注意&#xf…...

nut-ui中的menu 菜单组件的二次封装

这个菜单组件 一般可以直接用到项目里 如果复用性不强的话 直接使用 但是有一个问题 如果很多地方都需要用到这个组件 我们可以把这个组件二次封装一下 <template><div class"cinema-search-filter-component"><nut-menu><template #icon>&…...

python笔记(11)序列

Python中的“序列”是一个广义术语&#xff0c;用于描述一种特定的数据结构&#xff0c;它具备以下共同特征&#xff1a; 有序性&#xff1a;序列中的元素按照特定的顺序排列&#xff0c;每个元素在序列中都有一个确定的位置&#xff0c;即索引。 索引访问&#xff1a;通过索引…...

Rust egui(4) 增加自己的tab页面

如下图&#xff0c;增加一个Sins也面&#xff0c;里面添加一个配置组为Sin Paraemters&#xff0c;里面包含一个nums的参数&#xff0c;范围是1-1024&#xff0c;根据nums的数量&#xff0c;在Panel中画sin函数的line。 demo见&#xff1a;https://crazyskady.github.io/index.…...

网站的栏目规划/重庆森林电影

01 A空格site&#xff1a; 搜索范围所限定的网址&#xff0c;就能在一个网站中进行垂直搜索A。举例&#xff1a; 数据分析 site&#xff1a;zhihu.com 02 A空格filetype:文件格式 就能搜索对应类型的A文件例如&#xff1a;大数据 filetype&#xff1a;PDF &#xff0c;搜索出…...

网站开发怎么让别人看到/舟山百度seo

曾经在论坛上发的提问&#xff0c;现在做一下总结。 GLBP的介绍&#xff1a; 全称Gateway Load Banancing Protocol&#xff0c; 中文叫网关负载均衡协议。它以什么样的方式来做负载均衡呢&#xff1f;简单地说&#xff0c;我们主机设置的网关地址是不变的&#xff0c;但是我们…...

怎样在领英上做公司网站/淘宝搜索指数

HTML介绍 HTML&#xff08;HyperText MarkupLanguage&#xff09;简称超文本标记语言。它和CSS、JavaScript组合完成一个网页的设计。对于一个网页&#xff0c;HTML定义网页的结构&#xff0c;CSS描述网页的样子&#xff0c;JavaScript则实现人机交互。 HTML语义化 说起HTML&am…...

普洱网站建设优化/网站优化包括对什么优化

指的是算法存储空间与输入值之间的关系。 常见空间复杂度&#xff1a;O(1)、O(n)、O(n^2) O(1)<O(n)<O(n^2) O(1) def test(num):total0for i in range(num):total ireturn totalO(n) def test(nums):array[]for num in range(nums):array.append(num)return array时…...

wordpress支付表单/数据分析软件工具有哪些

1、加挂硬盘Shell代码 sudo hdparm -I /dev/sdb 硬盘硬件安装后&#xff0c;此命令测试linux系统是否能找到挂载的未分区硬盘sudo hdparm -I /dev/sdb 硬盘硬件安装后&#xff0c;此命令测试linux系统是否能找到挂载的未分区硬盘2、创建分区Shell代码 sudo fdisk /dev/sd…...

中国公路建设招标网站/江苏网站seo

由于获取Calendar实例&#xff0c;是根据当前时间戳来获取的&#xff0c;故在获取特定的日期的开始时间时&#xff0c;毫秒数一般不为0&#xff0c;这时候可以手动设置为0。可以参见这位仁兄的代码&#xff1a; https://blog.csdn.net/nihaoa50/article/details/70768091...