当前位置: 首页 > news >正文

DataSophon集成ApacheImpala的过程

注意: 本次安装操作系统环境为Anolis8.9(Centos7和Centos8应该也一样) 

        DataSophon版本为DDP-1.2.1

整合的安装包我放网盘了:

通过网盘分享的文件:impala-4.4.1.tar.gz等2个文件
链接: https://pan.baidu.com/s/18KfkO_BEFa5gVcc16I-Yew?pwd=za4k 提取码: za4k

1. Apache Impala的版本我选择的是目前Github上的最新版本4.4.1

Github上 Impala提供了rpm和deb两种安装方式,由于编译源码涉及到python包以及C++包机器难下载,所以我选择了Github提供的rpm包.

2. 首先下载apache-impala-4.4.1-RELEASE_hive-3.1.3-x86_64.el8.8.rpm

        将rpm包移动到/opt目录下,然年执行yum安装

wget https://github.com/apache/impala/releases/download/4.4.1/apache-impala-4.4.1-RELEASE_hive-3.1.3-x86_64.el8.8.rpm
mv apache-impala-4.4.1-RELEASE_hive-3.1.3-x86_64.el8.8.rpm /opt
yum install -y apache-impala-4.4.1-RELEASE_hive-3.1.3-x86_64.el8.8.rpm

3. 安装之后得到/opt/impala文件夹,重命名为/opt/impala-4.4.1

cd /opt
mv impala impala-4.4.1

4. 修改conf/impala-env.sh脚本命令,修改以下三个的值

: ${JAVA_HOME:=/usr/local/jdk}# Specify extra CLASSPATH.
: ${CLASSPATH:=${IMPALA_HOME}/conf/:${IMPALA_HOME}/lib/jars/*}# Specify extra LD_LIBRARY_PATH.
: ${LD_LIBRARY_PATH:=${IMPALA_HOME}/lib/native/:${JAVA_HOME}/jre/lib/amd64/server/}

5.  在conf下将Hadoop的core-site.xml hdfs-site.xml以及hive的core-site.xml拷贝进来

hive-site.xml内容我只放了这些

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.port</name><value>9083</value></property><property><name>hive.metastore.uris</name><value>thrift://node01:9083</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>hive.metastore.dml.events</name><value>true</value></property><property><name>hive.metastore.transactional.event.listeners</name><value>org.apache.hive.hcatalog.listener.DbNotificationListener</value></property></configuration>

6. 打包tar.gz,并拷贝到DDP/packages目录下以及生成md5文件

cd /opt
# 打包tar.gz
tar -zcvf impala-4.4.1.tar.gz impala-4.4.1
# 将tar.gz包拷贝到DDP/packages目录下
cp impapa-4.4.1.tar.gz /opt/datasophon/DDP/packages
cd /opt/datasophon/DDP/packages
# 生成md5文件
java -jar file-md5-1.0-SNAPSHOT-jar-with-dependencies.jar impala-4.4.1.tar.gz

7. 编写IMPALA的service_ddl.json配置文件

cd /opt/datasophon/datasophon-manager-1.2.1/conf/meta/DDP-1.2.1/
mkdir IMPALA
cd IMPALA
# 创建json文件并写入内容
vi service_ddl.json
{"name": "IMPALA","label": "Impala","description": "MPP(大规模并行处理)SQL查询引擎","version": "4.4.1","sortNum": 22,"dependencies": ["HDFS", "HIVE"],"packageName": "impala-4.4.1.tar.gz","decompressPackageName": "impala-4.4.1","roles": [{"name": "StateStored","label": "StateStored","roleType": "master","runAs": {"user": "impala","group": "hadoop"},"cardinality": "1+","sortNum": 1,"logFile": "/var/log/impala/statestored.INFO","jmxPort": 2191,"startRunner": {"timeout": "60","program": "bin/impala.sh","args": ["start", "statestored"]},"stopRunner": {"timeout": "600","program": "bin/impala.sh","args": ["stop", "statestored"]},"statusRunner": {"timeout": "60","program": "bin/impala.sh","args": ["status", "statestored"]},"restartRunner": {"timeout": "60","program": "bin/impala.sh","args": ["restart", "statestored"]},"externalLink": {"name": "StateStored Ui","label": "StateStored Ui","url": "http://${host}:25010"}}, {"name": "Catalogd","label": "Catalogd","roleType": "master","runAs": {"user": "impala","group": "hadoop"},"cardinality": "1+","sortNum": 2,"logFile": "/var/log/impala/Catalogd.INFO","jmxPort": 2191,"startRunner": {"timeout": "60","program": "bin/impala.sh","args": ["start", "catalogd"]},"stopRunner": {"timeout": "600","program": "bin/impala.sh","args": ["stop", "catalogd"]},"statusRunner": {"timeout": "60","program": "bin/impala.sh","args": ["status", "catalogd"]},"restartRunner": {"timeout": "60","program": "bin/impala.sh","args": ["restart", "catalogd"]},"externalLink": {"name": "Catalogd Ui","label": "Catalogd Ui","url": "http://${host}:25020"}}, {"name": "Impalad","label": "Impalad","roleType": "worker","runAs": {"user": "impala","group": "hadoop"},"cardinality": "1+","sortNum": 3,"logFile": "/var/log/impala/Impalad.INFO","jmxPort": 2191,"startRunner": {"timeout": "60","program": "bin/impala.sh","args": ["start", "impalad", "--enable_legacy_avx_support"]},"stopRunner": {"timeout": "600","program": "bin/impala.sh","args": ["stop", "impalad"]},"statusRunner": {"timeout": "60","program": "bin/impala.sh","args": ["status", "impalad"]},"restartRunner": {"timeout": "60","program": "bin/impala.sh","args": ["restart", "impalad", "--enable_legacy_avx_support"]}}],"configWriter": {"generators": [{"filename": "statestored_flags","configFormat": "properties","outputDirectory": "conf","includeParams": ["-hostname", "-log_dir", "-minidump_path", "custom.statestored_flags"]}, {"filename": "catalogd_flags","configFormat": "properties","outputDirectory": "conf","includeParams": ["-hostname", "-state_store_host", "-log_dir", "-minidump_path", "custom.catalogd_flags"]}, {"filename": "impalad_flags","configFormat": "properties","outputDirectory": "conf","includeParams": ["-hostname", "-state_store_host", "-catalog_service_host", "-log_dir", "-minidump_path", "-mem_limit", "custom.impalad_flags"]}]},"parameters": [{"name": "-hostname","label": "impalad部署节点IP","description": "impalad部署节点IP","required": true,"type": "input","value": "${host}","configurableInWizard": true,"hidden": false,"defaultValue": "${host}"}, {"name": "-catalog_service_host","label": "catalog_service_host部署节点IP","description": "catalog_service_host部署节点IP","required": true,"type": "input","value": "node01","configurableInWizard": true,"hidden": false,"defaultValue": "${host}"}, {"name": "-state_store_host","label": "statestore部署节点IP","description": "statestore部署节点IP","required": true,"type": "input","value": "node01","configurableInWizard": true,"hidden": false,"defaultValue": "${host}"}, {"name": "-log_dir","label": "log_dir日志路径","description": "log_dir日志路径","required": true,"type": "input","value": "/var/log/impala","configurableInWizard": true,"hidden": false,"defaultValue": "/var/log/impala"}, {"name": "-minidump_path","label": "minidump_path路径","description": "minidump_path路径","required": true,"type": "input","value": "/var/log/impala/minidumps","configurableInWizard": true,"hidden": false,"defaultValue": "/var/log/impala/minidumps"}, {"name": "-mem_limit","label": "mem_limit","description": "mem_limit","required": true,"type": "input","value": "80%","configurableInWizard": true,"hidden": false,"defaultValue": "80%"}, {"name": "custom.statestored_flags","label": "自定义配置statestored_flags","description": "自定义配置","configType": "custom","required": true,"type": "multipleWithKey","value": [{"-v": "1"},{"-log_filename": "statestored"},{"-max_log_files": "10"},{"-max_log_size": "200"}],"configurableInWizard": true,"hidden": false,"defaultValue": ""}, {"name": "custom.catalogd_flags","label": "自定义配置catalogd_flags","description": "自定义配置","configType": "custom","required": true,"type": "multipleWithKey","value": [{"-v": "1"},{"-log_filename": "catalogd"},{"-max_log_files": "10"},{"-max_log_size": "200"}],"configurableInWizard": true,"hidden": false,"defaultValue": ""}, {"name": "custom.impalad_flags","label": "自定义配置impalad_flags","description": "自定义配置","configType": "custom","required": true,"type": "multipleWithKey","value": [{"-v": "1"},{"-log_filename": "impalad"},{"-max_log_files": "10"},{"-max_log_size": "200"},{"-scratch_dirs": "/data/impala/impalad"}],"configurableInWizard": true,"hidden": false,"defaultValue": ""}]
}

8. 重启datasophon的api服务

cd /opt/datasophon/datasophon-manager-1.2.1/
启动:sh bin/datasophon-api.sh start api
停止:sh bin/datasophon-api.sh stop api
重启:sh bin/datasophon-api.sh restart api

9. 回到网页中就可以进行服务的安装了(注意安装过程中修改catalogd以及satastored所在的服务器的ip或者host名称)

由于我的目录设置为/var/log/impala, impala并没有权限进行创建该目录,只能手动创建(这个问题我知道咋解决),这个步骤要在安装服务之前就做吧.

mkdir -p /var/log/impala/minidumps
chmod 777 /var/log/impala
chmod 777 var/log/impala/minidumps

如果有读者想自己打包安装可以参考以下博客

编译部署apache-impala | 子崖说

Datasophon集成impala | 子崖说

相关文章:

DataSophon集成ApacheImpala的过程

注意: 本次安装操作系统环境为Anolis8.9(Centos7和Centos8应该也一样) DataSophon版本为DDP-1.2.1 整合的安装包我放网盘了: 通过网盘分享的文件&#xff1a;impala-4.4.1.tar.gz等2个文件 链接: https://pan.baidu.com/s/18KfkO_BEFa5gVcc16I-Yew?pwdza4k 提取码: za4k 1…...

深入探讨TCP/IP协议基础

在当今数字化的时代&#xff0c;计算机网络已经成为人们生活和工作中不可或缺的一部分。而 TCP/IP 协议作为计算机网络的核心协议&#xff0c;更是支撑着全球互联网的运行。本文将深入探讨常见的 TCP/IP 协议基础&#xff0c;带你了解计算机网络的奥秘。 一、计算机网络概述 计…...

《Windows PE》7.4 资源表应用

本节我们将通过两个示例程序&#xff0c;演示对PE文件内图标资源的置换与提取。 本节必须掌握的知识点&#xff1a; 更改图标 提取图标资源 7.4.1 更改图标 让我们来做一个实验&#xff0c;替换PE文件中现有的图标。如果手工替换&#xff0c;一定是先找到资源表&#xff0c;…...

【重生之我要苦学C语言】猜数字游戏和关机程序的整合

今天来把学过的猜数字游戏和关机程序来整合一下 如果有不明白的可以看往期的博客 废话不多说&#xff0c;上代码&#xff1a; #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <time.h> #include <stdlib.h> #include <string.h> void…...

基于centos7脚本一键部署gpmall商城

基于centos7脚本一键部署单节点gpmall商城&#xff0c;该商城可单节点&#xff0c;可集群&#xff0c;可高可用集群部署&#xff0c;VMware17&#xff0c;虚拟机IP&#xff1a;192.168.200.100 将软件包解压到/root目录 [rootlocalhost ~]# ls dist …...

Mac book英特尔系列?M系列?两者有什么区别呢

众所周知&#xff0c;Mac book有M系列&#xff0c;搭载的是苹果自研的M芯片&#xff0c;也有着英特尔系列&#xff0c;搭载的是英特尔的处理器&#xff0c;虽然从 2020 年开始&#xff0c;苹果公司逐步推出了自家研发的 M 系列芯片&#xff0c;并逐渐将 MacBook 产品线过渡到 M…...

Python unstructured库详解:partition_pdf函数完整参数深度解析

Python unstructured库详解&#xff1a;partition_pdf函数完整参数深度解析 1. 简介2. 基础文件处理参数2.1 文件输入参数2.2 页面处理参数 3. 文档解析策略3.1 strategy参数详解3.2 策略选择建议 4. 表格处理参数4.1 表格结构推断 5. 语言处理参数5.1 语言设置 6. 图像处理参数…...

<项目代码>YOLOv8路面病害识别<目标检测>

YOLOv8是一种单阶段&#xff08;one-stage&#xff09;检测算法&#xff0c;它将目标检测问题转化为一个回归问题&#xff0c;能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法&#xff08;如Faster R-CNN&#xff09;&#xff0c;YOLOv8具有更高的…...

广告牌和标签学习

效果&#xff1a; 知识学习&#xff1a; entities添加标签label和广告牌billboard label&#xff1a; text&#xff1a;文本添加 font&#xff1a;字体大小和字体类型 fillColor&#xff1a;字体颜色 outlineColor&#xff1a;字体外轮廓颜色 outlineWidth&#xff1a;字体外轮…...

GDB 从裸奔到穿戴整齐

无数次被问道&#xff1a;你在终端下怎么调试更高效&#xff1f;或者怎么在 Vim 里调试&#xff1f;好吧&#xff0c;今天统一回答下&#xff0c;我从来不在 vim 里调试&#xff0c;因为它还不成熟。那除了命令行 GDB 裸奔以外&#xff0c;终端下还有没有更高效的方法&#xff…...

WPF的触发器(Trigger)

WPF&#xff08;Windows Presentation Foundation&#xff09;是微软.NET框架的一部分&#xff0c;用于构建Windows客户端应用程序。在WPF中&#xff0c;触发器&#xff08;Triggers&#xff09;是一种强大的功能&#xff0c;允许开发者根据控件的状态或属性值来动态改变控件的…...

全能大模型GPT-4o体验和接入教程

GPT-4o体验和接入教程 前言一、原生API二、Python LangchainSpring AI总结 前言 Open AI发布了产品GPT-4o&#xff0c;o表示"omni"&#xff0c;全能的意思。 GPT-4o可以实时对音频、视觉和文本进行推理&#xff0c;响应时间平均为 320 毫秒&#xff0c;和人类之间对…...

详解Apache版本、新功能和技术前景

文章目录 一、 版本溯源二、新功能和特性举例1. 模块化和可扩展性增强2. 多处理模块&#xff08;MPMs&#xff09;3. 异步支持4. 更细粒度的日志级别控制5. 通用表达式解析器6. HTTP/2支持7. Server Push8. Early Hints9. 更好的SSL/TLS支持10. 更安全的默认设置 三、 技术前景…...

Docker Redis集群3主3从模式

主从集群 docker run -d --name redis-node1 --net host --privilegedtrue -v /home/redis/node1:/data redis:7.0 --cluster-enabled yes --appendonly yes --port 9371docker run -d --name redis-node2 --net host --privilegedtrue -v /home/redis/node2:/data redis:7.0 …...

【Go语言】

type关键字的用法 定义结构体定义接口定义类型别名类型定义类型判断 别名实际上是为了更好地理解代码/ 这里要分点进行记录 使用传值的例子&#xff0c;当两个类型不一样需要进行类型转换 type Myint int // 自定义类型&#xff0c;基于已有的类型自定义一个类型type Myin…...

【Spring Boot】元注解

元注解 1.元注解1.1 Target1.2 Retention1.3 Inherited1.4 Documented1.5 interface 2.自定义注解2.1 创建自定义注解类2.2 实现业务逻辑2.3 使用自定义注解 1.元注解 元注解就是定义注解的注解&#xff0c;是 Java 提供的用于定义注解的基本注解。 注解 说明 Retention是注解…...

基于信号分解和多种深度学习结合的上证指数预测模型

大家好&#xff0c;我是带我去滑雪&#xff01; 为了给投资者提供更准确的投资建议、帮助政府和监管部门更好地制定相关政策&#xff0c;维护市场稳定&#xff0c;本文对股民情绪和上证指数之间的关系进行更深入的研究&#xff0c;并结合信号分解、优化算法和深度学习对上证指数…...

基于Spring Boot的酒店住宿管理平台

1系统概述 1.1 研究背景 随着计算机技术的发展以及计算机网络的逐渐普及&#xff0c;互联网成为人们查找信息的重要场所&#xff0c;二十一世纪是信息的时代&#xff0c;所以信息的管理显得特别重要。因此&#xff0c;使用计算机来管理酒店客房管理系统的相关信息成为必然。开发…...

游聚对战平台 三国战纪2012CE修改器修改地址

游聚对战平台 三国战纪2012比较全的一次地址。 工具 ce修改器 自行百度下载 1袖箭 2褐色鸡蛋 3毒堂 4飞盘 5火焰弹 6绿色鸡蛋 7金珠 8毒蝎 9毒镖 10铁莲花 11张陵剑 12张角巾 13太清丹经 14黄石公 15九节杖 16隐身衣 17神仙笔 18 玉蜂术&#xff08;效果不明&#xff09;19天师…...

Qt Creator中的项目栏

shadow build: [基础]Qt Creator 的 Shadow build(影子构建)-CSDN博客 影子构建&#xff1a;将源码路径和构建路径分开&#xff08;生成的makefile文件和其他产物都不放到源码路径&#xff09;&#xff0c;以此来保证源码路径的清洁。 实验1&#xff1a; 我创建了两个项目:…...

keepalived+web 实现双机热备

环境&#xff1a;利用keeplived实现web服务器的双机热备(高可用) 注意&#xff1a; (1) 利用keeplivedweb做双击热备&#xff08;高可用&#xff09;&#xff0c;最少需要两台服务器&#xff0c;可以实现多域名对应一个VIP,并且访问不同域名&#xff0c;显示不同主页&#xf…...

关于python的import

在Python中&#xff0c;import语句用于导入其他模块或模块中的特定部分&#xff0c;以便在代码中使用它们。这就可以重用代码&#xff0c;而不是每次都从头开始编写所有的功能。 基本用法 导入整个模块&#xff1a; import module_name 例如&#xff1a; import math print(…...

帕金森后期吞咽困难:破解难题,重拾生活美味!

在这个快节奏的时代&#xff0c;健康成为了我们最宝贵的财富。然而&#xff0c;对于帕金森病患者及其家庭而言&#xff0c;随着病情的进展&#xff0c;尤其是进入后期阶段&#xff0c;吞咽困难成为了他们不得不面对的严峻挑战。今天&#xff0c;就让我们一起走进这个温暖而坚韧…...

android 添加USB网卡并配置DNS

工作需要&#xff0c;需要使用TBox分享的网络&#xff0c;Android将TBox当作一个USB网卡&#xff0c;接下来就简单了&#xff0c;配置这个网卡的信息即可。 加载默认网卡的信息在frameworks/opt/net/ethernet/java/com/android/server/ethernet/EthernetTracker.java中 Ethern…...

【面试经典150】day 8

#1024程序员节 | 征文# 作为一个未来的程序员&#xff0c;现在我要继续刷题了。 力扣时刻。 目录 1.接雨水 2.罗马数字转整数 3.最后一个单词的长度 4.最长公共前缀 5.反转字符串中的单词 1.接雨水 好好好好好好&#xff0c;一开始就接雨水。我记得接了n次了。。。 痛苦战…...

Python -- 网络爬虫

Python – 网络爬虫 流程&#xff1a; 1. 连接链接获取页面内容&#xff08;html文件&#xff09;&#xff1b; 2. 过滤获取需要信息&#xff08;正则&#xff09; [可能重复步骤1&#xff0c;2] &#xff1b; 3. 存储文件到本地。一&#xff09;网络连接获取页面内容 # 网络…...

【英特尔IA-32架构软件开发者开发手册第3卷:系统编程指南】2001年版翻译,2-5

文件下载与邀请翻译者 学习英特尔开发手册&#xff0c;最好手里这个手册文件。原版是PDF文件。点击下方链接了解下载方法。 讲解下载英特尔开发手册的文章 翻译英特尔开发手册&#xff0c;会是一件耗时费力的工作。如果有愿意和我一起来做这件事的&#xff0c;那么&#xff…...

设计模式4 适配器 (adapter)

一句话&#xff0c;适配器按照客户的需求, 适配当前已有的接口。 目标接口&#xff1a;reqeust() public interface Target {void request(); //this is client needed interface }已有接口&#xff1a;specificRequest package com.example.adapter;import android.uti…...

《分布式机器学习模式》:解锁分布式ML的实战宝典

在大数据和人工智能时代&#xff0c;机器学习已经成为推动技术进步的重要引擎。然而&#xff0c;随着数据量的爆炸性增长和模型复杂度的提升&#xff0c;单机环境下的机器学习已经难以满足实际需求。因此&#xff0c;将机器学习应用迁移到分布式系统上&#xff0c;成为了一个不…...

【项目实战】HuggingFace初步实战,使用HF做一些小型任务

Huggingface初步实战 一、前期准备工作二、学习pipline2.1.试运行代码&#xff0c;使用HuggingFace下载模型2.2. 例子1&#xff0c;情感检测分析(只有积极和消极两个状态)2.3. 例子2&#xff0c;文本生成 三、学会使用Tokenizer & Model3.1.tokenizer&#xff08;分词器&am…...

桂林北站地图/花都网站建设公司

原文地址 http://zhangyaochun.iteye.com/blog/1682605 原作者&#xff1a;zhangyaochun 转载于:https://www.cnblogs.com/yiliweichinasoft/p/3472317.html...

美食网网站建设目的/安徽网站关键词优化

length(object) #显示对象中元素/成分个数,length("")1 dim(object) #显示某个对象维度,行数与列数 names(object) #显示对象中各元素/成分名称 rm(object1,object2,...) #删除一个或者多个对象 nchar(x) #计算字符串x的长度,对于非字符对象不能用该函数,nchar(&quo…...

wordpress需要会php吗/百度推广图片尺寸要求

<!DOCTYPE html> <html> <head><meta charset"utf-8"><title>统计</title><!-- 引入 echarts.js --> <!--要先加载echarts.js 之后再执行方法 不然会报错--> <style> #main{/* 通过ID获取将div设置居中样式…...

团购网站建设方案/滕州网站建设优化

这几天在慢慢的巩固android基础方面的知识&#xff0c;对activity的生命周期和appliaction总是有点晕&#xff0c;所以特别做了点思考。 1 首先附一张activity的生命周期图 比较形象的说明了activity启动的时候所调用的方法&#xff0c;但当activity被不同的方式结束时&#xf…...

河北外贸网站建设/搜索引擎调价工具哪个好

ssl证书是一种安全证书&#xff0c;这也是数字证书的一种&#xff0c;一般都是使用于网站的服务器当中的&#xff0c;因此又被称之服务器证书。很多企业都会给网站配置ssl证书&#xff0c;目的是为了保护网站信息安全&#xff0c;防止信息被不法分子盗用。因此&#xff0c;ssl加…...

建设云个人网站/seo流量是什么意思

1.curl是libcurl这个库支持的&#xff0c;wget是一个纯粹的命令行命令。2.curl支持更多的协议。curl supports FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, SMTP and RTSP at the time of this writing. Wget supports HTTP, HTTP…...