当前位置： 首页 > news >正文

Kettle 安装配置

news 2026/2/7 20:43:23

文章目录

  • Kettle 安装配置
    • Kettle 安装
    • Kettle 配置
    • 连接 Hive

Kettle 安装配置

Kettle 安装

在安装Kettle之前，需要确定已经安装Java运行环境。Kettle需要Java的支持才能运行，JDK的版本最好是8.x的太新的也会出现bug。Kettle的7.1版本的太旧了，容易出现闪退，右击就死机等bug，9.x太新了也会有bug，下载8.2版本的安装包。如图所示：Kettle官方网站下载地址如下：Pentaho from Hitachi Vantara - Browse Files at SourceForge.net

在这里插入图片描述

在Windows系统上，可以直接双击“spoon.bat”文件启动Kettle。在Linux或Mac OS系统上，可以在命令行中输入“./spoon.sh”命令启动Kettle。

在这里插入图片描述

Kettle 配置

完成了Kettle的安装之后，我们还需要通过配置，使得Kettle可以与Hadoop 协同工作。通过提交适当的参数，Kettl可以连接Hadoop的HDFS、MapReduce、Zookeeper、Oozie、Sqoop 和Spark服务。在数据库连接类型中支持Hive和Impala。

在配置连接前，要确认Hadoop和Hive虚拟机中已经正确安装并启动。使用FTP工具，连接虚拟机，找到Hadoop和Hive中的配置文件：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hive-site.xml，合计5个，下载到Kettle根目录下的plugins\pentaho-big-data-plugin\hadoop-configurations\cdh514目录下，覆盖原来Kettle自带的这些文件。

​在本机配置IP地址映射，修改C:\Windows\System32\drivers\etc\hosts文件，加入主机名与IP对应关系，填自己的IP和主机名。

192.168.88.102 hadoop102
192.168.88.103 hadoop103
192.168.88.104 hadoop104

在Spoon界面中，选择主菜单“工具”→“Hadoop Distribution…”，从弹出窗口中可以看到五种Shim。选择“Cloudera CDH 514”，点击OK 按钮确定后重启Spoon.


​接下来我们新建一个作业来测试一下Kettle与Hadoop的连接。在工作区左侧的树的“主对象树”标签中，右击“作业”点击“新建”。选择 Hadoop clusters→ 右键 New Cluster。

在这里插入图片描述
选择对话框中输入如图所示的属性值

在这里插入图片描述

​ Hadoop集群配置窗口中的选项及定义说明如下：

  • Cluster Name：定义要连接的集群名称，这里为hadoop。
  • Hostname（HDFS 段）：Hadoop集群中NameNode节点的主机名。本例中在虚拟机的主机名已经设置为hadoop102。
  • Port（HDFS 段）：Hadoop集群中NameNode节点的端口号。
  • Username（HDFS 段）：HDFS的用户名，通过宿主操作系统给出，可以不填。这里为虚拟机登录用户名。
  • Password（HDFS 段）：HDFS的密码，通过宿主操作系统给出，可以不填。虚拟机登录密码。
  • Hostname（JobTracker 段）：Hadoop集群中JobTracker节点的主机名。如果有独立的JobTracker节点，在此输入，否则使用HDFS的主机名。
  • Port（JobTracker 段）：Hadoop集群中JobTracker节点的端口号，不能与 HDFS 的端口号相同。
  • Hostname（ZooKeeper 段）：Hadoop集群中Zookeeper节点的主机名，只有在连接Zookeeper 服务时才需要。
  • Port（ZooKeeper 段）：Hadoop集群中Zookeeper节点的端口号，只有在连接Zookeepe服务时才需要。
  • URL（Oozie 段）：Oozie WebUI的地址，只有在连接Oozie。

然后点击“测试”按钮，测试结果如图2-6所示。此时Oozi和Zookeeper 因为没有进行安装，所以必定会有连接失败的警告。“User Home Directory Access”这条报错则是由于当前 Kettle 是安装在宿主机的Windows系统中，Windows 上

运行的 Kettle 在连接 Hadoop 集群时，始终用本机用户连接 Hadoop 集群，因此User Home Directory Access会报错。将Kettle 安装到 Hadoop 所在的虚拟机中可以解决此问题。此处不影响后续的操作。

在这里插入图片描述

连接 Hive

接下来，我们再尝试使用Kettle连接Hive。Kettle把Hive当作一个数据库，支持连接Hive Server和Hive Server 2，数据库连接类型的名字分别为Hadoop Hive 和 Hadoop Hive 2。这里在Kettle中建立一个Hadoop Hive 2类型的数据库连接。

在远程连接虚拟机，进入 Hive 目录，然后启动 HiveServer2 服务，命令“hiveserver2”，


在Kettle工作区左侧的“主对象树”标签中，选择“DB 连接” → 右键“新建”，对话框中输入如图所示的属性值

在这里插入图片描述
上图的数据库连接配置窗口中的选项及定义说明如下：

  • Connection Name：定义连接名称，这里为 hive。
  • Connection Type：连接类型选择 Hadoop Hive 2。
  • Host Name：输入HiveServer2对应的主机名，这里是hadoop102。
  • Datebase Name：这里输入的default是Hive里默认的一个数据库名称。
  • Port Number：端口号输入hive.server2.thrift.port参数的值，我们连接时设置的端口号为10000。
  • User Name：用户名，这里为虚拟机登录用户名。
  • Password：密码，这里为虚拟机登录密码。

点击“测试”，应该弹出成功连接窗口

为了让其它转换或作业能够使用此数据库连接对象，需要将它设置为共享。选择 “DB连接”→ hive → 右键“共享”，然后保存作业。

相关文章：

Kettle 安装配置

文章目录 Kettle 安装配置Kettle 安装Kettle 配置连接 Hive Kettle 安装配置 Kettle 安装 在安装Kettle之前，需要确定已经安装Java运行环境。Kettle需要Java的支持才能运行，JDK的版本最好是8.x的太新的也会出现bug。Kettle的7.1版本的太旧了&#xff0…...

编程日记 2023/12/4 0:51:05

Webgis学习总结

前言： 作者跟随视频学习了webgis内容进行如下学习复习总结 参考：新中地学习笔记 WebGIS第一课：测试高德API并通过： 注册申请高德API成为开发者，创建自己的项目和key进行项目初始化，可以使用JS API官方文…...

编程日记 2023/12/4 0:48:02

【开源】基于Vue+SpringBoot的音乐平台

项目编号： S 055 ，文末获取源码。 \color{red}{项目编号：S055，文末获取源码。} 项目编号：S055，文末获取源码。 目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块三、系统展示 四、核心代码4.1 查询单首…...

编程日记 2023/12/4 0:46:00

20、Resnet 为什么这么重要

（本文已加入“计算机视觉入门与调优”专栏，点击专栏查看更多文章信息）r esnet 这一网络的重要性，上一节大概介绍了一下，可以从以下两个方面来有所体现：第一是 resnet 广泛的作为其他神经网络的 back bone；第二是 resnet 是 AI 芯片厂家对标性能时，在视觉领域尤其是图像…...

编程日记 2023/12/4 0:43:58

Git Bash环境下用perl脚本获取uuid值

在Linux环境下，比如在ubuntu就直接有uuidgen命令直接获取uuid值。在Windows环境下常用的git bash中没有对应的命令，略有不便。这里用脚本写一个uuidgen，模拟Linux环境下的uuidgen命令。 #! /usr/bin/perl use v5.14; use Win32;sub uuidGen {…...

编程日记 2023/12/4 0:41:56

linux安装部署redis

1、下载redis包2、解压3、进入解压路径编译安装4、修改配置文件使redis后台运行5、启动 1、下载redis包 https://redis.io/download/ 2、解压 tar -zxvf redis-7.2.3.tar.gz3、进入解压路径编译安装 cd redis-7.2.3 make && make install默认安装路径： …...

编程日记 2023/12/4 0:40:55

Redis 数据结构详解

分类 编程技术 Redis 数据类型分为：字符串类型、散列类型、列表类型、集合类型、有序集合类型。 Redis 这么火，它运行有多块？一台普通的笔记本电脑，可以在1秒钟内完成十万次的读写操作。 原子操作：最小的操作单位&a…...

编程日记 2023/12/4 0:39:54

03-IDEA集成Git,初始化本地库,添加远程仓库,提交,拉取,推送,分支的快捷操作

IDEA集成Git 创建Git忽略文件 不同的IDE开发工具有不同的特点文件,这些文件与项目的实际功能无关且不参与服务器上的部署运行, 把它们忽略掉能够屏蔽之间的差异 局部忽略配置文件: 在本地仓库的根目录即项目根目录下直接创建.gitignore文件, 以文件后缀或目录名的方式忽略指定…...

编程日记 2023/12/4 0:38:53

Python---格式化输出与%百分号----涉及转义符 \ 反斜杠的使用

相关链接Python--格式化输出中的转义符号----\t 制表符（空格的）和\n（换行的）_唯元素的博客-CSDN博客 Python---字符串（用单、双引号、 三单/双引号定义。反斜杠 \ 转义，单在双内/双在单内 ）-CS…...

编程日记 2023/12/4 0:35:49

大华技术GIS开发工程师24届秋招三场面试Offer面经

本文介绍2024届秋招中，大华技术股份有限公司的GIS开发工程师岗位的3场面试基本情况、提问问题等。 10月投递了大华技术股份有限公司的GIS开发工程师岗位，所在部门为研发中心。目前完成了一面、二面与三面等全部流程，并有幸获得Offer&#xff…...

编程日记 2023/12/4 0:34:48

前端三大MV*模式：MVC、mvvm、mvp模式介绍

MVC（同步通信为主）：Model、View、Controller MVP(异步通信为主)：Model、View、Presenter MVVM(异步通信为主)：Model、View、ViewModel mvc模式介绍 MVC（Model–View–Controller）模式是软件…...

编程日记 2023/12/4 0:33:48

分享一些Git的常用命令

常用命令 命令名称作git config —global user.name 用户名设置用户签名git config —global user.email 邮箱设置用户签名git init初始化本地库git status查看本地库状态git add 文件名添加到暂存区git commit -m “日志信息” 文件名提交到本地库git reflog查看历史记录git r…...

编程日记 2023/12/4 0:31:46

C语言第四十二弹---使用多种方法实现字符串左旋转

使用多种方法实现字符串左旋转 一、 左移法 思路：每一次通过移动第一个字符，然后把后面的字符前移，然后再进行移动第一个字符再前移。故需要使用嵌套循环，外层循环控制移动第一个字符的次数，第二个循环进行字符前移 …...

编程日记 2023/12/4 0:30:45

REST-Assured--JAVA REST服务自动化测试的Swiss Army Knife

什么是REST-Assured REST Assured是一套基于 Java 语言实现的开源 REST API 测试框架 Testing and validation of REST services in Java is harder than in dynamic languages such as Ruby and Groovy. REST Assured brings the simplicity of using these languages into t…...

编程日记 2023/12/4 0:26:41

docker中的网络不通问题

前言 有时候在使用docker时，会莫名其妙docker内部与外网网络不通 docker与防火墙 docker内部的网络与宿主机的防火墙有千丝万缕的联系，docker启动的那一刻如果防火墙是启动的，docker内部与外部就会走防火墙转发策略，这个时候&a…...

编程日记 2023/12/4 0:24:40

Android 12.0 修改Android系统的通知自动成组的数量

场景: Android 系统对显示在通知列表中的同一个应用的通知进行分组管理,即相同的packageName中,当通知数量达到系统默认指定的数量时,会自动成一组. Android 12.0 中系统默认的自动成组数如下所示: 核心路径 : frameworks/base/core/res/res/values/config.xml<!-- 来自同…...

编程日记 2023/12/4 0:23:38

Debian12配置ssh服务器

Debian12配置ssh服务器 安装ssh-server sudo apt install openssh-server启动ssh sudo systemctl start ssh启用ssh sudo systemctl enable ssh查看ssh状态 sudo systemctl status ssh可以看到有enabled和running字样 说明ssh启用成功 连接到服务器 # username是你的用…...

编程日记 2023/12/4 0:22:37

飞天使-elk搭建补充

文章目录 es 集群创建密码kibana 配置文件以及和nginx配置pm2 安装定期清理索引以及告警logstash 配置filebeat 配置文件nginx 的日志索引 es 集群创建密码 参考这篇博文进行设置&#xff1a;https://juejin.cn/post/7079955586330132487 最后的效果 #curl -XGET http://127.0…...

编程日记 2023/12/4 0:14:31

YOLOv7+姿态估计Pose+tensort部署加速

YOLOv7-Pose YOLOv7是一种高效的目标检测算法&#xff0c;用于实时物体检测。姿态估计Pose是一种用于识别和跟踪人体关键点的技术。TensorRT是一个针对深度学习推理任务进行加速的高性能推理引擎。 将YOLOv7和姿态估计Pose与TensorRT结合可以实现快速而准确的目标检测和姿态估…...

编程日记 2023/12/4 0:13:30

Java数据结构 之 包装类简单认识泛类

生命不息&#xff0c;奋斗不止 目录 1. 什么是包装类&#xff1f; 1.1 装箱和拆箱 1.2 自动装箱和自动拆箱 2. 什么是泛型 3. 引出泛型 3.1 语法 4 泛型类的使用 4.1 语法 4.2 示例 4.3 类型推导(Type Inference) 5. 裸类型(Raw Type) &#xff08;了解&#xff09…...

编程日记 2023/12/4 0:12:28

Android Wi-Fi 连接失败日志分析

1. Android wifi 关键日志总结 (1) Wi-Fi 断开 (CTRL-EVENT-DISCONNECTED reason3) 日志相关部分&#xff1a; 06-05 10:48:40.987 943 943 I wpa_supplicant: wlan0: CTRL-EVENT-DISCONNECTED bssid44:9b:c1:57:a8:90 reason3 locally_generated1解析&#xff1a; CTR…...

编程新知 2025/9/14 19:44:52

java_网络服务相关_gateway_nacos_feign区别联系

1. spring-cloud-starter-gateway 作用&#xff1a;作为微服务架构的网关&#xff0c;统一入口&#xff0c;处理所有外部请求。 核心能力&#xff1a; 路由转发&#xff08;基于路径、服务名等&#xff09;过滤器&#xff08;鉴权、限流、日志、Header 处理&#xff09;支持负…...

编程新知 2025/11/28 2:51:33

Leetcode 3576. Transform Array to All Equal Elements

Leetcode 3576. Transform Array to All Equal Elements 1. 解题思路2. 代码实现 题目链接&#xff1a;3576. Transform Array to All Equal Elements 1. 解题思路 这一题思路上就是分别考察一下是否能将其转化为全1或者全-1数组即可。 至于每一种情况是否可以达到&#xf…...

编程新知 2025/9/17 7:25:07

centos 7 部署awstats 网站访问检测

一、基础环境准备&#xff08;两种安装方式都要做&#xff09; bash # 安装必要依赖 yum install -y httpd perl mod_perl perl-Time-HiRes perl-DateTime systemctl enable httpd # 设置 Apache 开机自启 systemctl start httpd # 启动 Apache二、安装 AWStats&#xff0…...

编程新知 2026/1/23 8:33:56

Qwen3-Embedding-0.6B深度解析：多语言语义检索的轻量级利器

第一章 引言&#xff1a;语义表示的新时代挑战与Qwen3的破局之路 1.1 文本嵌入的核心价值与技术演进 在人工智能领域&#xff0c;文本嵌入技术如同连接自然语言与机器理解的“神经突触”——它将人类语言转化为计算机可计算的语义向量&#xff0c;支撑着搜索引擎、推荐系统、…...

编程新知 2025/11/6 8:47:31

【Go】3、Go语言进阶与依赖管理

前言 本系列文章参考自稀土掘金上的 【字节内部课】公开课&#xff0c;做自我学习总结整理。 Go语言并发编程 Go语言原生支持并发编程&#xff0c;它的核心机制是 Goroutine 协程、Channel 通道&#xff0c;并基于CSP&#xff08;Communicating Sequential Processes&#xff0…...

编程新知 2025/10/7 0:32:40

AI，如何重构理解、匹配与决策？

AI 时代&#xff0c;我们如何理解消费&#xff1f; 作者&#xff5c;王彬 封面&#xff5c;Unplash 人们通过信息理解世界。 曾几何时&#xff0c;PC 与移动互联网重塑了人们的购物路径&#xff1a;信息变得唾手可得&#xff0c;商品决策变得高度依赖内容。 但 AI 时代的来…...

编程新知 2026/1/30 2:33:11

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2026/1/31 2:13:57

初探Service服务发现机制

1.Service简介 Service是将运行在一组Pod上的应用程序发布为网络服务的抽象方法。 主要功能&#xff1a;服务发现和负载均衡。 Service类型的包括ClusterIP类型、NodePort类型、LoadBalancer类型、ExternalName类型 2.Endpoints简介 Endpoints是一种Kubernetes资源&#xf…...

编程新知 2026/2/6 15:01:23

Unity UGUI Button事件流程

场景结构 测试代码 public class TestBtn : MonoBehaviour {void Start(){var btn GetComponent<Button>();btn.onClick.AddListener(OnClick);}private void OnClick(){Debug.Log("666");}}当添加事件时 // 实例化一个ButtonClickedEvent的事件 [Formerl…...

编程新知 2026/2/1 14:51:21