kettle_Hbase

kettle_Hbase

☀Hbase学习笔记 

读取hdfs文件并将sal大于1000的数据保存到hbase中

前置说明:

1.需要配置HadoopConnect 将集群中的/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml复制至Kettle中的

Kettle\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp26目录中

2.配置Hadoop Cluster 中Zookeeper的Hostname为master,port为2181

1、在HBase中创建一张people表

hbase(main):004:0> create 'people','info'

2、按下图建立流程图

image.png

  • 文本文件输入

image.png

image.png

  • 设置过滤记录

image.png

  • 设置HBase output

    编辑hadoop连接,并配置zookeeper地址

image.png

image.png

  • 执行转换

image.png

  • 查看hbase people表的数据

    scan 'people'

    注意:若报错没有权限往hdfs写文件,在Spoon.bat中第119行添加参数

    "-DHADOOP_USER_NAME=root" "-Dfile.encoding=UTF-8"

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-11 09:14:03       5 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-11 09:14:03       5 阅读
  3. 在Django里面运行非项目文件

    2024-06-11 09:14:03       4 阅读
  4. Python语言-面向对象

    2024-06-11 09:14:03       6 阅读

热门阅读

  1. 细说wayland和X11

    2024-06-11 09:14:03       15 阅读
  2. 详细说说机器学习在工业制造的应用

    2024-06-11 09:14:03       11 阅读
  3. STM32 ST-LINK Utility的下载安装使用说明如下:

    2024-06-11 09:14:03       23 阅读
  4. 观察者模式

    2024-06-11 09:14:03       15 阅读
  5. C#面:什么是DLL文件,使用它们有什么好处

    2024-06-11 09:14:03       19 阅读
  6. ArcGIS要点和难点以及具体应用和优缺点介绍

    2024-06-11 09:14:03       19 阅读
  7. 70、最长上升子序列

    2024-06-11 09:14:03       10 阅读