kettle_Hbase

kettle_Hbase

☀Hbase学习笔记 

读取hdfs文件并将sal大于1000的数据保存到hbase中

前置说明:

1.需要配置HadoopConnect 将集群中的/usr/local/soft/hbase-1.4.6/conf/hbase-site.xml复制至Kettle中的

Kettle\pdi-ce-8.2.0.0-342\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp26目录中

2.配置Hadoop Cluster 中Zookeeper的Hostname为master,port为2181

1、在HBase中创建一张people表

hbase(main):004:0> create 'people','info'

2、按下图建立流程图

image.png

  • 文本文件输入

image.png

image.png

  • 设置过滤记录

image.png

  • 设置HBase output

    编辑hadoop连接,并配置zookeeper地址

image.png

image.png

  • 执行转换

image.png

  • 查看hbase people表的数据

    scan 'people'

    注意:若报错没有权限往hdfs写文件,在Spoon.bat中第119行添加参数

    "-DHADOOP_USER_NAME=root" "-Dfile.encoding=UTF-8"

相关推荐

最近更新

  1. 【lesson3】服务端Json工具类的设计和实现

    2024-06-11 09:14:03       0 阅读
  2. 力扣475.供暖器

    2024-06-11 09:14:03       0 阅读
  3. 图片based64编码解码python代码

    2024-06-11 09:14:03       0 阅读
  4. ray框架训练阶段和 Serve 阶段对比

    2024-06-11 09:14:03       0 阅读

热门阅读

  1. 细说wayland和X11

    2024-06-11 09:14:03       2 阅读
  2. 详细说说机器学习在工业制造的应用

    2024-06-11 09:14:03       2 阅读
  3. STM32 ST-LINK Utility的下载安装使用说明如下:

    2024-06-11 09:14:03       2 阅读
  4. 观察者模式

    2024-06-11 09:14:03       4 阅读
  5. C#面:什么是DLL文件,使用它们有什么好处

    2024-06-11 09:14:03       3 阅读
  6. ArcGIS要点和难点以及具体应用和优缺点介绍

    2024-06-11 09:14:03       3 阅读
  7. 70、最长上升子序列

    2024-06-11 09:14:03       3 阅读