hadoop疑难问题解决_NoClassDefFoundError: org/apache/hadoop/fs/adl/AdlFileSystem

1、问题描述

impala执行查询:select * from stmta_raw limit 10;

报错信息如下:

Query: select * from sfmta_raw limit 10
Query submitted at: 2018-04-11 14:46:29 (Coordinator: http://mrj001:25000)
ERROR: AnalysisException: Failed to load metadata for table: 'sfmta_raw'
CAUSED BY: TableLoadingException: Failed to load metadata for table: test.sfmta_raw. Running 'invalidate metadata test.sfmta_raw' may resolve this problem.
CAUSED BY: NoClassDefFoundError: org/apache/hadoop/fs/adl/AdlFileSystem
CAUSED BY: ClassNotFoundException: org.apache.hadoop.fs.adl.AdlFileSystem

2、集群环境

【操作系统】Centos6.5

【hadoop版本】2.7.1

【impala版本】2.10.0-cdh5.14.0

3、报错分析

3.1、使用日志提示解决方案

#根据日志提示执行
invalidate metadata test.sfmta_raw

3.2、检查依赖lib包依赖

#检查依赖,看是否有依赖没有引入
cd /usr/lib/impala/lib

#检查是否存在依赖包
ls -s | grep azure

3.3、检查core-site.xml配置

#进入impala配置目录
cd /etc/impala/conf

#检查配置文件
cat core-site.xml

#查看下面引入的是否有下面属性,如果没有则添加
<property>
    <name>fs.AbstractFileSystem.adl.impl</name>
    <value>org.apache.hadoop.fs.adl.Adl</value>
</property>
<property>
    <name>fs.adl.impl</name>
    <value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
</property>

3.4、检查hadoop lib目录

#进入impala配置目录
cd $HADOOP_HOME/lib

#检查配置文件
ls -l | grep azure

#如果上一步有对应jar包,则查找下面jar包(该包包括缺失的class实现类)
ls -l | grep hadoop-azure-datalake

3.5、检查hadoop lib目录

        如果3.2、3.3、3.4中均缺失相应jar包,则代表当前版本hadoop中不支持AdlFileSystem的实现,需要更新hadoop版本;本人使用了apache hadoop2.7.1,经过检查发现确实没有这个子类。经过hadoop官网查询验证

hadoop2.9.0版本有这个子类;问题终于找到 

3.6、更新hadoop版本

    检查环境兼容性,更新hadoop版本至2.9.0或更高版本

相关推荐

  1. 【电路理论】疑难解答

    2024-06-09 21:38:04       21 阅读
  2. windows环境下cgo使用opencv和遇到的疑难问题解决

    2024-06-09 21:38:04       10 阅读

最近更新

  1. Android Display管理服务DMS

    2024-06-09 21:38:04       0 阅读
  2. CSS 媒体类型

    2024-06-09 21:38:04       0 阅读
  3. Spring框架的原理及应用详解(一)

    2024-06-09 21:38:04       0 阅读
  4. 数据库的隔离级别

    2024-06-09 21:38:04       0 阅读
  5. leetcode 70.爬楼梯

    2024-06-09 21:38:04       0 阅读
  6. 每周题解:Intervals(区间)

    2024-06-09 21:38:04       0 阅读
  7. dolphinscheduler独立集群部署文档(海豚调度)

    2024-06-09 21:38:04       0 阅读

热门阅读

  1. P9 品牌校验

    2024-06-09 21:38:04       3 阅读
  2. Websocket前端传参:深度解析与实战应用

    2024-06-09 21:38:04       4 阅读
  3. C语言:指针(函数回调)

    2024-06-09 21:38:04       3 阅读
  4. 【人工智能】AI绘画工具基本介绍

    2024-06-09 21:38:04       4 阅读
  5. 通俗易懂分析Docker中镜像和容器

    2024-06-09 21:38:04       5 阅读
  6. C++单例模式

    2024-06-09 21:38:04       3 阅读
  7. 语音合成

    2024-06-09 21:38:04       3 阅读
  8. 单链表的实现

    2024-06-09 21:38:04       5 阅读
  9. Jupyter | 如何在Jupyter应用中添加、删除虚拟环境

    2024-06-09 21:38:04       4 阅读
  10. Apache Doris 2.0.11 版本正式发布

    2024-06-09 21:38:04       3 阅读
  11. IntelliJ IDEA安装

    2024-06-09 21:38:04       3 阅读
  12. OnlyOwner在Solidity中是一个修饰符,TypeError:

    2024-06-09 21:38:04       4 阅读