hadoop学习系列--环境安装

先说踩的坑:刚开始学习,使用mac本安装单机hadoop,遭遇mac自身安全限制,到时dfs启动报错,解决后又出现新的问题,部分所需端口无法申请到,导致hadoop启动时报。

最终决定,使用虚拟机,在centos7下安装单机hadoop。

记录下踩得的:在解压hadoop包时所用的用户,和后续操作使用的用户最好使用一个,否则会报权限相关问题。

先要安装java环境,并配置环境变量:/etc/profile。配置完后一定要重新加载环境变量:source /etc/profile。

接下里将解压的hadoop所存放的根目录配置在环境变量中。

然后配置 hadoop/etc/hadoop/hdfs-site.xml、core-site.xml、yarn-site.xml和mapre-site.xml.个文件配置分别如下:

hdfs-site.xml

<property>
                <name>fs.defaultFS</name>
                <value>hdfs://127.0.0.1:9000</value>              //如果其他主机也要访问,那就将127.0.0.1:9000改为:你的网卡IP:9000,或者改为0.0.0.0:9000
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <!-- 自定义 hadoop 的工作目录 -->
                <value>/usr/local/hadoop/hadoop-3.3.4/hadoopdata</value>
        </property>
        <property>
                <name>hadoop.native.lib</name>
                <!-- 禁用Hadoop的本地库 -->
                <value>false</value>
        </property>

hdfs-site.xml

   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>

yarn-site.xml

<property>
               <name>yarn.resourcemanager.hostname</name>
               <value>127.0.0.1</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <!-- yarn web 页面 -->
               <value>0.0.0.0:8088</value>
       </property>
       <property>
               <name>yarn.nodemanager.aux-services</name>
               <!-- reducer获取数据的方式 -->
               <value>mapreduce_shuffle</value>
       </property>

etc/hadoop/hadoop-env.sh

# 将当前用户 root 赋给下面这些变量
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# JAVA的绝对路径,可以使用whereis java查看
export JAVA_HOME=/usr/local/java/jdk1.8.0_341

# Hadoop的安装路径下的etc/hadoop的绝对路径
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-3.3.4/etc/hadoop

详细操作参考:Centos7.X安装单机Hadoop(3.3.4版本) - 粉色纽扣 - 博客园 (cnblogs.com)

相关推荐

  1. hadoop学习系列--环境安装

    2024-07-20 18:40:02       29 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-20 18:40:02       142 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-20 18:40:02       156 阅读
  3. 在Django里面运行非项目文件

    2024-07-20 18:40:02       131 阅读
  4. Python语言-面向对象

    2024-07-20 18:40:02       141 阅读

热门阅读

  1. 代码随想录训练营【贪心算法篇】

    2024-07-20 18:40:02       30 阅读
  2. 脱机输入/输出就是允许CPU和IO设备并行

    2024-07-20 18:40:02       30 阅读
  3. Python语言的优势所在

    2024-07-20 18:40:02       26 阅读
  4. Xubuntu22.04 终端命令调用图形设置工具

    2024-07-20 18:40:02       24 阅读
  5. 远程连接VScode到云服务器 ECS

    2024-07-20 18:40:02       25 阅读
  6. SQL Server邮件通知:数据库通信的自动化利器

    2024-07-20 18:40:02       28 阅读
  7. Elasticsearch 统计订单销售高峰时间段

    2024-07-20 18:40:02       29 阅读
  8. Vue 自定义组件编写 案例实战

    2024-07-20 18:40:02       25 阅读
  9. 音视频环境搭建

    2024-07-20 18:40:02       29 阅读
  10. 编织文字的魔法:探索WebKit的CSS文本效果

    2024-07-20 18:40:02       37 阅读
  11. c++判断路径是否存在,判断文件夹是否存在

    2024-07-20 18:40:02       28 阅读