189 8069 5689

hadoop中入门配置知识点有哪些

这篇文章给大家分享的是有关hadoop中入门配置知识点有哪些的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

成都创新互联公司是专业的安达网站建设公司，安达接单;提供网站设计、成都网站设计,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行安达网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!

环境

    本人使用的是 XUbuntu14.04 64位，在虚拟机下搭建的

  • 安装 JDK，配置环境变量

        配置 classpath，修改所有用户的环境变量

sudo vim /etc/profile
#在文件最后添加 
#set java environment
export JAVA_HOME={path}
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin 
source/etc/profile  ##使环境变量生效

  • 配置SSH无密码吗登陆

            在用户根目录创建隐藏文件夹 .ssh  (没有的需要创建)

mkdir .ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

            验证下 ssh ，

 shh localhost

  • 安装hadoop （我用的是2.7）

    • 解压文件夹

sudo tar -zxvf hadoop-2.7.1.tar.gz -C /usr/local/hadoop    # 指定目录，可根据自己的喜好选择放在哪

    • 创建 hadooop 工作所需要的文件目录

    • 设置环境变量 （进入$HADOOP_HOME/etc/hadoop）

    sudo vim /etc/profile
export HADOOP_HOME={path}
#path 后面继续跟
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    • 配置文件

      • 配置 hadoop-env.sh

    export JAVA_HOME=${JAVA_HOME}          # JAVA_HOME JDK 路径

      • 配置 core-site.xml （关于Hadoop配置项的一点说明虽然只需要配置fs.defaultFS 和 dfs.replication 就可以运行（官方教程如此），不过若没有配置 hadoop.tmp.dir 参数，则默认使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在重启时有可能被系统清理掉，导致必须重新执行 format 才行。所以我们进行了设置，同时也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否则在接下来的步骤中可能会出错。shay为主机名，如果不知道自己的主机名可以 cat 一下 /etc/hostname）

    
    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
    
    
        fs.defaultFS
        hdfs://shay:9000
    

      • 配置hdfs-site.xml

    
    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    
    

      • 配置 mapred-site.xml 

    
            
        mapreduce.framework.name
         yarn
    

      • 配置 yarn-site.xml

    
            
        yarn.nodemanager.aux-services        
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        shay
    

      • 配置 yarn-env.sh

    export JAVA_HOME=${JAVA_HOME}

    • Hadoop 启动

      • 执行 namenode 格式化

    hdfs namenode -format

      • 开启守护进程

    start-dfs.sh        # NameNode 和 DataNode 守护进程
start-yarn.sh       # ResourceManager 和 NodeManager 守护进程

      • 验证

    jps

感谢各位的阅读！关于“hadoop中入门配置知识点有哪些”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！


名称栏目：hadoop中入门配置知识点有哪些
网页URL：http://jkwzsj.com/article/pipiig.html

其他资讯