主节点

改名字,改为master,hosts
改hadoop的slaves加四个xml
slaves是加一个节点就要改一次

从节点

  1. 新建hadoop用户,修改权限,赋予权限
    ALL =…
  2. 改好主机名,按node01 node02……规则
  3. 配好ssh,保证可以通信
    关防火墙,iptables stop
    关selinux
    自ssh可以,主对从可以免密ssh
  4. 用scp传jdk和hadoop到从节点的tmp目录下
    可能会出现权限问题,使用tmp目录则不要紧,文件夹权限问题
  5. 配jdk和hadoop的环境变量
    新建一个java目录,如usr/local/java,将之放入,hadoop同理
    改./bashrc添加路径
    改./etc/profile添加路径
    source文件 重载刷新
    检查:直接java和hadoop回显相关信息
  6. 配置hadoop
    改五个文件,特别注意,从主节点cp过来的hadoop是已经配好的,无需动
    slaves仍然要改
    检测: reboot
    start-all.sh
    hadoop dfsadmin -report显示正确
    jps主从点显示正常进程
    要关闭安全模式
    dfsadmin safemode leave

  7. 运行实例
    在hdfs新建一个文件夹
    构造一个input输入文件夹带数据
    运行hadoop文件夹中share里的用例
    在hdfs中ls output
    get output到本地再查看内容
    完成

  8. 其他配置
    zookeeper
    hbase
    hive pig mahout
    sqoop flume
    Ambari
    此部分配置spark,依附于hadoop集群