数据处理吧 关注:625贴子:1,335
  • 4回复贴,共1

虚拟机安装及hadoop安装部署

只看楼主收藏回复

第一、启动及部分命令
(1)启动虚拟机
(2)打开xshell
(3)连接,xshell输入密码:123456
(4)命令行:
ls -la:查看当前目录所有文件
w:显示登入用户详细信息
who:显示登入用户
last:查看最近哪些用户登入系统
date:查看日期设定
clock:时钟设定
uname:查看系统版本
free:查看内存分配
uptime:系统开机运转到现在的时间
vmstat:监视虚拟内存使用情况
第二、登入WEB的小实验
(1)终端打开后,输入命令:start-all.sh
查看hadoop进程(服务):jps
1827 DataNode
5654 Jps
2264 NodeManager
2155 ResourceManager
1997 SecondaryNameNode
1694 NameNode
(2)需要查看hadoopWeb端页面;打开浏览器,输入:192.168.85.129:50070
前提:需关闭防火墙;查看防火墙状态:systemctl status firewalld
如果状态为:Active: active (running),需要关闭
关闭防火墙:systemctl stop firewalld
关闭后:Active: inactive (dead)
(3)关闭linux:shutdown -h now
**********
linux安装
---------
yum -y install vim
yum -y install net-tools
------------
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static"
IPADDR=192.168.50.80
NETMASK=255.255.255.0
GATEWAY=192.168.50.2
DNS1=8.8.8.8
------------------
systemctl restart network
----------------
========
部署JDK环境
jdk版本:8u361
========
mkdir /opt/software
mkdir /opt/module
部署jdk环境
---解压
tar -zxvf /opt/software/jdk-8u361-linux-x64.tar.gz -C /opt/module/
--更改文件名
mv /opt/module/jdk1.8.0_361/ /opt/module/jdk8
---添加jdk环境变量
vim /etc/profile
---内容添加(文件末尾)
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin
----刷新环境文件
source /etc/profile
----查看是否生效
java# 三个任意查看都行
javac
java -version
=============
部署hadoop环境
hadoop版本:2.10.1
=============
----解压
tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
更改文件名
mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
----添加hadoop环境变量
vim /etc/profile
----内容添加(末尾)
# hadoop2.10
export HADOOP_HOME=/opt/module/hadoop2.10
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
----刷新环境文件
source /etc/profile
-----查看hadoop环境是否生效
hadoop version
----配置hadoop核心文件
cd /opt/module/hadoop2.10/etc/hadoop/
-----vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop2.10/data/tmp</value>
</property>
</configuration>
-------vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk8# 大概在25行左右的位置
-------vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux_services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemamager.hostname</name>
<value>master</value>
</property>
</configuration>
-------vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
------mv mapred-site.xml.template mapred-site.xml
------vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
------slaves
master
*****************
添加ssh免密登录
------------------
----下载ssh服务
yum -y install openssh
-----配置host映射
vim /etc/hosts
-----内容,末尾添加
192.168.50.80 master
-----添加ssh密钥
ssh-keygen -t rsa # 三下回车
# 拷贝密钥
ssh-copy-id master
# 输入yes
# 输入密码:123456
------格式化namenode节点
hadoop namenode -format
------关闭防火墙
systemctl stop firewalld# 单次关闭防火墙
systemctl disable firewalld# 永久关闭防火qiang
-----启动hadoop
start-dfs.sh
start-yarn.sh
start-all.sh
查看进程
jps
9751 SecondaryNameNode
9913 ResourceManager
10313 Jps
9450 NameNode
10011 NodeManager
9581 DataNode
Web端:192.168.50.80:50070
端口号:50070
关闭hadoop
stop-dfs.sh
stop-yarn.sh


IP属地:广东1楼2023-05-18 15:55回复
    1、yum -y install vim
    2、yum -y install net-tools
    3、mkdir /opt/module
    mkdir /opt/software (说明:安装文件都放在这里)
    4、
    hostnamectl set-hostname master
    bash
    5、tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/
    mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8
    6、
    vim /etc/profile
    添加如下内容
    export JAVA_HOME=/opt/module/jdk8
    export PATH=$PATH:$JAVA_HOME/bin
    生效环境变量
    source /etc/profile
    验证
    java -version
    7、tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
    mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
    8、vim /etc/profile
    export HADOOP_HOME=/opt/module/hadoop2.10
    export JAVA_HOME=/opt/module/jdk8
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    9、source /etc/profile
    hadoop version
    10、
    cd /opt/module/hadoop2.10/etc/hadoop/
    vi core-site.xml
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/module/hadoop2.10/data/tmp</value>
    </property>
    </configuration>
    11、
    hadoop-env.sh
    export JAVA_HOME=/opt/module/jdk8
    12、
    vi yarn-site.xml
    <configuration>
    <property>
    <name>yarn.nodemanager.aux_services</name>
    <value>mapreduce_shuffle</value>
    </property>
    <property>
    <name>yarn.resourcemamager.hostname</name>
    <value>master</value>
    </property>
    </configuration>
    13、
    vi hdfs-site.xml
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>
    </configuration>
    14、vi mapred-site.xml
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
    15、yum -y install openssh
    vim /etc/hosts
    内容,末尾添加
    xxxx.xxxx.xxxx.xxxx master (用ifconfig查看本机ip)
    16、添加ssh密钥
    ssh-keygen -t rsa # 三下回车
    # 拷贝密钥
    ssh-copy-id master
    # 输入yes
    # 输入密码:123456
    17、格式化namenode节点
    hadoop namenode -format
    19、关闭防火墙
    systemctl stop firewalld # 单次关闭防火墙
    systemctl disable firewalld # 永久关闭防火墙
    20、启动hadoop
    start-dfs.sh
    start-yarn.sh
    21、jps
    22、https://192.168.200.100:50070


    IP属地:广东2楼2023-05-18 15:58
    回复
      1、登陆 root:123456 tj:1234567890
      2、查看IP ip addr
      3、登陆xshell
      4、修改静态IP vi /etc/sysconfig/network-scripts/ifcfg-ens33
      一处修改: BOOTPROTO="static"
      末尾四处添加
      IPADDR=192.168.200.80
      NETMASK=255.255.255.0
      GATEWAY=192.168.200.2
      DNS1=8.8.8.8 或 114.114.114.114
      5、重启网卡 systemctl restart network
      6、常用工具安装
      yum -y install vim
      yum -y install net-tools
      7、环境部署前准备
      mkdir /opt/module
      mkdir /opt/software
      8、xftp连接
      切换目录来到/opt/software,将需要的包移入linux
      9、修改主机名
      hostnamectl set-hostname master
      bash
      10、部署jdk环境
      解压:tar -zxvf /opt/software/jdk-8u311-linux-x64.tar.gz -C /opt/module/
      更改文件名:mv /opt/module/jdk1.8.0_311/ /opt/module/jdk8
      添加jdk环境变量:vim /etc/profile
      内容添加(文件末尾)
      #jdk8
      export JAVA_HOME=/opt/module/jdk8
      export PATH=$PATH:$JAVA_HOME/bin
      刷新环境文件:source /etc/profile
      查看是否生效:java -version
      11、部署hadoop环境
      解压:tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
      更改文件名:mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
      添加hadoop环境变量:vim /etc/profile
      内容添加(末尾)
      # hadoop2.10
      export HADOOP_HOME=/opt/module/hadoop2.10
      #jdk8
      export JAVA_HOME=/opt/module/jdk8
      export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
      刷新环境文件:source /etc/profile
      查看hadoop环境是否生效:hadoop version
      12、配置hadoop核心文件
      切换路径:cd /opt/module/hadoop2.10/etc/hadoop/
      vim core-site.xml
      <configuration>
      <property>
      <name>fs.defaultFS</name>
      <value>hdfs://master:9000</value>
      </property>
      <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/module/hadoop2.10/data/tmp</value>
      </property>
      </configuration>
      vim hadoop-env.sh
      export JAVA_HOME=/opt/module/jdk8 # 大概在25行左右的位置
      vim yarn-site.xml
      <configuration>
      <property>
      <name>yarn.nodemanager.aux_services</name>
      <value>mapreduce_shuffle</value>
      </property>
      <property>
      <name>yarn.resourcemamager.hostname</name>
      <value>master</value>
      </property>
      </configuration>
      vim hdfs-site.xml
      <configuration>
      <property>
      <name>dfs.replication</name>
      <value>1</value>
      </property>
      </configuration>
      复制tmp文件为正式文件:cp mapred-site.xml.template mapred-site.xml
      vim mapred-site.xml
      <configuration>
      <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
      </property>
      </configuration>
      Vim slaves
      master
      下载ssh服务:yum -y install openssh
      配置host映射:vim /etc/hosts
      末尾添加
      192.168.200.100 master
      添加ssh密钥:ssh-keygen -t rsa
      拷贝密钥 :ssh-copy-id master
      输入yes
      输入密码:123456
      格式化namenode节点:hadoop namenode -format
      单次关闭防火墙:systemctl stop firewalld
      永久关闭防火墙:systemctl disable firewalld
      启动hadoop: start-dfs.sh start-yarn.sh
      查看进程:jps
      Web端:192.168.200.100:50070
      关闭hadoop:stop-dfs.sh stop-yarn.sh


      IP属地:广东3楼2023-05-18 16:03
      回复
        # ifconfig --查看IP地址
        ls 查看文件列表
        ls /opt/software/
        保存退出 :wq
        按i或a,进入编辑模式,再鼠标右键粘贴。编辑完以后要按esc退出编辑模式,再输入:wq保存退出


        IP属地:广东4楼2023-05-18 16:09
        收起回复