第一、启动及部分命令
(1)启动虚拟机
(2)打开xshell
(3)连接,xshell输入密码:123456
(4)命令行:
ls -la:查看当前目录所有文件
w:显示登入用户详细信息
who:显示登入用户
last:查看最近哪些用户登入系统
date:查看日期设定
clock:时钟设定
uname:查看系统版本
free:查看内存分配
uptime:系统开机运转到现在的时间
vmstat:监视虚拟内存使用情况
第二、登入WEB的小实验
(1)终端打开后,输入命令:start-all.sh
查看hadoop进程(服务):jps
1827 DataNode
5654 Jps
2264 NodeManager
2155 ResourceManager
1997 SecondaryNameNode
1694 NameNode
(2)需要查看hadoopWeb端页面;打开浏览器,输入:192.168.85.129:50070
前提:需关闭防火墙;查看防火墙状态:systemctl status firewalld
如果状态为:Active: active (running),需要关闭
关闭防火墙:systemctl stop firewalld
关闭后:Active: inactive (dead)
(3)关闭linux:shutdown -h now
**********
linux安装
---------
yum -y install vim
yum -y install net-tools
------------
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static"
IPADDR=192.168.50.80
NETMASK=255.255.255.0
GATEWAY=192.168.50.2
DNS1=8.8.8.8
------------------
systemctl restart network
----------------
========
部署JDK环境
jdk版本:8u361
========
mkdir /opt/software
mkdir /opt/module
部署jdk环境
---解压
tar -zxvf /opt/software/jdk-8u361-linux-x64.tar.gz -C /opt/module/
--更改文件名
mv /opt/module/jdk1.8.0_361/ /opt/module/jdk8
---添加jdk环境变量
vim /etc/profile
---内容添加(文件末尾)
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin
----刷新环境文件
source /etc/profile
----查看是否生效
java# 三个任意查看都行
javac
java -version
=============
部署hadoop环境
hadoop版本:2.10.1
=============
----解压
tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
更改文件名
mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
----添加hadoop环境变量
vim /etc/profile
----内容添加(末尾)
# hadoop2.10
export HADOOP_HOME=/opt/module/hadoop2.10
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
----刷新环境文件
source /etc/profile
-----查看hadoop环境是否生效
hadoop version
----配置hadoop核心文件
cd /opt/module/hadoop2.10/etc/hadoop/
-----vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop2.10/data/tmp</value>
</property>
</configuration>
-------vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk8# 大概在25行左右的位置
-------vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux_services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemamager.hostname</name>
<value>master</value>
</property>
</configuration>
-------vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
------mv mapred-site.xml.template mapred-site.xml
------vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
------slaves
master
*****************
添加ssh免密登录
------------------
----下载ssh服务
yum -y install openssh
-----配置host映射
vim /etc/hosts
-----内容,末尾添加
192.168.50.80 master
-----添加ssh密钥
ssh-keygen -t rsa # 三下回车
# 拷贝密钥
ssh-copy-id master
# 输入yes
# 输入密码:123456
------格式化namenode节点
hadoop namenode -format
------关闭防火墙
systemctl stop firewalld# 单次关闭防火墙
systemctl disable firewalld# 永久关闭防火qiang
-----启动hadoop
start-dfs.sh
start-yarn.sh
start-all.sh
查看进程
jps
9751 SecondaryNameNode
9913 ResourceManager
10313 Jps
9450 NameNode
10011 NodeManager
9581 DataNode
Web端:192.168.50.80:50070
端口号:50070
关闭hadoop
stop-dfs.sh
stop-yarn.sh
(1)启动虚拟机
(2)打开xshell
(3)连接,xshell输入密码:123456
(4)命令行:
ls -la:查看当前目录所有文件
w:显示登入用户详细信息
who:显示登入用户
last:查看最近哪些用户登入系统
date:查看日期设定
clock:时钟设定
uname:查看系统版本
free:查看内存分配
uptime:系统开机运转到现在的时间
vmstat:监视虚拟内存使用情况
第二、登入WEB的小实验
(1)终端打开后,输入命令:start-all.sh
查看hadoop进程(服务):jps
1827 DataNode
5654 Jps
2264 NodeManager
2155 ResourceManager
1997 SecondaryNameNode
1694 NameNode
(2)需要查看hadoopWeb端页面;打开浏览器,输入:192.168.85.129:50070
前提:需关闭防火墙;查看防火墙状态:systemctl status firewalld
如果状态为:Active: active (running),需要关闭
关闭防火墙:systemctl stop firewalld
关闭后:Active: inactive (dead)
(3)关闭linux:shutdown -h now
**********
linux安装
---------
yum -y install vim
yum -y install net-tools
------------
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO="static"
IPADDR=192.168.50.80
NETMASK=255.255.255.0
GATEWAY=192.168.50.2
DNS1=8.8.8.8
------------------
systemctl restart network
----------------
========
部署JDK环境
jdk版本:8u361
========
mkdir /opt/software
mkdir /opt/module
部署jdk环境
---解压
tar -zxvf /opt/software/jdk-8u361-linux-x64.tar.gz -C /opt/module/
--更改文件名
mv /opt/module/jdk1.8.0_361/ /opt/module/jdk8
---添加jdk环境变量
vim /etc/profile
---内容添加(文件末尾)
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin
----刷新环境文件
source /etc/profile
----查看是否生效
java# 三个任意查看都行
javac
java -version
=============
部署hadoop环境
hadoop版本:2.10.1
=============
----解压
tar -zxvf /opt/software/hadoop-2.10.1.tar.gz -C /opt/module/
更改文件名
mv /opt/module/hadoop-2.10.1/ /opt/module/hadoop2.10
----添加hadoop环境变量
vim /etc/profile
----内容添加(末尾)
# hadoop2.10
export HADOOP_HOME=/opt/module/hadoop2.10
#jdk8
export JAVA_HOME=/opt/module/jdk8
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
----刷新环境文件
source /etc/profile
-----查看hadoop环境是否生效
hadoop version
----配置hadoop核心文件
cd /opt/module/hadoop2.10/etc/hadoop/
-----vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop2.10/data/tmp</value>
</property>
</configuration>
-------vim hadoop-env.sh
export JAVA_HOME=/opt/module/jdk8# 大概在25行左右的位置
-------vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux_services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemamager.hostname</name>
<value>master</value>
</property>
</configuration>
-------vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
------mv mapred-site.xml.template mapred-site.xml
------vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
------slaves
master
*****************
添加ssh免密登录
------------------
----下载ssh服务
yum -y install openssh
-----配置host映射
vim /etc/hosts
-----内容,末尾添加
192.168.50.80 master
-----添加ssh密钥
ssh-keygen -t rsa # 三下回车
# 拷贝密钥
ssh-copy-id master
# 输入yes
# 输入密码:123456
------格式化namenode节点
hadoop namenode -format
------关闭防火墙
systemctl stop firewalld# 单次关闭防火墙
systemctl disable firewalld# 永久关闭防火qiang
-----启动hadoop
start-dfs.sh
start-yarn.sh
start-all.sh
查看进程
jps
9751 SecondaryNameNode
9913 ResourceManager
10313 Jps
9450 NameNode
10011 NodeManager
9581 DataNode
Web端:192.168.50.80:50070
端口号:50070
关闭hadoop
stop-dfs.sh
stop-yarn.sh