关于我们

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻公共列表

大数据系列(2)——Hadoop集群坏境CentOS安装

发布时间:2017-05-25 18:24:32

前言

前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项,本篇我们主要来分析如何安装CentOS操作系统,以及一些基础的设置,闲言少叙,我们进入本篇的正题。

技术准备

VMware虚拟机、CentOS 6.8 64 bit

安装流程

因为我的笔记本是Window7操作系统,然后内存配置,只有8G,内存配置太低了,当然为了演示,我会将Hadoop集群中的主节点分配2GB内存,然后剩余的三个节点都是1GB配置。

所有的节点存储我都设置为50GB。

在安装操作系统之前,我们需要提前规划好操作系统的分区如何设置,我们知道,在Linux系统中,它的磁盘分区并不同于Windows系统,它是通过目录挂载的方式进行分区,简单点说的话就是将不同的系统内置目录进行分配到不同的逻辑分区中,然后我们在进行存储的时候只需要根据目录进行存放就可以了。

上面的这种分区方式是和Windows操作系统有区别的,当然在Linux操作系统中还存在磁盘格式的不同,比如一般常见的格式为:ext2,ext3,ext4等,我们当前最常用的就是ext3,关于每种格式的不同点和应用场景大家有兴趣的可以网上查阅,这里不再赘述。

那么我们来分析一下Linux系统中最常见的几种目录分区方式

/boot 系统引导目录,用来存放与Linux系统启动相关的程序,比如启动引导装载程序等。建议大小200MB。

/usr 存放系统中安装的应用程序,一般的数据都比较多,所以建议大于3GB。

/var 用来存放Linux系统中经常变化的数据以及日志文件,建议大于1GB。

/home 存放普通用户的数据,是普通用户的宿主目录,一般一个用户就会创建一个home目录,建议大小为剩下的空间。

/ 为Linux系统的根目录,所有的目录都挂在到这个目录下面,建议大小为大于5GB以上。

/tmp 临时文件存放的地方,一般需要独立的分区,这样可以避免系统被塞满后系统的稳定性。建议大小为500MB以上。

swap 这个是虚拟内存,一般建议为物理内存的1——2倍。

以上为我基于我们的50GB的存储空间做的一个规划,如果生产或者物理机大家可以根据需要成比例递增。

下面,咱们进去CentOS操作系统的详细安装过程。

1、首先需要在VMWare中创建一个新的计算机,然后指定CentOS的镜像路径和用户名和密码。

hadoop
hadoop

 

2、指定当前虚拟机操作系统的存储大小和内存大小。

hadoop

 

hadoop

 

3、点击完成VMware就进入了系统自动安装的过程中,然后等待完成安装就可以。

hadoop

 

4、至此,我们已经成功的安装上了CentOS操作系统,然后安装的过程中顺便创建了一个新用户Hadoop,这个账户就是我们后面安装Hadoop集群环境所使用的账号。

hadoop

 

5、我们登陆到CentOS操作系统,然后进入系统的首先要做的事情就是:改计算机名!改计算机名!改计算机名!。

打开终端输入界面,然后根据角色更改当前计算机的名称。打开终端的方式是在右键——>Open In Terminal

输入su命令,切换至root超级用户,然后利用vim 命令编辑/etc/sysconfig/network文件。

hadoop

 

然后编辑文件中的HOSTNAME,设置为我们提前规划好的Master.Hadoop

hadoop

 

然后保存该文件,重启计算机。


/template/Home/Shiwaix2/PC/Static