大数据hadoop基础入门自学全套教程 (快速入门hadoop3.0d大数据处理)

Hadoop应用前的一些简单问题

相信很多做Hadoop开发的人员,都会为下面的问题而烦恼。

1、选择版本的问题

这个问题,一直缠绕着刚学习Hadoop的开发人员,不知道选择哪一个开发版本。其实这个问题不是什么大的问题,因为小版本之间不会相差很多。但是作为一个初学者,个人认为还是尽量找一个稳定版本、通用版本会更好一些。免得会出现一些版本问题,而在网络上找不到解决方案而浪费时间和精力。

首先,介绍一些应该使用哪些版本。 打开官网:http://hadoop.apache.org/

大数据之Hadoop初学者本地运行及版本选择

Hadoop 版本

从这就可以看出,常用的稳定的版本有哪些了。

Hadoop刚发行的时候,0.23版本应用最广。那时候,我也是刚接触Hadoop时接触的版本,《Hadoop权威指南》的第一版好像也是介绍的这个版本(这一点我记不太清了,当时买了一本盗版的~~~)。Hadoop1.x的稳定版本是1.2.1。这个我接触很少,没有使用过。目前我们使用的版本是2.5.2。而Hadoop2.X的这几个版本都已经很成熟,不会存在什么问题。而3.0以上的版本,目前建议暂且不要使用。除此之外,还有大数据领域的其他版本供大家选择:

大数据之Hadoop初学者本地运行及版本选择

其他版本

2、Hadoop 1.x 和 2.X版本的区别:

大数据之Hadoop初学者本地运行及版本选择

3、windows本地调试的问题

相信很多Hadoop初学者,在前期想通过windows调试MapReduce的时候,都会遇到很多问题。我记得当初我也遇到了一些问题,由于当时没有记录的习惯,就没有将其记录下来。其中主要还是关于winutils*ex.e**的问题。

在windows的hadoop目录bin目录有一个winutils*ex.e**

1、在windows下配置hadoop的环境变量

本人热爱技术,喜欢交流学习,有什么前瞻新技术大家一起加群(Q):131322610 沟通学习