hadoop如何做到数据时

1. hadoop如何做到数据时

越来越多的企业开始使用Hadoop来对大数据进行处理分析，但Hadoop集群的整体性能却取决于CPU、内存、网络以及存储之间的性能平衡。而在这篇文章中，我们将探讨如何为Hadoop集群构建高性能网络，这是对大数据进行处理分析的关键所在。

关于Hadoop

“大数据”是松散的数据集合，海量数据的不断增长迫使企业需要通过一种新的方式去管理。大数据是结构化或非结构化的多种数据类型的大集合。而 Hadoop则是Apache发布的软件架构，用以分析PB级的非结构化数据，并将其转换成其他应用程序可管理处理的形式。Hadoop使得对大数据处理成为可能，并能够帮助企业可从客户数据之中发掘新的商机。如果能够进行实时处理或者接近实时处理，那么其将为许多行业的用户提供强大的优势。

Hadoop是基于谷歌的MapReduce和分布式文件系统原理而专门设计的，其可在通用的网络和服务器硬件上进行部署，并使之成为计算集群。

Hadoop模型

Hadoop的工作原理是将一个非常大的数据集切割成一个较小的单元，以能够被查询处理。同一个节点的计算资源用于并行查询处理。当任务处理结束后，其处理结果将被汇总并向用户报告，或者通过业务分析应用程序处理以进行进一步分析或仪表盘显示。

为了最大限度地减少处理时间，在此并行架构中，Hadoop“moves jobs to data”，而非像传统模式那样“moving data to jobs”。这就意味着，一旦数据存储在分布式系统之中，在实时搜索、查询或数据挖掘等操作时，如访问本地数据，在数据处理过程中，各节点之间将只有一个本地查询结果，这样可降低运营开支。

Hadoop的最大特点在于其内置的并行处理和线性扩展能力，提供对大型数据集查询并生成结果。在结构上，Hadoop主要有两个部分：

Hadoop分布式文件系统(HDFS)将数据文件切割成数据块，并将其存储在多个节点之内，以提供容错性和高性能。除了大量的多个节点的聚合I/O，性能通常取决于数据块的大小——如128MB。而传统的Linux系统下的较为典型的数据块大小可能是4KB。

MapReduce引擎通过JobTracker节点接受来自客户端的分析工作，采用“分而治之”的方式来将一个较大的任务分解成多个较小的任务，然后分配给各个TaskTrack节点，并采用主站/从站的分布方式(具体如下图所示)：

Hadoop系统有三个主要的功能节点：客户机、主机和从机。客户机将数据文件注入到系统之中，从系统中检索结果，以及通过系统的主机节点提交分析工作等。主机节点有两个基本作用：管理分布式文件系统中各节点以及从机节点的数据存储，以及管理Map/Reduce从机节点的任务跟踪分配和任务处理。数据存储和分析处理的实际性能取决于运行数据节点和任务跟踪器的从机节点性能，而这些从机节点则由各自的主机节点负责沟通和控制。从节点通常有多个数据块，并在作业期间被分配处理多个任务。

部署实施Hadoop

各个节点硬件的主要要求是市县计算、内存、网络以及存储等四个资源的平衡。目前常用的并被誉为“最佳”的解决方案是采用相对较低成本的旧有硬件，部署足够多的服务器以应对任何可能的故障，并部署一个完整机架的系统。

Hadoop模式要求服务器与SAN或者NAS进行直接连接存储(DAS)。采用DAS主要有三个原因，在标准化配置的集群中，节点的缩放数以千计，随着存储系统的成本、低延迟性以及存储容量需求不断提高，简单配置和部署个主要的考虑因素。随着极具成本效益的1TB磁盘的普及，可使大型集群的TB级数据存储在DAS之上。这解决了传统方法利用SAN进行部署极其昂贵的困境，如此多的存储将使得Hadoop和数据存储出现一个令人望而却步的起始成本。有相当大一部分用户的Hadoop部署构建都是采用大容量的DAS服务器，其中数据节点大约1-2TB，名称控制节点大约在1-5TB之间，具体如下图所示：

来源：Brad Hedlund, DELL公司

对于大多数的Hadoop部署来说，基础设施的其他影响因素可能还取决于配件，如服务器内置的千兆以太网卡或千兆以太网交换机。上一代的CPU和内存等硬件的选择，可根据符合成本模型的需求，采用匹配数据传输速率要求的千兆以太网接口来构建低成本的解决方案。采用万兆以太网来部署Hadoop也是相当不错的选择。

万兆以太网对Hadoop集群的作用

千兆以太网的性能是制约Hadoop系统整体性能的一个主要因素。使用较大的数据块大小，例如，如果一个节点发生故障(甚至更糟，整个机架宕机)，那么整个集群就需要对TB级的数据进行恢复，这就有可能会超过千兆以太网所能提供的网络带宽，进而使得整个集群性能下降。在拥有成千上万个节点的大型集群中，当运行某些需要数据节点之间需要进行中间结果再分配的工作负载时，在系统正常运行过程中，某个千兆以太网设备可能会遭遇网络拥堵。

每一个Hadoop数据节点的目标都必须实现CPU、内存、存储和网络资源的平衡。如果四者之中的任意一个性能相对较差的话，那么系统的潜在处理能力都有可能遭遇瓶颈。添加更多的CPU和内存组建，将影响存储和网络的平衡，如何使Hadoop集群节点在处理数据时更有效率，减少结果，并在Hadoop集群内添加更多的HDFS存储节点。

幸运的是，影响CPU和内存发展的摩尔定律，同样也正影响着存储技术(TB级容量的磁盘)和以太网技术(从千兆向万兆甚至更高)的发展。预先升级系统组件(如多核处理器、每节点5-20TB容量的磁盘，64-128GB内存)，万兆以太网卡和交换机等网络组件是重新平衡资源最合理的选择。万兆以太网将在Hadoop集群证明其价值，高水平的网络利用率将带来效益更高的带宽。下图展示了Hadoop集群与万兆以太网的连接：

许多企业级数据中心已经迁移到10GbE网络，以实现服务器整合和服务器虚拟化。随着越来越多企业开始部署Hadoop，他们发现他们完全不必要大批量部署1U的机架服务器，而是部署更少，但性能更高的服务器，以方便扩展每个数据节点所能运行的任务数量。很多企业选择部署2U或4U的服务器(如戴尔 PowerEdge C2100)，每个节点大约12-16个核心以及24TB存储容量。在这种环境下的合理选择是充分利用已经部署的10GbE设备和Hadoop集群中的 10GbE网卡。

在日常的IT环境中构建一个简单的Hadoop集群。可以肯定的是，尽管有很多细节需要微调，但其基础是非常简单的。构建一个计算、存储和网络资源平衡的系统，对项目的成功至关重要。对于拥有密集节点的Hadoop集群而言，万兆以太网能够为计算和存储资源扩展提供与之相匹配的能力，且不会导致系统整体性能下降。

2. 什么是大数据分析Hadoop？

　　要了解什么是Hadoop，我们必须首先了解与大数据和传统处理系统有关的问题。前进，我们将讨论什么是Hadoop，以及Hadoop如何解决与大数据相关的问题。我们还将研究CERN案例研究，以突出使用Hadoop的好处。
　　在之前的博客“ 大数据教程”中，我们已经详细讨论了大数据以及大数据的挑战。在此博客中，我们将讨论：
　　1、传统方法的问题
　　2、Hadoop的演变
　　3、Hadoop的
　　4、Hadoop即用解决方案
　　5、何时使用Hadoop?
　　6、什么时候不使用Hadoop?
一、CERN案例研究
　　大数据正在成为组织的机会。现在，组织已经意识到他们可以通过大数据分析获得很多好处，如下图所示。他们正在检查大型数据集，以发现所有隐藏的模式，未知的相关性，市场趋势，客户偏好和其他有用的业务信息。
　　这些分析结果正在帮助组织进行更有效的营销，新的收入机会，更好的客户服务。他们正在提高运营效率，与竞争对手组织相比的竞争优势以及其他业务利益。
　　什么是Hadoop –大数据分析的好处
　　因此，让我们继续前进，了解在兑现大数据机会方面与传统方法相关的问题。
二、传统方法的问题
　　在传统方法中，主要问题是处理数据的异构性，即结构化，半结构化和非结构化。RDBMS主要关注于银行交易，运营数据等结构化数据，而Hadoop则专注于文本，视频，音频，Facebook帖子，日志等半结构化，非结构化数据。RDBMS技术是一种经过验证的，高度一致，成熟的系统许多公司的支持。另一方面，由于大数据(主要由不同格式的非结构化数据组成)对Hadoop提出了需求。
　　现在让我们了解与大数据相关的主要问题是什么。因此，继续前进，我们可以了解Hadoop是如何成为解决方案的。
　　什么是Hadoop –大数据问题
　　第一个问题是存储大量数据。
　　无法在传统系统中存储大量数据。原因很明显，存储将仅限于一个系统，并且数据正在以惊人的速度增长。
　　第二个问题是存储异构数据。
　　现在，我们知道存储是一个问题，但是让我告诉您，这只是问题的一部分。由于我们讨论了数据不仅庞大，而且还以各种格式存在，例如：非结构化，半结构化和结构化。因此，您需要确保您拥有一个系统来存储从各种来源生成的所有这些种类的数据。
　　第三个问题是访问和处理速度。
　　硬盘容量正在增加，但磁盘传输速度或访问速度并未以相似的速度增加。让我以一个示例为您进行解释：如果您只有一个100 Mbps I / O通道，并且正在处理1TB数据，则大约需要2.91个小时。现在，如果您有四台具有一个I / O通道的计算机，则对于相同数量的数据，大约需要43分钟。因此，与存储大数据相比，访问和处理速度是更大的问题。
　　在了解什么是Hadoop之前，让我们首先了解一下Hadoop在一段时间内的发展。
　　Hadoop的演变

　　2003年，道格·切特(Doug Cutting)启动了Nutch项目，以处理数十亿次搜索并为数百万个网页建立索引。2003年10月下旬– Google发布带有GFS(Google文件系统)的论文。2004年12月，Google发布了MapReduce论文。在2005年，Nutch使用GFS和MapReduce进行操作。2006年，雅虎与Doug Cutting及其团队合作，基于GFS和MapReduce创建了Hadoop。如果我告诉您，您会感到惊讶，雅虎于2007年开始在1000个节点的群集上使用Hadoop。
　　2008年1月下旬，雅虎向Apache Software Foundation发布了Hadoop作为一个开源项目。2008年7月，Apache通过Hadoop成功测试了4000个节点的集群。2009年，Hadoop在不到17小时的时间内成功整理了PB级数据，以处理数十亿次搜索并为数百万个网页建立索引。在2011年12月，Apache Hadoop发布了1.0版。2013年8月下旬，发布了2.0.6版。
　　当我们讨论这些问题时，我们发现分布式系统可以作为解决方案，而Hadoop提供了相同的解决方案。现在，让我们了解什么是Hadoop。
三、什么是Hadoop?
　　Hadoop是一个框架，它允许您首先在分布式环境中存储大数据，以便可以并行处理它。 Hadoop中基本上有两个组件：
　　1、大数据Hadoop认证培训
　　2、讲师指导的课程现实生活中的案例研究评估终身访问探索课程
　　什么是Hadoop – Hadoop框架
　　第一个是用于存储的HDFS(Hadoop分布式文件系统)，它使您可以在集群中存储各种格式的数据。第二个是YARN，用于Hadoop中的资源管理。它允许对数据进行并行处理，即跨HDFS存储。
　　让我们首先了解HDFS。
　　HDFS
　　HDFS创建一个抽象，让我为您简化一下。与虚拟化类似，您可以在逻辑上将HDFS视为用于存储大数据的单个单元，但是实际上您是在分布式方式下跨多个节点存储数据。HDFS遵循主从架构。
　　什么是Hadoop – HDFS
　　在HDFS中，名称节点是主节点，数据节点是从节点。 Namenode包含有关存储在Data节点中的数据的元数据，例如哪个数据块存储在哪个数据节点中，数据块的复制位置在哪里等 。实际数据存储在Data Nodes中。
　　我还想补充一下，实际上我们复制了数据节点中存在的数据块，默认复制因子是3。 由于我们使用的是商用硬件，并且我们知道这些硬件的故障率很高，所以如果其中一个DataNodes失败，HDFS将仍然具有那些丢失的数据块的副本。 您还可以根据需要配置复制因子。您可以阅读HDFS教程，详细了解HDFS。
四、Hadoop即解决方案
　　让我们了解Hadoop如何为刚刚讨论的大数据问题提供解决方案。
　　什么是Hadoop – Hadoop即解决方案
　　第一个问题是存储大数据。
　　HDFS提供了一种分布式大数据存储方式。您的数据存储在整个DataNode的块中，您可以指定块的大小。基本上，如果您拥有512MB的数据，并且已经配置了HDFS，那么它将创建128MB的数据块。 因此，HDFS将数据分为512/128 = 4的4个块，并将其存储在不同的DataNode上，还将在不同的DataNode上复制数据块。现在，由于我们正在使用商品硬件，因此存储已不是难题。
　　它还解决了缩放问题。它着重于水平缩放而不是垂直缩放。您始终可以根据需要随时在HDFS群集中添加一些额外的数据节点，而不是扩展DataNodes的资源。让我为您总结一下，基本上是用于存储1 TB的数据，您不需要1 TB的系统。您可以在多个128GB或更少的系统上执行此操作。
　　下一个问题是存储各种数据。
　　借助HDFS，您可以存储各种数据，无论是结构化，半结构化还是非结构化。由于在HDFS中，没有预转储模式验证。并且它也遵循一次写入和多次读取模型。因此，您只需写入一次数据，就可以多次读取数据以寻找见解。
　　Hird的挑战是访问和处理数据更快。
　　是的，这是大数据的主要挑战之一。为了解决该问题，我们将处理移至数据，而不是将数据移至处理。这是什么意思?而不是将数据移动到主节点然后进行处理。在MapReduce中，处理逻辑被发送到各个从属节点，然后在不同的从属节点之间并行处理数据。然后，将处理后的结果发送到主节点，在该主节点上合并结果，并将响应发送回客户端。
　　在YARN架构中，我们有ResourceManager和NodeManager。ResourceManager可能会或可能不会与NameNode配置在同一台机器上。 但是，应该将NodeManager配置在存在DataNode的同一台计算机上。
　　YARN通过分配资源和安排任务来执行您的所有处理活动。

　　什么是Hadoop – YARN
　　它具有两个主要组件，即ResourceManager和NodeManager。
　　ResourceManager再次是主节点。它接收处理请求，然后将请求的各个部分相应地传递到相应的NodeManager，什么是大数据分析Hadoop在此进行实际处理。NodeManager安装在每个DataNode上。它负责在每个单个DataNode上执行任务。
　　我希望现在您对什么是Hadoop及其主要组件有所了解。让我们继续前进，了解何时使用和何时不使用Hadoop。
　　何时使用Hadoop?
　　Hadoop用于：
　　1、搜索 – Yahoo，亚马逊，Zvents
　　2、日志处理 – Facebook，雅虎
　　3、数据仓库 – Facebook，AOL
　　4、视频和图像分析 –纽约时报，Eyealike
　　到目前为止，我们已经看到了Hadoop如何使大数据处理成为可能。但是在某些情况下，不建议使用Hadoop。

3. 如何用hadoop进行流量分析

Hadoop网络流量分析
NetFlow产生大量的数据，但大多时候我们只需要这些数据的统计结果。用普通的串行方法可以在少量的数据集上进行统计，并且达到很理想的效果，但是一旦数据超过一定量级，便不能有效地进行处理，这时一些基于分布式的并行计算框架就有了用武之地。为了实现并行计算，已经有很多组织机构提出了多种方法，其中以Google提出的MapReduce框架最为著名。该框架已被广泛应用于文本搜索，海量数据挖掘等场合。
概述
图1展示了我们进行流分析时的机器拓扑结构。其中Hadoop云平台提供了分布式文件系统HDFS和云计算功能。

首先从各个数据源中提取数据，然后把各个数据源数据解析出来的可读数据上传云平台上。云平台的计算由一个主节点组织，若干从节点协同。主节点用来存储元数据、分配资源和任务调度。我们可以对其进行相应的系数配置如缓冲区大小、数据分片大小、处理线程的多少等因素，以更好地达到实验效果。从节点则接受主节点的调度，主要参与运算，同时也会定时反馈自己所在节点的状况。每个从节点上会根据HDFS的配置有若干份，在进行分布式计算时，从节点计算时通过Hadoop自带的RPC协议来进行通信。具体的计算过程则是由MapReduce框架完成。
MapReduce下的Flow分析
MapReduce计算框架下，任何数据都可以被看做是一对键值的组合。Map函数和Reduce函数是 Map-Reduce的两大组成部分。Map函数用来对原始数据进行过滤，然后产生中间结果(也是键-值的形式)该中间结果作为Reduce函数的输入。之后，Hadoop会把具有相同键的值归为一个列表，然后再遍历列表进行数据的统计。Reduce过后，通常中间数据集都会缩小，因为Reduce过程中仅提取了该部分的有效信息。为了能使用MapReduce框架进行不同流字段的分析，应当设计自己Map和Reduce函数，如果要做某时间段的流量检测，那么Map函数要设计成带有可以提取某时间段所有流量的功能。如果我们要查看是否有潜在的DDos攻击，那么Map函数被设计成可以提取知名端口字段，其他的功能与此类似。
图2详细地介绍了统计某时间段流量的MapRed-uce的工作流程。图中有一个上文没有提到combiner的过程，该过程主要用于再从节点进行部分归并，以提高程序的运行效率。

1.输入文件
首先，我们把提取的原始NetFlow字段利用SILK自带的工具rwfilter解析成Hadoop可以读出的数据字段，即文本字段。接着把这些解析出来的字段由Hadoop客户端上传到HDFS中，由于解析出来的文本字段远远大于原来的二进制形式的文件，所以需要把这部分输入规模变小一些。SILK本身并不提供解析二进制文件的接口，所以采取了把源数据进行压缩的方法，采取的压缩格式最好是能支持 Hadoop的LZO，通过实验也证明了这种压缩方式确实有最好效率。
2.Mapper
Mapper首先读入存在在HDFS中的文件作为自己的输入，它的读入以行为单位。然后再用文本处理工具对这些行字段进行提取，提取的字段和要进行的操作有关。以统计某时段的某IP的流入流量为例，Mapper输入中会有IP、端口、协议、时间戳等字段。由于是进行某时间段流量的统计，我们把该时间段内的IP字段提取出来作为键，把该时间段内的流量提取出来作为值，这样就构成了一个Mapper。
3.Reducer
Reducer把Mapper的输出作为输入，同样以统计某IP地址某时间段流入流量为例。Mapper中得到了IP-Bytes键值对，Reducer中把相同的键所对应的值归并在一个列表L中这样，键值对就变成(IP，L)，这样就可以遍历L并把所有的流量相加，就得到了我们想要的结果。
实验及结果对比
为了进行实验，我们搭建了1个主节点以及4个从节点的Hadoop-2.4.1版本的集群，集群的每个从节点带有2.83GHz的12核CPU，内存大小为48G，硬盘大小为40TB，集群的主节点带有一个12核2.83GHz的CPU和64G内存。为了提高效率，主从节点均在同一个机架上，连在同一个交换机上。SILK的对比试验则是在单节点上进行，配置相同。
可以看到当数据量不大时，SILK往往具有更快的速度，这是因为Hadoop在进行计算前，要做一些集群间的通信及初始化工作，在小数据集上并不占优势。然而当我们把实验数据逐渐加大时，发现Hadoop会在某个点超越SILK的分析速度，当数据集再逐渐扩大时，Hadoop的优势变得更加明显，如图3所示。

本文主要展示了如何利用Hadoop和MapReduce框架进行大规模的网络流的分析的方法，并列举了几个利用这种方法进行实际分析的实例以及和传统方法进行网络流分析的对比。实践中，该方法在大量数据的情况下相比于传统的流分析工具具有更高的效率。另外它在可靠性、可扩展性方面也有着突出的表现，随着Hadoop更高版本的推出，现在的单点故障问题以及分布式系统安全方面也有了显著的提升，使得该方法的应用更成为了可能。

4. 大数据 为什么 要用 hadoop

大数据（big
data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
有人把数据比喻为蕴
藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言，如何利用这些大规模数据是成为赢得竞争的关键。
大数据的价值体现在以下几个方面：
1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销;
2)
做小而美模式的中长尾企业可以利用大数据做服务转型;
3)
面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值。

5. 大数据初学者需要看看哪些Hadoop问题及解决方案？

相信大家在学习大数据hadoop的时候肯定会遇到各种各样的问题，这篇文章就是介绍一些常的问题及如何解决的办法。
1、namenode无法启动，不报错

可能原因是：之前用root启动过，导致current文件夹的权限和所属更改了，需要更改回来

解决：current文件夹位于hadoop安装目录同级目录的tmp/dfs/namesecondary

2、WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platfo

原因：查看本地文件：

[root@db96 hadoop]# file /usr/local/hadoop/lib/native/libhadoop.so.1.0.0
/usr/local/hadoop/lib/native/libhadoop.so.1.0.0: ELF 32-bit LSB shared object,
Intel 80386, version 1 (SYSV), dynamically linked, not stripped
是32位的hadoop，安装在了64位的linux系统上。lib包编译环境不一样，所以不能使用。

解决：重新编译hadoop.就是重新编译hadoop软件。

3、Hadoop 报错be replicated to 0 nodes, instead of 1

原因（1）namespaceid不相同（2）没有足够的硬盘

解决（1）停止datanode（2）删除datadir下所有数据。（3）重启datanode

4、The ratio of reported blocks 0.0000 has not reached the threshold 0.9990. Safe mode will be turned off automatically.

原因：由日志可以看出无法删除/home/hadoop/tmp/mapred/system.(其实这只是一种假象，往往我们会去纠结于这个目录，其实不然)

解决：

（1）：终极办法强制退出安全模式(safemode)

hadoop dfsadmin -safemode leave

这种方式虽然快，但会有遗留问题，我在用habse的时候就遇到过，很麻烦,然后你就用“hadoop fsck /”工具慢慢恢复吧。

（2）：删除namenode下/home/hadoop/tmp下的所有文件，重新format，当然这种方式非常暴力，因为你的数据完全木有了

（3）：参考源码可发现这个错误是在检查file的时候抛出来的，基本也就是file的block丢失、错误等原因造成的。

这种情况在副本数为1的情况下会很棘手，其他的时候hadoop基本能自行解决，错误数很多的情况下就会一直处于safemode下，当然你关于集群修改配置文件后的分发，本人写了一个配置文件分发工具可以强制离开安全模式，先保证正常读写，然后再启用“hadoop fsck /”工具慢慢修复。

5、Access denied for user 'root'@'hadoop1master' (using password: YES)

原因：没有除本地用户的其他用户远程连接

解决：修改mysql表，将localhost修改为%

6、运行本地的wordcount报错

该错误是缺少hadoop.dll(hadoop2.6.0编译的版本)文件，需要将hadoop.dll拷贝到hadoop2.6.0/bin目录下。

再次运行没有报错。

7、运行api的时候报了权限问题，使用的是hadoop，而我们想使用root

原因：配置环境变量中设置了HADOOP_USER_NAME=hadoop或者在run configuration中设置的-DHADOOP_USER_NAME=hadoop

解决：将配置环境变量中设置成HADOOP_USER_NAME=root或者在run configuration中设置的-DHADOOP_USER_NAME=root

8、org.apache.hadoop.dfs.SafeModeException:Name node is in safe mode安全模式

解决方法：bin/hadoop dfsadmin -safemode leave也就是关闭Hadoop的安全模式，这样问题就解决了。

9、用java -jar执行hadoop的job报错

原因：用hadoop的mapreduce变成，在执行的时候需要依赖hadoop的大部分依赖，所以上述错误是缺少hadoop的依赖包

解决：（1）建议使用hadoop -jar 执行job（2）如果使用java -jar，需要使用java -cp 把hadoop依赖的所有jar拼接到路径里面去（3）如果使用java -jar，另一种是在打包的时候把hadoop依赖的jar一起打包进去

10、运行mr程序报UnsatisfiedLinkError:nativeio.NativeIO$Windows.access0(Ljava/lang/String

一般这个问题是由本地hadoop环境变量照成的。需要设置hadoop_home变量的值。注意hadoop安装目录下，bin目录中缺少hadoop.dll和winutils.exe等动态库。还要增加bin目录到path路径。另外编辑器需要添加hadoop环境 还要注意jdk等是否正确安装。

11、在使用hdfs的copyfromlocal上传文件到hdfs时，爆出本地文件找不到异常，但是查看本地文件确实存在

原因：windows设置了隐藏已知文件的扩展名功能，导致上传的文件没有写扩展名

解决：在上传文件的地方添加上扩展名即可。

12、在执行hadoop-deamon.sh start xxx时报错

原因：启动的时候，节点名写错了

解决：修改名字，名字有， namenode datanode等

13、hadoop 8088 看不到mapreduce 任务的执行状态，无数据显示
解决方法：

（1）首先检查自己的集群中配置$HADOOP_HOME/conf/mapred-site.xml是否存在。

其中的mapreduce.framework.name是否配置。

（2）如果还不行的话，请在$HADOOP_HOME/conf/mapred-site.xml中原来的配置文件基础之上再添加下面


mapreduce.jobhistory.addressname>
master:10020value>
property>

mapreduce.jobhistory.webapp.addressname>
master:19888value>
property>
14、security.AccessControlException: Access denied for user sunqw. Superuser privilege is required

解决方法：

方式一：

在系统环境变量中增加HADOOP_USER_NAME，其值为root;

或者 通过java程序动态添加，如下：

?1System.setProperty("HADOOP_USER_NAME", "root");

方式二：

使用Eclipse在非hadoop运行下进行写入hdfs文件系统中时，由于sunqw对"/"目录没有写入权限，所以导致异常的发生。解决方法即开放hadoop中的HDFS目录的权限，命令如下：hadoop fs -chmod 777 / 。

方式三：

修改hadoop的配置文件：conf/hdfs-core.xml，添加或者修改 dfs.permissions 的值为 false。

方式四：

将Eclipse所在机器的名称修改为root，即与服务器上运行hadoop的名称一致。

6. 大数据分析Hadoop工具有什么特点

大数据分析工具有哪些，有什么特点？
答：1. 开源大数据生态圈 Hadoop HDFS、Hadoop MapReduce, HBase、Hive 渐次诞生，早期Hadoop生态圈逐步形成。 开源生态圈活跃，并免费，但Hadoop对技术要求高，实时性稍差。

7. 大数据与Hadoop之间的关系

数据在近些年来越来越火热，人们在提到大数据遇到了很多相关概念上的问题，比如云计算、 Hadoop等等。那么，大数据是什么、Hadoop是什么，大数据和Hadoop有什么关系呢？
大数据目前定义：大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内获取、管理、处理、并整理为帮助企业经营决策。
大数据目前分为四大块：大数据技术、大数据工程、大数据科学和大数据应用。其中云计算是属于大数据技术的范畴，是一种通过Internet以服务的方式提供动态可伸缩的虚拟化的资源的计算模式。那么这种计算模式如何实现呢，Hadoop的来临解决了这个问题，Hadoop是Apache（阿帕切）的一个开源项目，它是一个对大量数据进行分布式处理的软件架构，在这个架构下组织的成员HDFS（Hadoop分布式文件系统），MapReduce、 Hbase 、Zookeeper（一个针对大型分布式系统的可靠协调系统），hive（基于Hadoop的一个数据仓库工具）等。
1.云计算属于大数据中的大数据技术范畴。
2.云计算包含大数据。
3.云和大数据是两个领域。
云计算是指利用由大量计算节点构成的可动态调整的虚拟化计算资源，通过并行化和分布式计算技术，实现业务质量的可控的大数据处理的计算技术。而作为云计算技术中的佼佼者，Hadoop以其低成本和高效率的特性赢得了市场的认可。
Hadoop项目的目标是建立一个可扩展开源软件框架，能够对大数据进行可靠的分布式处理。
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。HDFS是一个分布式文件系统，具有低成本、高可靠性性、高吞吐量的特点。MapReduce是一个变成模型和软件框架。
简单理解，Hadoop是一个开源的大数据分析软件，或者说编程模式。它是通过分布式的方式处理大数据的，因为开元的原因现在很多的企业或多或少的在运用hadoop的技术来解决一些大数据的问题，在数据仓库方面hadoop是非常强大的。但在数据集市以及实时的分析展现层面，hadoop也有着明显的不足，现在一个比较好的解决方案是架设hadoop的数据仓库而数据集市以及实时分析展现层面使用永洪科技的大数据产品，能够很好地解决hadoop的分时间长以及其他的问题。
Hadoop大数据技术案例
让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。它们包括：
情感分析： Hadoop与先进的文本分析工具结合，分析社会化媒体和社交网络发布的非结构化的文本，包括Tweets和Facebook，以确定用户对特定公司，品牌或产品的情绪。分析既可以专注于宏观层面的情绪，也可以细分到个人用户的情绪。
风险建模：财务公司、银行等公司使用Hadoop和下一代数据仓库分析大量交易数据，以确定金融资产的风险，模拟市场行为为潜在的“假设”方案做准备，并根据风险为潜在客户打分。
欺诈检测：金融公司、零售商等使用大数据技术将客户行为与历史交易数据结合来检测欺诈行为。例如，信用卡公司使用大数据技术识别可能的被盗卡的交易行为。
客户流失分析：企业使用Hadoop和大数据技术分析客户行为数据并确定分析模型，该模型指出哪些客户最有可能流向存在竞争关系的供应商或服务商。企业就能采取最有效的措施挽留欲流失客户。
用户体验分析：面向消费者的企业使用Hadoop和其他大数据技术将之前单一客户互动渠道（如呼叫中心，网上聊天，微博等）数据整合在一起，以获得对客户体验的完整视图。这使企业能够了解客户交互渠道之间的相互影响，从而优化整个客户生命周期的用户体验。
当然，上述这些都只是大数据用例的举例。事实上，在所有企业中大数据最引人注目的用例可能尚未被发现。这就是大数据的希望。