总算懂得大数据该怎么学习

大数据是一个含义广泛的术语，是指数据集，如此庞大而复杂的，他们需要专门设计的硬件和软件工具进行处理。该数据集通常是万亿或EB的大小。以下是小编为你整理的大数据该怎么学习  

HADOOPP 是一个能够对大量数据进行分布式处理的软件框架。但是HADOOPP 是以一种可靠、高效、可伸缩的方式进行处理的。HADOOPP 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。  

HPCC高性能计算与 通信”的报告。开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆 比特网络技术，扩展研究和教育机构及网络连接能力。

 

Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理HADOOPP的批量数据。  

为了帮助企业用户寻找更为有效、加快HADOOPP数据查询的方法，Apache发起了一项名为“Drill”的开源项目。  

Pentaho BI 平台不同于传统的BI 产品，它是一个以流程为中心的，面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。  

RapidMiner是*的数据挖掘解决方案，在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛，包括各种数据艺术，能简化数据挖掘过程的设计和评价。  

学大数据的必备知识  

Java基础**  

数据类型  

运算符、循环  

顺序结构程序设计  

程序结构  

数组及多维数组  

面向对象**  

构造方法、控制符、封装  

继承**  

多态**  

抽象类、接口**  

常用类、集合Collection、list**  

HashSet、TreeSet、Collection  

集合类Map**  

异常  

File  

文件/流**  

数据流和对象流  

线程(理解即可)  

网络通信(理解即可)  

如果如果你已经是脱离小白生涯，你理大数据不远了，需要学习一些额外的小知识(数据结构、关系型数据库、linux系统操作)第二阶段以夯实基础，之后就可以进入大数据学习了;  

大数据需要学什么  

分类。分类是找出数据库中一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别。  

回归分析。回归分析方法反映的是事务数据库中属性值在时间上的特征，产生一个将数据项映射到一个实值预测变量的函数，发现变量或属性间的依赖关系，其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的相关关系等。

 

聚类。聚类分析是把一组数据按照相似性和差异性分为几个类别，其目的是使得属于同一类别的数据间的相似性尽可能大，不同类别中的数据间的相似性尽可能小。  

关联规则。关联规则是描述数据库中数据项之间所存在的关系的规则，即根据一个事务中某些项的出现可导出另一些项在同一事务中也出现，即隐藏在数据间的关联或相互关系。  

Mahout(数据挖掘算法库)  

Mahout起源于2008年，最初是Apache Lucent的子项目，它在极短的时间内取得了长足的发展，现在是Apache的顶级项目。  

Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。  

Mahout现在已经包含了聚类、分类、推荐引擎(协同过滤)和频繁集挖掘等广泛使用的数据挖掘方法。  

除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统(如数据库、MongoDB 或Cassandra)集成等数据挖掘支持架构。  

10、Oozie(工作流调度器)  

Oozie是一个可扩展的工作体系，集成于Hadoop的堆栈，用于协调多个MapReduce作业的执行。它能够管理一个复杂的系统，基于外部事件来执行，外部事件包括数据的定时和数据的出现。  

Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Graph)中的一组动作(例如，Hadoop的Map/Reduce作业、Pig作业等)，其中指定了动作执行的顺序。  

Oozie使用hPDL(一种XML流程定义语言)来描述这个图。  

11、 Yarn(分布式资源管理器)  

YARN是下一代MapReduce，即MRv2，是在*代MapReduce基础上演变而来的，主要是为了解决原始Hadoop扩展性较差，不支持多计算框架而提出的。  

Yarn是下一代 Hadoop 计算平台，yarn是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。  

用于自己编写的框架作为客户端的一个lib，在运用提交作业时打包即可。该框架为提供了以下几个组件：  

- 资源管理：包括应用程序管理和机器资源管理  

- 资源双层调度  

- 容错性：各个组件均有考虑容错性  

- 扩展性：可扩展到上万个节点