终于认识大数据新手学习教程

数据被誉为新时代的石油，随着大数据市场的发展，数据开始流通，越来越多人也开始挖掘数据的价值。本文尽可能全面地介绍国内的数据源、搜索数据的方法以及数据交易的平台，帮助数据工作者们快速全面地找数据。文中涉及的数据交易方式包括API数据接口、数据包下载、数据定制等，涵盖免费的公开源数据以及付费数据。以下是小编为你整理的大数据新手学习教程  

统计数据  

*统计局/*数据  

最正统、最官方的数据，数据范围涵盖各行各业，时间跨度也较大，可下载为各种常见格式  

*网站通常有统计数据，但不同*数据量有多有少，目前为止数据并不算深入，但随着数据开放政策的深入，相信*网站会成为很好的数据源  

*列表可以在**网找，下文中的各行业数据都可以在相关的*网站找到数据，就不一一列举了

数据需要申请或购买，公开的并不多，但不失为一个选择  

咨询、金融、市场调研公司，尤其是业内顶尖的，通常有自己的数据，但同样并不免费公开，部分数据可购买  

大部分主要行业都有自己的年鉴，数据比较宝贵，只是给机器用之前还需要处理;价值高的年鉴通常需要付费获取;这里推荐一下人大经济论坛，氛围较好  

如何统计数据  

公开信息及整理比如统计局的数据、公司自己发布的年报、其他市场机构的研究报告、或者根据公开的零散信息整理;  

购买的数据库市场上有很多产品化的数据库，比如Bloomberg、OneSource、Wind等等，这个一般是以公司的名义买入口，不光咨询公司还有很多高等院校及研究机构也买了;  

自己的数据库自己维护的数据库有，但是比较少，一是专业的数据公司差不多能想到的都做了，二是自己做数据库其实是一件很麻烦的事情。在有些数据是外界无法得到的情况下有可能自己维护一个小型的数据库;  

咨询行业专家当然是有偿的，这个在项目中应该蛮常见的。有些行业专家会专门收集和销售数据，想要的基本能买到。  

发问卷有时候为了单独的项目也会收集很特别的数据，如果外界实在没有但是项目上没有不行就只有自己做了，比如自己发发问卷之类的，但是这类数据需求要控制工作量，因为除非数据本身是交付内容之一，要不然不能为了个中间件花费太多时间和精力;  

客户有些数据就是来源于客户，甚至是咨询公司的产品。举个例子，比如HR咨询公司的行业工资数据、四大的一些数据库等等，这些数据的采集需要比较强的专业性或者时间积累，很大一部分是通过调查客户的HR收集来的数据进行统计的。  

HBase集群及其管理  

1、集群的搭建过程 2、集群的监控 3、集群的管理  

Pig基础知识  

Pig是进行Hadoop计算的另一种框架，是一个高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，Pig 可以简化 Hadoop 的使用。  

1、Pig概述 2、安装Pig 3、使用Pig完成手机流量统计业务

Hive  

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用。  

1、数据仓库基础知识 2、Hive定义 3、Hive体系结构简介 4、Hive集群 5、客户端简介 6、HiveQL定义 7、HiveQL与SQL的比较 8、数据类型 9、表与表分区概念 10、表的操作与CLI客户端 11、数据导入与CLI客户端 12、查询数据与CLI客户端 13、数据的连接与CLI客户端 14、用户自定义函数(UDF)  

Scala  

Scala是另一种基于Java的语言，并且和Java相同的是，它正日益成为大规模机器学习，或构建高层次算法的工具。它富有表现力，并且还能够构建健壮的系统。  

“Java就像是建造时的钢铁，而Scala则像黏土，因为你之后可以将之放入窑内转变成钢铁，”Driscoll说。  

Cetas项目关注点

及时乃至实时的决策提供了投资的成功可能性!随着各式各样应用产生不规则的数据产生，这些数据到底想告诉你我什么呢?我们相信大数据将提供一个远见，一个对客户的洞察。那就没有理由去怀疑，基于用户的产品和服务会成功!Cetas提供了一个易于管理，自助服务的虚拟环境，支持企业自定义创建多种应用。这里提供了多维度的行为分析和大量高级的分析算法。  

除了提供在线应用实时的高级分析之外，还能分析IT运营管理，提供企业的管理运营能力。这为企业提供了对企业IT运营效果的面面观。  

为企业或个人提供可扩展，高性能的Hadoop自助分析平台，也提供了可视化的数据发现功能，并且嵌入了大量先进的机器学习算法，这些都促进研究和深度挖掘大数据所隐藏的内容。甚至如果你有建模的需要，这个平台也能满足你!!  

从虚拟化的基础上创建起的这三项服务，分别面向私人，公共，甚至是公私混合。从而Cetas使得大数据分析更加轻量化，这也是VMware公司收购Cetas之后加大投入的方向。  

如今Cetas加入VMware的大家族，未来将被赋予更重要的角色和作用。这方面也让我们拭目以待VMware这架虚拟化马车驶出的大数据分析之路。