终于理解怎么快速学习大数据

随着互联网时代的到来，也诞生出了很多领域，现在大家最关心的是大数据领域，那到底什么是大数据，大数据可以应用在哪些领域和行业呢?大数据的应用有没有什么弊端呢?以下是小编为你整理的怎么快速学习大数据  

大数据(big data,mega data)，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。  

1.理解客户、满足客户服务需求  

大数据的应用现在在这领域是最广为人知的。重点是怎样应用大数据更好的了解客户以及他们的喜好和行为。企业极度喜欢搜集社交方面的数据、浏览器的日志、剖析出文本和传感器的数据，为了更加全面的了解客户。在通常情况下，创建出数据模型进行预测。好比美国的著名零售商Target就是通过大数据的剖析，获得有价值的信息，精准得预测到客户在什么时间想要小孩。另外，通过大数据的应用，电信公司可以更好预测出流失的客户，沃尔玛则更加精准的预测哪个产品会大卖，汽车保险行业会了解客户的需求和驾驶水平，*也能了解到选民的偏好。

 

2.业务流程优化  

大数据也更多的帮助业务流程的优化。可以通过利用社交媒体数据、网络搜索以及天气预告挖掘出有价值的数据，其中大数据的应用最广泛的就是供应链以及配送路线的优化。在这2个方面，地理定位和无线电频率的识别追踪货物和送货车，利用实时交通路线数据制订更加优化的路线。人力资源业务也通过大数据的剖析来进行改良，这其中就包括了人才招聘的优化。  

3.大数据正在改善我们的生活  

大数据不但单只是应用于企业和*，同样也适用我们生活当中的每个人。我们可以利用穿着的装备(如智能手表或者智能手环)生成*的数据，这让我们可以凭据我们热量的消耗以及睡眠模式来进行追踪。而且还利用利用大数据剖析来寻找属于我们的爱情，大多数时间交友网站就是大数据应用工具来帮助需要的人匹配合适的对象。  

商业性应用  

数据再利用：数据完成*次使命后，再次用作它用。如：用户搜索关键词后，除了显示内容外，网站会将搜索内容收集并记录下来，用来揭示用户喜好，预测今年什么样的商品将成为流行。  

数据重组：两个或多个数据源，以一种新颖的方式结合起来的混搭式应用。  

可扩展数据：在收集数据时，就设计好可扩展性。在一开始就考虑到各种潜在的二次或多次用途。如：谷歌的街景车不仅拍摄了房屋和街道的图片，还同时采集GPS数据，GPS数据不仅优化了谷歌的地图服务，而且对谷歌自动驾驶汽车的运作功不可没。  

数据折旧：在某些领域，为追求全部数据而使用旧数据，不仅不能增加价值，还会破坏新数据的价值。  

数据废气：即在线交互的副产品，包括浏览了哪些页面，停留了多久，输入了什么信息等。  

开放数据：事实上，*才是大规模数据的原始采集者，但他们在数据的使用上往往效率很低。近年来，“开放*数据”的倡议响彻全球，在美国、英国、澳大利亚等*也基于了肯定的答复，出台并实施了开放数据策略。  

数据交易平台  

*牵头  

1.地区性数据交易平台：贵州、上海、北京、江苏、武汉、哈尔滨、海南等  

2.模式：部分采用会员制，提供交易的场所以及必要的技术支持，收取交易费;部分仅提供在线交易平台  

3.特点：享有庞大的*数据资源，并且联合各行业的龙头企业  

(此处参考“北京秋”的文章“走马观花：国内各路大数据交易平台现状”)  

API平台  

1.列表：apistore、京东万象、聚合、阿凡达、showapi、haoservice、极速数据、apix、通联数据商城  

2.模式：按调用量收费  

3.特点：即时性很好，质量相对有保障，并且可以更大程度保护数据所有者的权益  

淘宝模式  

1.列表：数粮、数据宝(、淘宝)  

2.模式：数据商入驻，创造良好的交易环境、鼓励交易  

3.特点：数据范围较广、态度开放，比起到处搜罗数据方便很多，有潜力进一步发展

 

数据包定制/下载  

1.列表：数多多、大海洋、发源地  

2.模式：以数据下载和定制为主  

3.特点：有一定的固定用户不断提供新鲜数据，可以定制采集  

其他  

1.列表：数据堂、优易数据、数据淘  

2.特点：目前的数据平台(包括未列举的和不断出现的新兴平台)都比较有自己的特点，希望这些平台能够共同推动数据市场的成熟  

Sqoop  

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 ： MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。  

1、配置Sqoop 2、使用Sqoop把数据从MySQL导入到HDFS中 3、使用Sqoop把数据从HDFS导出到MySQL中  

Storm为分布式实时计算提供了一组通用原语，可被用于“流处理”之中，实时处理消息并更新数据库。这是管理队列及工作者集群的另一种方式。 Storm也可被用于“连续计算”(continuous computation)，对数据流做连续查询，在计算时就将结果以流的形式输出给用户。它还可被用于“分布式RPC”，以并行的方式运行昂贵的运算。  

1、Storm基础知识：包括Storm的基本概念和Storm应用场景，体系结构与基本原理，Storm和Hadoop的对比 2、Storm集群搭建：详细讲述Storm集群的安装和安装时常见问题 3、Storm组件介绍: spout、bolt、stream groupings等 4、Storm消息可靠性：消息失败的重发 5、Hadoop 2.0和Storm的整合：Storm on YARN 6、Storm编程实战