总算清楚大数据如何学

现如今都是信息社会，并且还倡导“大物移云”【包含大数据、物联网、移动互联网、云计算】等新型技术来为人们的日常生活服务，于是乎信息技术【Information technology简称IT技术】也就随之也火热起来啦,因此一大波的人投身于互联网中，下来就给大家介绍一下如何学习IT课程，希望对大家有所帮助!以下是小编为你整理的大数据如何学  

需要学习或者从事IT工作，刚开始肯定是一头雾水，常人所理解的IT工作者肯定是一些程序员之类的角色，这里我想说你的理解有些偏差，并且即使是程序员也分好多种从事算法的、Web开发、C++客户端研发等，还有好多细小的分类【下图大致说一下我理解的IT有哪些方向吧，有点不全面，只是一个诠释，如果作为一个新手我觉得可以去一些平台论坛比如说zhi hu等里面会有许多专业人士针对某个问题进行专业的诠释，大家可以借鉴一下】  

一个人是不可能将所有的方向都学到的。只能从事一个大的研究方向然后再到某个高深的领域进而再去扩展自己的广度或者继续这个深度广度深度的问题等着我们学习到一定程序再开始琢磨做决定吧!

如何具体的学习【以JavaWeb为例】：  

【了解行业*技术，选购图书】我觉得先看基础语法书，了解一些大概，边学习边跟着操作【实现没有界面的学籍管理等简单的系统】：  

进阶高级：继续看高阶的书或者跟着视频学习完成一些复杂的项目，比如说从事javaweb开发就得学习一些框架知识：  

开始根据项目要求团队或者自行开始实施做项目【有一些网站平台会提供一些需要做的项目，挂在平台上】：  

就这样一步步的踏入行业高级水平中，实践中慢慢成长，结合自己的情况选择广度和深度  

数据分析例子  

Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场(他将在一天工作之后抵达该处)时，Morton就开始了自己的社交秀。首先，分析推特数据，发现该顾客是本店的常客，也是推特的常用者。根据客户以往的订单，推测出其所乘的航班，然后派出一位身着燕尾服的侍者为客户提供晚餐。也许，这听起来过于离奇，但是你必须审视自己：“我是否有能力做到这个程度?”Laney说。  

PredPol Inc.。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作，基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率，可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区，盗窃罪和暴力犯罪分布下降了33%和21%。 Tesco PLC(特易购)和运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析，进行更全面的监控并进行主动的维修以降低整体能耗。  

American Express(美国运通，AmEx)和商业智能。以往，AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是，AmEx开始构建真正能够预测忠诚度的模型，基于历史交易数据，用115个变量来进行分析预测。该公司表示，对于澳大利亚将于之后四个月中流失的客户，已经能够识别出其中的24%。  

Express Scripts Holding Co.的产品制造。该公司发现那些需要服药的人常常也是最可能忘记服药的人。因此，他们开发了一个新产品：会响铃的药品盖和自动的电话呼叫，以此提醒患者按时服药。  

Infinity Property & Casualty Corp.的黑暗数据(dark data)。Laney对于黑暗数据的定义是，那些针对单一目标而收集的数据，通常用过之后就被归档闲置，其真正价值未能被充分挖掘。在特定情况下，这些数据可以用作其他用途。该公司用累积的理赔师报告来分析欺诈案例，通过算法挽回了1200万美元的代位追偿金额。  

大数据分析的五个基本方面  

PredictiveAnalyticCapabilities(预测性分析能力)  

数据挖掘可以让分析员更好的理解数据，而预测性分析可以让分析员根据可视化分析和数据挖掘的结果做出一些预测性的判断。  

DataQualityandMasterDataManagement(数据质量和数据管理)

数据质量和数据管理是一些管理方面的*实践。通过标准化的流程和工具对数据进行处理可以保证一个预先定义好的高质量的分析结果。 AnalyticVisualizations(可视化分析)  

不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。 SemanticEngines(语义引擎)  

我们知道由于非结构化数据的多样性带来了数据分析的新的挑战，我们需要一系列的工具去解析，提取，分析数据。语义引擎需要被设计成能够从“文档”中智能提取信息。  

DataMiningAlgorithms(数据挖掘算法)  

可视化是给人看的，数据挖掘就是给机器看的。集群、分割、孤立点分析还有其他的算法让我们深入数据内部，挖掘价值。这些算法不仅要处理大数据的量，也要处理大数据的速度。  

假如大数据真的是下一个重要的技术革新的话，我们*把精力关注在大数据能给我们带来的好处，而不仅仅是挑战。  

storm集群组件  

了解Storm集群组件的功能  

Storm集群中包含两类节点：主控节点(Master Node)和工作节点(Work Node)。其分别对应的角色如下：  

主控节点(Master Node)上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。  

每个工作节点(Work Node)上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集;一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。  

Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外，Nimbus和Supervisor进程都是快速失败(fail-fast)和无状态(stateless)的;Storm集群所有的状态要么在Zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Nimbus和Supervisor进程，它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。