终于发现从零开始学大数据

大数据里面包含很多如大数据时代、大数据概念、大数据分析、大数据营销与开发到底是什么意思呢?所谓大数据,那到底什么是大数据,他的来源在哪里,定义究竟是什么呢?下面小编为您详细解答,一起来看看吧。以下是小编为你整理的从零开始学大数据  

大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。  

大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。

大数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。  

大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。  

大数据的应用。大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多。  

大数据的意义和前景。总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。  

如何利用大数据做行业分析  

进行大数据分析，虽说各个行业都不一定相同，但是基本思路都是一样的，分析的对象有：市场，用户，渠道，效果，这几大类，如果有条件还可以进行分支拓展。  

对市场/行业进行大数据收集，分析：比如说，数据收集的方向，可以从大方向以及小方向进行，大的方向可以从政治，经济，社会，技术这几个入手，小方向可以从产品分析。  

对于用户的调查，可以开展用户画像，数据内容包括：身份，行为，居住，交际圈等，往小了分，还有可以分为年龄，性别，学历，消费情况，兴趣爱好，在哪些圈子等等....  

对产品进行数据分析，可以从人群——市场——渠道——产品，这四个轮回，通过人群，可以得到市场，通过渠道可以得到人群，通过人群又可以得到产品的使用情况。  

要进行大数据分析，光有上面还是不够的，还需要进行一个营销效果的分析，分析的方向，包括用户的行为，渠道的流量变化，以及一个最终的成本收益，投资回报率等。  

根据对营销效果的分析，从而可以分析出不同渠道的一个流量以及收益情况，从中就可以筛选出渠道的优势以及劣势，再集中汇集跟分析报告，这样就可以定出方案了。  

什么是大数据  

大数据,或称巨量数据、海量数据;是由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的集成共享,交叉复用形成的智力资源和知识服务能力。  

仅以互联网为例,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD，发出的邮件有2940亿封之多。发出的社区帖子达200万个,相当于《时代》杂志770年的文字数量。  

截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。  

大数据的精准营销是指通过大数据获取对象的喜好，行为偏好，对不同对象进行不同营销。大数据精准营销的核心可以概括为几大关键词：用户、需求、识别、体验客户营销、客户管理的公司经营理念，通过庞大的消费数据资源，为客户提供数据验证，精准营销等数据级服务。简单说就是为企业提供数据验证和数据筛选业务。

数学家Chris McKinlay是美国加州*洛杉矶分校在读PhD，在多次相亲后，对于找到另一半的事情毫无起色，作为一名数学家，他认为自己应该像一名数学家那样使用交友数据。  

McKinlay利用自己的天赋，创建了一个自制的机器人程序，可利用假冒的OkCupid账号从网站上搜集女性大量信息。McKinlay花了三周时间从美国2万女性收集到6万问题和答案，之后利用自己研发的改进型K-Modes算法将这些女网友分成7个在系统上存在差异的集群。通过建立数学模型计算的方式优化出两组女性，然后进行约会，在约会第88个女网友时，他找到了自己的真爱。  

医生根据病人的基本资料、诊断结果、处方、医疗保险等数据，将这些不医疗与大数据：同数据综合起来，通过大数据决策处理软件，医生将为病人选择*的医疗护理解决方案。  

我认为，在当今社会，企业直面社会的剧烈变化，在管理工作中依赖小规模的“点子”、“好主意”的传统做法已经难以应对市场的激烈竞争，企业需要从那些来自于现场、来源于客户、来源于多个时空的全方位的立体信息中找到利润的宝藏，才能获得持续增长的动力，从这个意义上看，驾驭大数据是企业驾驭未来的必经之路。  

如何分析客户数据  

对客户进行多维度地分析，以用户的地域、性别、年龄等人文属性建立分析维度，把所有的团购信息进行筛选，这样可以简单地把EDM的相关性大幅提高，起码用户收到的邮件是基本在住宅、工作场所附近，和自己的普通属性相关的，可能有一些兴趣的商品。  

对客户过去是否有点击，是否有购买，购买的产品价值，购买的频率，最近一次什么时候购买等属性进行量化，产生客户价值的评分，把客户分出价值的高低，对推荐的接受难易程度作出评估，依据这些评分来决定多频繁对该客户进行EDM操作，以及推荐的商品的细类，以提高反馈率。  

对购买过商品客户的购买记录，以及点击过的商品记录进行分析，对团购的折扣比例，商品原价，折扣金额，团购时间长短，能否退款，是否单人使用，风格等等分别打分、统计、归类，以对客户的可能兴趣点进行“预测”，这是一个相对高级、相对复杂的过程，但是运用得好的话会收到非常良好的效果。  

考虑在所有推荐的商品旁边增加一个“不喜欢”的按钮，收集客户不喜欢的东西对个性化推荐来说具有几乎和喜欢的商品一样重要的价值，假设一个客户告诉你他不喜欢一款49元的西餐厅的双人午餐，可能比他点击甚至购买另外一个99元日餐双人套餐给你透露的信息还要多。