终于清楚大数据学些什么

“大数据”是近年来IT行业的热词，大数据在各个行业的应用逐渐变得广泛起来，如2014年的两会，我们听得最多的也是大数据分析，那么，什么是大数据呢，大数据时代怎么理解呢，一起来看看吧。以下是小编为你整理的大数据学些什么  

互联网时代的大数据  

大数据的定义。大数据，又称巨量资料，指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。  

大数据的特点。数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要搜索、处理、分析、归纳、总结其深层次的规律。  

大数据的采集。科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。大数据时代数据的采集也不再是技术问题，只是面对如此众多的数据，我们怎样才能找到其内在规律。

 

大数据的挖掘和处理。大数据必然无法用人脑来推算、估测，或者用单台的计算机进行处理，必须采用分布式计算架构，依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术，因此，大数据的挖掘和处理必须用到云技术。  

大数据的应用。大数据可应用于各行各业，将人们收集到的庞大数据进行分析整理，实现资讯的有效利用。举个本专业的例子，比如在奶牛基因层面寻找与产奶量相关的主效基因，我们可以首先对奶牛全基因组进行扫描，尽管我们获得了所有表型信息和基因信息，但是由于数据量庞大，这就需要采用大数据技术，进行分析比对，挖掘主效基因。例子还有很多。  

大数据的意义和前景。总的来说，大数据是对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。以前，面对庞大的数据，我们可能会一叶障目、可见一斑，因此不能了解到事物的真正本质，从而在科学工作中得到错误的推断，而大数据时代的来临，一切真相将会展现在我么面前。  

   

Codecademy  

首先小编为大家推荐的是codecademy编程学习网站，进入这个网站学习首先要有一定的英语基础，应为界面是全是英文的，后续应该会加入中文界面。  

可见这个网站提供了HTML CSS Java JavaScript SQL Python bash/shellRuby七种编程语言  

在所选的Java课程中左侧栏给予描述，中间属于操作区域，右边是结果展示区域。  

Sololearn  

sololearn也是比较有名的一个编程语言学习网站，并且拥有配套学习的手机app可以在各大应用商店下载，每个编程语言都有一个单独的app。  

sololearn可以学习的编程语言有c++ python java css javascript c# php swift ruby jquery html sql 与codecademy差不多互补。  

这个网站提供codeplayground可以在里面操作试验代码，只需要浏览器联网就可实现无需下载编译器。  

   

学习Python的基础语言  

相信大多人在学习Python之前 肯定都自己了解过这门语言，也知道Python有很多的学习方向，比如说数据采集方向(爬虫)，或者Web开发方向，也可能是最近特别火热的人工智能方向。每个方向所需要的技术都是不尽相同的，所以在我们学习完成Python的基础语法之后，一定要慎重选择自己之后的进阶方向。  

就像学习其他编程语言或者是学习一门外语一样 ，我们应该从Python的基础语法开始学习 ，了解什么是Python的变量 什么是循环 什么是函数，什么是模块。类等等。总之，基础是学习以后高级开发的基石。

 

学习完基础之后，我们肯定要进行一些简单的联系。文件的操作是我们不二的选择，因为无论是文本文件。XML格式的文件还是Office办公系列的文件。我们统称之为文件操作。  

我们在学习文件操作的时候，要学习文件的写入和读取 以及了解各种文件之间的读写不同知识点。相信在学习完成之后，对于文件的操作 大家一定会得心应手。  

   

SQL查询优化  

对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。  

应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：  

selectidfromtwherenumisnull  

*不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库.  

备注、描述、评论之类的可以设置为 NULL，其他的，*不要使用NULL。  

不要以为 NULL 不需要空间，比如：char(100) 型，在字段建立时，空间就固定了， 不管是否插入值(NULL也包含在内)，都是占用 100个字符的空间的，如果是varchar这样的变长字段， null 不占用空间。  

可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：  

selectidfromtwherenum=0  

应尽量避免在 where 子句中使用 != 或 <> 操作符，否则将引擎放弃使用索引而进行全表扫描。  

应尽量避免在 where 子句中使用 or 来连接条件，如果一个字段有索引，一个字段没有索引，将导致引擎放弃使用索引而进行全表扫描，如：  

selectidfromtwherenum=10orName='admin'