总算清楚如何学习大数据基础

大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据有譬如Hadoop等开源大数据项目的，编程语言的，以下就大数据底层技术说下。有四方面，其实也代表了部分通用大数据底层技术：Z-Suite具有高性能的大数据分析能力，她完全摒弃了向上升级(Scale-Up)，全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据。以下是小编为你整理的如何学习大数据基础  

跨粒度计算(In-DatabaseComputing)  

Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于跨粒度计算技术，Z-Suite数据分析引擎将找寻出*化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。  

并行计算(MPP Computing)  

Z-Suite是基于MPP架构的商业智能平台，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC，她对网络条件也没有严苛的要求。作为横向扩展的大数据平台，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。

 

列存储 (Column-Based)  

Z-Suite是列存储的。基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O 的效率，从而大大提高查询性能。另外，列存储能够更好地压缩数据，一般压缩比在5 -10倍之间，这样一来，数据占有空间降低到传统存储的1/5到1/10 。良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。  

内存计算  

得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。  

   

大数据的发展史  

从技术上看，大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。  

早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为第三次浪潮的华彩乐章。不过，大约从2009年开始，大数据才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。  

大数据的意义是由人类日益普及的网络行为所伴生的，受到相关*、企业采集的，蕴含数据生产者真实意图、喜好的，非传统结构和意义的数据 。2013年5月10日，阿里巴巴集团董事局主席马云在淘宝十周年晚会上，将卸任阿里集团CEO的职位，并在晚会上做卸任前的演讲，马云说，大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。  

从海量数据中提纯出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。2012年3月22日，奥巴马*宣布投资2亿美元拉动大数据相关产业发展，将大数据战略上升为*战略。奥巴马*甚至将大数据定义为未来的新石油。  

大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在*的统筹规划与支持下，通过各地方*因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及众多创新企业的积极参与，大数据产业未来发展前景十分广阔。  

大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。  

   

学习Python的网络编程  

在我们这个时代 ，相信大多数是离不开互联网的，我们要学习网络编程。一般了解一下三个方面就可以了。  

写出基本的TCP连接，知道编写TCP的各个步骤，例如创建socket、绑定port、端口复用等，对TCP稍微做了解，知道协议的每个字段，了解三次握手  

了解基本的服务器并发模型，例如多进程、多线程、IO复

 

了解一些网络库例如twisted  

Python高级进阶(一)：Web方向  

在我们学习完成之前的基础知识之后，我们就要开始学习实战项目了。我们可以使用Python编写一个博客网站。通过网站的编程知识的学习。我们可以充分巩固我们之前所学的文件操作，数据库编程以及网络编程。是学习提高的好方法。一般Django框架是学习Python Web编程的*框架。  

Python高级进阶(二)：人工智能方向  

Python在人工智能方向上的运用是非常广泛的。深度学习是我们需要掌握的，我们可以学习谷歌的开源人工智能框架TensorFlow。以及Numpy这种工具可用来存储和处理大型矩阵，是学习人工智能敲门砖。在掌握这些知识以后，我相信大家就可以根据自己的实际情况来进入深入学习了。  

   

数据库的优化处理  

应尽量避免在where子句中对字段进行函数操作，这将导致引擎放弃使用索引而进行全表扫描。如：  

selectidfromtwheresubstring(name,1,3)=’abc’ -–name以abc开头的idselectidfromtwheredatediff(day,createdate,’2005-11-30′)=0 -–‘2005-11-30’ --生成的id  

应改为:  

selectidfromtwherenamelike'abc%'selectidfromtwherecreatedate>='2005-11-30'andcreatedate<'2005-12-1'  

不要在 where 子句中的“=”左边进行函数、算术运算或其他表达式运算，否则系统将可能无法正确使用索引。  

在使用索引字段作为条件时，如果该索引是复合索引，那么必须使用到该索引中的*个字段作为条件时才能保证系统使用该索引，否则该索引将不会被使用，并且应尽可能的让字段顺序与索引顺序相一致。  

不要写一些没有意义的查询，如需要生成一个空表结构：  

selectcol1,col2into#tfromtwhere1=0  

这类代码不会返回任何结果集，但是会消耗系统资源的，应改成这样：  

create table #t(…)  

Update 语句，如果只更改1、2个字段，不要Update全部字段，否则频繁调用会引起明显的性能消耗，同时带来大量日志。