大数据的大与应用

我在油田时,是自己从库浏览导出数据,再通过geomap绘图,excel自带的图表工具分析数据的,不是依靠信息系统。

后来做信息化,一直觉得信息化系统没什么用,就是查询,报表,再就是他们搞的什么钻取,聚类之类的,就是省点人工而已。除了神经网络智能诊断,现场远程控制还有点意思。

虽然现在是科技时代。但为什么会产生这么多信息,是人的身心不安定,心满意足了自然无需言语,所以这也反映出社会幸福度。

  “最近很多同事在问我,如今的大数据究竟大到什么地步?

一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个;全球每天通过Internet网络传输的电子邮件多达2100亿封;Facebook每月新增10亿照片和1000万个视频;腾讯公司注册用户超过7亿,同时在线人数超过1亿……

截止到2013年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)甚至是YB(1024ZB=1YB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量高达1.82ZB,相当于全球每人产生200GB以上的数据。2012年,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。

与此同时全球知名研究机构IDC预测,2020年,全球数据规模将达到40ZB,如果把40ZB的数据全部存入现在的蓝光光盘,这些光盘的重量相当于424艘尼米兹号航母;而对于地球上的几十亿居民而言,这意味着人均拥有5247G数据,即人均存满10多个500G硬盘。

一直在谈大数据,那么大数据究竟可以做些什么事情呢?任何技术都要基于实践来考虑,大数据也不例外。在这方面,马云给我的启发最大。

首先我联想到了马云通过大量数据分析得出2008年经济疲弱,为其商家提前做好迎接经济危机提供了时间缓冲的例子。而早在2005年,阿里巴巴就开发出主要供内部运营人员使用的数据产品——淘数据。2009年,阿里巴巴的大数据应用开始走向外部,让淘宝商户分享数据。2011年,阿里巴巴开发数据魔方平台,商家可以直接获取行业宏观情况、自己品牌的市场状况、消费者在自己网站上的行为等情况。

他还说过一句话:我们记录下的数据,具备信息处理能力的不到1%,更不用说没有被记录下来的数据,当然最重要的是理解市场,而不是单个的个体。如果你公司的事情是基于只理解单个的个体却不考虑各自之间的关系,那就很危险了。因此大数据真正落地还有很长的路要走。此话值得我们深思。 ”

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注