本文作者大数据观察狮(bigdatadelver2015)
在这样一个信息爆炸的时代,数据无处不在,大数据在全球发展强势,它甚至改变了人类理解世界的方式。如今,大数据在政务、金融、媒体、安全等行业发挥着巨大的作用。未来,大数据发展的步伐在加快,其产生的变革浪潮将很快淹没地球的每一个角落。
一、认识大数据
大数据是指在可以承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
要深入的理解“大数据”这个概念,首先要聚焦“大”这个关键字上面,“大”是指数据规模,一般指的是10TB以上的数据量,大数据与过去的海量数据也有所区别、因而具有体量庞大、数据类型繁多数据格式多样、价值密度较低、处理速度较快的特点。
大数据是互联网发展到现今阶段的一种表象或特征,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据被利用起来,通过不断的创新,大数据为人类创造出巨大的价值。
想要系统的认知大数据,我们分解开来,从三个方面来展开分析。

首先是理论,理论是基础,是认知大数据的必经之路,从大数据的特征定义理解大数据的定性,从大数据发挥的价值来理解大数据的珍贵所在,在了解了大数据的发展历程以及现状,来展望大数据的未来发展的趋势;另一方面,在数据安全和大数据隐私隐私方面来审视人类和数据之间的博弈。
其次是技术,技术是实现大数据价值的关键所在,云计算、存储技术、分布式处理技术、感知技术等发展日新月异的今天,我们将一件件理论上的构想做出技术上的实践、不断突破创新。
最后一个方面是实践,大数据的实践已经覆盖到诸多行业和领域。通过技术的不断进步,大数据的最终价值将体现在实践上面。一个个的应用案例已经描绘出大数据展现是美好景象。
二、当下的大数据
1.大数据发挥的作用
有了海量的数据,只有通过分析可以获取有价值的信息,需要有其处理模式来适应海量的、多样化的信息资源。大数据不仅是处理数据的利器,更为处理不同来源、不同格式的多元化数据提供了可能。

对这些有着自身含义的数据进行加工,提取出有价值的信息,做出智慧的决策是大数据的战略意义。
也就是说,假如我们把大数据技术当作一种产业,那么我们从这个产业中获得最大利益的关键在于对数据的加工处理分析的能力,这是整个过程当中的关键。
大数据技术提高了对数据的处理效率,其效果的提升是几何级数的增长,这样的计算能力,为人类节约了宝贵的时间。使用全局的数据,其计算分析的结果更为精确,因而更加接近事物真相。
利用大数据提供的分析结果来总结出事物的发展规律,由这个规律来帮助人们进行有效的、科学的、智慧的决策。
大数据帮助人们建立数据的思维,大数据改变了人类理解世界的方式。因此,大数据在众多的行业中有着广泛的应用,并发挥着巨大的价值。
2大数据的行业应用场景
医疗
医疗行业有着巨大的信息资源:病例信息、治疗方案、药物研究以及疗效等等,这些信息如果被总结分析,将在很大程度上帮助医生和病人进行治疗。
在这个过程中,一直处在不断进化的多种病菌、病毒和肿瘤细胞,给治疗的过程形成了阻碍,在发现疾病时候,治疗方案是难以确定的。
大数据平台可以帮助医生建立数据库和患者的疾病风险跟踪机制,搜集不同的病例,药物,调取相似年龄、人种、身体素质等情况的有效的治疗方案来参考做出决策。
金融
在大数据时代,数据信息对于金融行业来说可谓是宝贵的资源,如何在数据中找到开启智慧的钥匙,如何在面临互联网冲击时,对庞大数据的搜集、储存、分析和管理是一项新的难题。
大数据对信息进行采集,整合和处理,结合不同数据的特性进行切割,分类,形成不同主题的数据库,形成了可以量化的分析模型,分析出结果。
大数据在金融行业应用范围较广,典型的案例有:美国银行利用客户点击数据集为客户提供特色服务,花旗银行利用IBM沃森电脑为财富管理客户推荐产品等等。它的应用主要体现在风险管控、精准营销、产品设计、决策支持这些方面。
农牧业
在农牧业中,大数据帮助农牧业产品的生产,其中包括帮助农民有效预防自然灾害,考虑天气气候的条件,根据消费者的喜好来开发不同品种的农作物,在培育作物中,它的生产条件、生长环境、品种等等数据来分析出最大收益的种植培养方案。
同样,牧民可以同过这些技术来细化到整个过程,根据数据分析结果来确定放牧的范围等。
政务
大数据利用其信息处理和存储的技术,可以有效推进治理国家的一项重大举措,在国家政治、经济和社会文化等领域的信息资源,实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督。
由此看来,在大数据时代,如何运用大数据来提升解决问题的能力已成为大数据时代的重大现实问题。大数据帮助城市预防犯罪,实现智慧交通,提升紧急应急能力。利用大数据建立起来的科学的机制,智能化的平台提高决策的精准性,为科学决策保驾护航。
媒体
在技术的快速发展的今天,各类终端、平台、系统的发展,待了多样化的信息获取渠道,这些终端的搜索记录表明了用户的兴趣,因而为他们打造个性化的社群。
用户从单一媒体到多个终端整合的变化表明实现多屏互动成为
关键。在大数据时代,信息的内涵已经不是信息等新闻,取而代之的是各种各样的数据,那么媒体就必须适应新的信息的生产方式、传播方式,结合媒体传播场景。
利用大数据来掌握受众的趣味,其中在受众的用户评分、观看记录、推荐、影评的信息进行采集挖掘,从而找到关注喜爱的视频风格,注重个体用户的体验。
不仅这些行业,大数据的身影无处不在,大数据在企业、安全等其他方面也发挥着作用:
大数据帮助航空公司节约运营成本,帮助电信企业提高售后服务质量,帮助保险企业识别欺诈骗保行为;
大数据帮助企业提升营销的针对性和精确度,降低物流和库存的成本,减少潜在的风险,以及帮助企业提高广告投放精准度来获得更大的收益;
大数据帮助娱乐行业分析预测歌手,歌曲,电影的受欢迎程度,并为投资者分析投资金额;
大数据帮助社交网站提供更准确的好友推荐,为用户提供更精准的企业招聘信息,向用户推荐可能喜欢的游戏以及适合购买的商品。
帮助旅游网站为旅游者提供心仪的旅游路线,大数据帮助电商公司向用户推荐商品和服务,帮助二手市场的买卖双方找到最合适的交易目标,帮助用户找到最合适的商品、商家和最优惠价格;
这些还远远不够,未来大数据的身影应该无处不在,纵然我们无法准确的预测大数据终会将人类社会带往到哪种最终形态,但是只要发展脚步在继续,因大数据而产生的变革浪潮将很快淹没地球的每一个角落。
三、大数据的未来
1.发展趋势
未来数据计算将释放人类社会的巨大的产能,帮助人类更好的改造世界。
首先,提供更大的便利性与移动性,在终端的操作更有效率并且更有弹性。
第二、数据的流通,加工更加有趋于标准,大数据时代的应用变得更加直接。
第三、大数据的价值深入于生活之中,人类的思维将于大数据时代背景下的新科技进行前所未有的碰撞。
第四、更加快速和精准的获取决策,通过大数据实时采集加工信息,实现决策的实时化。
第五、未来将出现运用数据倾倒的趋势,线上和线下在一起不能分割,实现线上线下化。
在更多的行业拓展,运用在更多的领域中。移动互联网的迅速发展,使得数据产生速度加快、规模加大,迫切需要运用大数据手段进行分析处理,提炼其中的有效信息。
2.面临的问题
大数据发展面临的问题来自不同的标准,它的数据量大,结构形式多样,实时性等多样化要求的数据信息,这无疑增加了数据采集和整合的困难,因此修改基于块和文件的存储系统的机构设计以克服存在的问题。
数据量大带来的更大的价值的同时也带来了更多的数据噪音,在进行数据清洗预处理工作时,需更加谨慎,以防将有用的信息过滤掉,在很多大数据应用场景中,不仅要考虑算法的准确性还要考虑实时的要求。
数据的持续增长带来了数据的安全问题,大数据因为目标大在网络上更容易被发现,其存在的更敏感更有价值的信息对潜在攻击者的吸引力很大。用户隐私问题一直是大数据应用难以绕开的一个问题,随着民众隐私意识的提高,合法合规地获取数据和应用数据,是进行大数据分析时必须遵循的原则。
3.展望
大数据应用目前新兴企业中受到高度重视,由于大多传统产业中的企业都在快速互联网化,更是因为传统产业仍然占据了国内生产总值的绝大部分份额。大数据交易会帮助这些传统企业更快地完成转型升级。
随着中国企业对于大数据应用的不断加深,中国企业级大数据产业将迎来快速发展阶段。根据预计,到2020年,中国企业级大数据市场应用规模将突破200亿元。
大数据底层的技术越来越成熟使得大规模、多重应用的分析程序成为可能。在企业级中,政府级别的大数据的变革是深刻的,软件的安全性可管理能力为大规模分析奠定了坚实的基础。
互联网公司在大数据应用上不断推陈出新,智能搜索、广告、电商、社交等借助大数据技术持续进化,互联网金融、O2O等应用借助大数据向线下延伸。随着用户对大数据的认可,各个行业巨头都对大数据加大投资,随之而来的是巨大的变革。