大数据的发展过程及特点

1. 大数据的发展过程及特点

亲，您好，很高兴为您解答答：大数据的发展过程及特点是大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。2．多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如图片、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。3．高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。4.价值。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析。发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。【摘要】
大数据的发展过程及特点【提问】
亲，您好，很高兴为您解答答：大数据的发展过程及特点是大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小小的MB级别的Map3就可以满足很多人的需求，然而随着时间的推移，存储单位从过去的GB到TB，乃至现在的PB、EB级别。随着信息技术的高速发展，数据开始爆发性增长。社交网络（微博、推特、脸书）、移动网络、各种智能工具，服务工具等，都成为数据的来源。淘宝网近4亿的会员每天产生的商品交易数据约20TB；脸书约10亿的用户每天产生的日志数据超过300TB。迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。2．多样。广泛的数据来源，决定了大数据形式的多样性。任何形式的数据都可以产生作用，目前应用最广泛的就是推荐系统，如淘宝，网易云音乐、今日头条等，这些平台都会通过对用户的日志数据进行分析，从而进一步推荐用户喜欢的东西。日志数据是结构化明显的数据，还有一些数据结构化不明显，例如图片、音频、视频等，这些数据因果关系弱，就需要人工对其进行标注。3．高速。大数据的产生非常迅速，主要通过互联网传输。生活中每个人都离不开互联网，也就是说每天个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。4.价值。这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析。发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。【回答】

2. 大数据发展五大关键要素

大数据发展五大关键要素
目前，大数据正成为推动企业效率提升和管理变革的强大力量，一些企业正利用互联网与物联网等带来的海量数据，通过挖掘、分析与业务应用，赢得优势。它正成为经济繁荣的催化剂，在美国，大数据已经被提到了国家战略的高度。但如何发展大数据呢？从新加坡的经验来看，政府在其中起到关键性的作用。
 新加坡政府抓住了大数据发展的五大关键要素：基础设施、产业链、人才、技术和立法。它在其中发挥了关键角色，尤为值得一提的是，这五个要素是普通企业所做不到的，而新加坡政府正好填补了企业的短板。
   大数据基础设施方面：一个国家在信息和存储等方面的基础设施，决定了大数据时代的海量数据能否汇集、传达，存储和应用。为了为大数据的发展提供良好的基础，新加坡在基础建设投资方面毫不吝啬。新加坡是世界十大高速网络架构之一，并承载了东南亚地区半数以上的第三方数据中心储存量。新加坡已确立其作为全球数据管理枢纽的地位，汇集了东南亚超过50%的商业数据托管及中立运营商数据中心。
   大数据产业链方面：在大数据产业链中，横跨了包括数据提供者、存储商、分析和挖掘商，以及应用企业等。对于企业，往往只有应用能力，却缺乏获得、存储和分析与挖掘大数据的能力。而在这方面，当然要依靠产业链中相应的服务商，但政府在产业链建设中发挥了关键性的作用。
    在数据挖掘方面，鼓励大学设立数据挖掘和分析平台，2012年，新加坡管理大学（SMU）推出的“Livelabs”创新平台，旨在增强新加坡在消费者和社会行为领域的数据分析能力；鼓励企业设立数据分析中心，一些企业通过在新加坡设立数据分析中心，洞察亚洲市场需求，已成功地实现了区域市场业务的拓展。2011年，劳斯莱斯（Rolls-Royce）与新加坡科技研究局（A*STAR）下设的高性能计算研究院合作成立了计算工程实验室，在智能数据分析领域进行合作研究。
    新加坡信息通信研究院（I2R）拥有全亚洲最大的数据挖掘团队之一。
    承担数据提供者角色，主动披露政府掌握的数据，在大数据建设中，这一点至关重要，因为毕竟政府是最大的数据拥有者。但是让政府能够主动开放自己的数据，并不是一件容易的事，而新加坡政府却做到了这一点。新加坡土地管理局（Singapore Land Authority）研发的电子地图（OneMap），就为基于位置的服务（LBS）的企业提供了开放数据平台。
    新加坡陆路交通管理局则通过公共数据开放计划开放新加坡交通数据，鼓励企业甚至是个人开发提升公共交通效率的应用软件。
    新加坡环境局（NEA, National Environment Agency）与多家企业合作，研究如何收取降雨量，并通过掌握不同地区环境的数据，来预测哪个地区接下来会爆发热带地区可能产生的疾病。
   大数据人才方面：目前企业应用大数据过程中往往最缺少数据人才，培养数据人才要充分发挥政府的作用。为了成为全球领先的数据分析中心，新加坡政府在这方面的努力可谓不遗其力。
    它与企业以及本地高等院校开展合作，确保毕业生获得必备的专业知识和技能。目前，新加坡在数据分析领域开设了4个硕士课程以及5个本科课程，提供侧重于具体行业应用的多学科研究方法。
    在新加坡经济发展局的协助下，亚洲顶尖学府新加坡国立大学（NUS）和IBM将开展合作，共同成立新加坡国立大学商业分析中心。该中心旨在帮助在校学生以及在职人员提升商业分析领域的最新职业技能，为未来数据分析工作打好基础。
   大数据技术方面：大数据存储、分析和挖掘技术与产品往往需要巨大投资，但是一般的企业无法承受这样的投资，此时政府的作用就尤为重要。而新加坡在其中，从来就没有缺位。
    信息通信研究院（I2R）与中国搜索引擎巨头百度在东盟自然语言技术开发领域进行合作。这一技术如被普遍应用，将为企业进军新兴的东盟市场创造空前机遇。此外，数据分析会被应用在分析社会认知领域。新加坡高性能计算研究所（IHPC）是率先开发此项技术的研究所之一。通过对人们第一印象的建模研究，企业可以更好地了解亚洲消费者。这项技术能够帮助企业预测消费者对新产品的反馈。
    在立法方面：大数据的发展总是伴随着与个人隐私权的冲突，而能否通过立法明确保护个人隐私权是大数据能否良性发展的关键，而新加坡在这方面做得很充分。新加坡于2012年公布了《个人资料保护法》（PDPA）。《个人资料保护法》作为一项较为宽松的立法，旨在防范对国内数据以及源于境外的个人资料的滥用行为。该法案的出台使公民得以进一步了解个人资料的使用途径；同时，在进行个人信息处理的过程中，也加强了企业与客户之间的信任程度。
    新加坡在收集、存储大量数据的基础上，对数据进行有效的分析与应用，从中获得经济价值。到2017年底，预计数据行业将为新加坡经济贡献十亿新元的增值，并培养2,500名跨领域数据分析专业人才。
    而所有这一切在于新加坡对于大数据的战略定位，对于自然资源稀缺的新加坡而言，“利用数据作为资源”是非常好的选择，新加坡经济发展局资讯通信与媒体业执行司长吴汭刚认为，“对于新加坡，数据就是未来流通的货币，而我们目前所做的就是将新加坡打造成全球数据管理中心，从而有能力与企业合作，将数据的潜在价值转化为可见的商业利润。”

3. 大数据发展的四大趋势

 大数据运用于各行各业，包括教育、医疗等行业，促进着相关业务的发展。
       趋势一：物联网 
   现今有84亿件物品互相连接，远大于全球人口数;不只是桌电、笔电或手机等3C产品相互链接，还有物流公司用智慧扫描仪做智慧物流，这是可以改变消费者与企业的趋势，但存在资安风险的问题。
    趋势二：区块链 
   区块链有很多不同的应用方式，美国几乎所有 科技 公司都在尝试如何应用，最常见的应用是比特币跟其他加密货币的交易。
    趋势三：人工智能 
   人工智能需要被教育，汇入很多信息才能进化，进而产生一些意想不到的结果。AI影响幅度很大，例如媒体业，现在计算机跟机器人可以写出很好的文章，而且1小时产出好几百篇，成本也低。AI对经济发展会产生剧烈影响，很多知识产业跟白领工作也可能被机器人取代。但他对于AI的态度很正面，这会让生活更好，例如自驾车绝对比人驾车更安全。
    趋势四：增强现实(AR)与虚拟现实(VR) 
   这两个技术最近开始降价跟提升质量，走向大众市场，FB发表了头戴式VR设备Oculus Go，售价只要200美元;微软也发表了VR系统，可搭配HTC、三星与ACER 等品牌的硬件使用。VR应用一开始以电玩为主，现在的应用却超越电玩，例如可以用来教学，像他靠着VR设备，把家里的插头电线完成配线，就像有水电技师在教学一样。
   大数据培训促使更多大数据人才，与之相应的大数据前景也会越来越好。
   泰迪智能 科技 专注于大数据培训，更多详细课程可到泰迪云课堂查看

4. 大数据发展几个方向？

1.在大数据采集与预处理方向。这方向最常见的问题是数据的多源和多样性，导致数据的质量存在差异，严重影响到数据的可用性。针对这些问题，目前很多公司已经推出了多种数据清洗和质量控制工具(如IBM的Data Stage)。
2.在大数据存储与管理方向。这方向最常见的挑战是存储规模大，存储管理复杂，需要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库相关技术的发展正在有效的解决这些方面的问题。在大数据存储和管理方向，尤其值得我们关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。
3.大数据计算模式方向。由于大数据处理多样性的需求，目前出现了多种典型的计算模式，包括大数据查询分析计算(如Hive)、批处理计算(如Hadoop MapReduce)、流式计算(如Storm)、迭代计算(如HaLoop)、图计算(如Pregel)和内存计算(如Hana)，而这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。
4.大数据分析与挖掘方向。在数据量迅速膨胀的同时，还要进行深度的数据深度分析和挖掘，并且对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的R Hadoop版、基于MapReduce开发的数据挖掘算法等等。
5.大数据可视化分析方向。通过可视化方式来帮助人们探索和解释复杂的数据，有利于决策者挖掘数据的商业价值，进而有助于大数据的发展。很多公司也在开展相应的研究，试图把可视化引入其不同的数据分析和展示的产品中，各种可能相关的商品也将会不断出现。可视化工具Tabealu 的成功上市反映了大数据可视化的需求。
6.大数据安全方向。当我们在用大数据分析和数据挖掘获取商业价值的时候，黑客很可能在向我们攻击，收集有用的信息。因此，大数据的安全一直是企业和学术界非常关注的研究方向。通过文件访问控制来限制呈现对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度的保护数据安全。
互联网的发展是大数据发展的最大驱动力，大数据技术运用到各个领域，受到越来越多企业的热捧，越来越多的人选择学习大数据。

5. 大数据发展的重要性？

大数据的作用就大了，不过关键还在于分析能力；
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
注意这里面，信息资产。
人类的社会分工是社会生产力提升的基本前提，分工程度越高，则越能够发挥每一个人的价值，提高劳动生产率，最终会引领社会朝向物质大丰富，精神丰富的生活。
交易是分工的前提，因为当分工越来越细的时候，人的个人生存能力越弱，只有交易才能够让个人生存，所以交易使得人类的分工没有后顾之忧；
交易分为两个部分，交易信息（包括什么地方的谁愿意以什么样的价格来买入或者出售何种资产）以及物质运输（包括运输的物质成本以及安全成本等）
可见，信息在交易中所承担的关键作用是促进社会分工，社会生产力提升的保证；
而大数据将会优化这一过程，使得信息成本更为低廉；
这种低廉体现在两个方面：一个是时间成本，一个是价格。
举一些简单的例子：
1）一家科技公司要开发出一款适合大众的产品，在开始之前就可以通过大数据来获得客户的偏好、客户的需求，而放在以前，则需要先根据经验开发出一个产品，然后不断尝试和改进。这里的开发周期缩短了，人力物力也可以得到节省。
2）技术检验，比方说面部识别技术，可以先通过大量的数据来验证技术的有效性；
等等。

6. 未来大数据的五个发展方向?

随着社会越来越智能化，所有的东西都会更加智能，例如在医院或者诊所，放射科的照片已经可以被人工智能分析；在飞机驾驶中，大部分时间都是人工智能在操纵飞机；开车时使用的自动挡也是人工智能在操作汽车。我们生活中已经有很多方面和人工智能息息相关。
重要的一点是我们为什么想要人工智能？因为人工智能和人的思维是不同的。例如我们为什么想要人工智能来开车？因为人工智能不会受到外界的干扰，人在开车的时候可能会突然分神，而人工智能或者自动驾驶是不会的。
人工智能有不同的认知方式和模式，在一定程度上，在一定的维度上甚至会超越人类的思维方式，我们需要充分运用这种思维方式。我们可以发明出不同的AI，不同的模式，来强化我们的视角，这样我们就能够更好地完成人工智能，但这是很难的。不管在商业模式的角度上，还是在科技的角度上都是很难的。人脑很难复制，所以我们有两步可以走，第一步就是要发明一个新的思维模式——大脑模式，来帮助我们解决这些问题；第二步就是要找到一种解决方式来使用这种思维模式。
我们需要改变我们的思维方式，改变思维方式比其它的事情更加重要。
第一次工业革命带来了第一次人力的解放，而人工智能又带来一次人力的解放。很多人担心在未来会不会有很多工作都不需要人类了，人工智能会不会替代人类。
所有的工作其实都可以归为不同的类别，有一些工作可以由机器人来做，有些工作机器人就做不了，我们需要做的就是重新定义人工智能，而不是被其所替代。我们可以将那些高效率、可重复性的工作交给机器人去做，而那些低效率、具有创造性的工作都由我们人类去做，比如人际交往、艺术、科技发明等领域的工作。
我们可以尝试不仅仅单纯地让人工智能或者机器人来工作，而是说把人工智能和人融合在一起，这两个个体都有自己独立的思考，融合在一起就是强强联合了。所以未来我们是否能够成功，就要看人和人工智能能够多么无缝地衔接在一起。
趋势二：互动
“互联网正在从知识、信息迈向更加注重体验。”
我认为未来的技术将会发展的另外一个方向，就是会越来越互动。过去在工业革命的时候，我们生产了桌子，但是桌子与我们人类并没有很多互动。在未来，我们的整个身体，所有的姿势和动作都会被转化成数据，我们与人工智能会进行互动。人工智能能够通过观察小小的动作、手势，甚至包括一些微动作、脸部的微表情，做出相应的反应。今后，我们可以用自己的动作与机器交流，最终完全进入一种虚拟状态，就是我们所说的虚拟现实。
因此我觉得在智能手机广泛应用的下一个平台将会是互动式的“虚拟现实”。
虚拟现实也有两种形态，一种虚拟形态是类似于你要戴上像手套、眼镜给你另外一种感觉，戴上这些之后，你会觉得自己是在另外一个时空或环境，这是非常常见的虚拟形态，能够给人们一种虚拟现实的体验方式。另外一种是混合式的远程视载技术、虚拟现实，当你戴上这种眼镜设备以后，你可以去触摸身边虚拟的椅子，你可以将其挪开，这样的技术可以给你类似于错觉的感觉，带你到达一些对于人类来说无法到达的地方，比如水下或者火山里面。
最重要的一点是，我们现在其实会渐渐地远离充满有很多知识或者信息的互联网，而慢慢地迈向一个满是体验、更加注重体验的互联网。最重要的不是你看了什么，而是你体验了什么。
所有这些技术的成本都在不断地下降，所有的商品成本都在不断地下降，但是只有一个例外，那就是体验。例如，要给孩子找保姆，或者说我们需要看一个话剧，这种体验的成本在不断地升高。现在人工智能或者虚拟现实也在把体验虚拟化，因此我觉得在未来，虚拟现实将会是最社交化的一种社交媒体，我们可以和朋友一起出去玩，真正地分享我们的体验。
趋势三：使用
“人们正从关注“所有权”转向“使用权”。”
过去我们关注“拥有”，现在我们更加关注是否可以“使用”。例如，优步是世界上最大的出租车公司，但优步自己没有任何一辆出租车，脸书是世界上最大的社交平台，但自己没有任何的内容。
因此在现代的社会，“使用权”已经优于了“所有权”，如果可以随时随地的使用，感觉比真正拥有会更好。例如，滴滴让我们随时随地想用车就可以直接叫车，而不用自己去买一辆车，甚至可以想像在未来，甚至不用买房子，因为可能随时随地有这样的服务提供商给我们提供我们需要的空间。
我们已经实现了从产品向服务的转换，过去可能关注的是产品本身，但是现在我们更关注产品背后所能提供的服务，也就是服务经济。未来经济是按需经济，人们有需要再生产，如何把产品转换成服务，然后把服务提供给消费者，其实我们身边有非常多的机会可以让我们做类似的思考。
例如订阅，作为会员可能并不会卖给你实体的产品，而是出售使用权，如果买产品，产品的更新换代非常快，但如果买使用权就可以随时的更新。所以我们已经慢慢从关注“所有权”转向“使用权”。
趋势四：分享
“协调合作、强强联合让共享经济变成可能。”
我们以前说的分享可能仅仅是所谓的分享经济，分享一辆车的使用权，或者分享那些并非个人所有的东西，但是我想说的是，其实分享远远不止这些。
虽然我们在说共享经济，但是我们现在还只是处在共享经济非常初期的阶段，真正的分享要远远超过我们现在所理解的简单的分享。
在未来，所有我们可以想象得到的、能够被分享的东西都一定会被分享。
因此，最重要的一点便是协作。我们需要让所有的工具、技术协调合作，使其强强联合。
维基百科是一个线上的百科全书，全球上百万的人都可以成为这个百科的撰写人，他们可以撰写许多词条。这样的技术在20年前完全不存在，但是现在，这样的技术可以让我们一起合作来完成一部巨大的网上百科全书，它给了我们非常大的力量。
趋势五：流动
“在“流动”的社会，学习能力才是核心能力。”
流动性是这个时代的特征，数据是流动的，例如新闻、音乐、电影，还有脸书、微博、微信等等这些都是数据的流动。无论你在哪个行业，学过什么课程，最终都获得的是数据库，流动的数据，无论做什么工作都必须要意识到这一点的关键性，因为所有的信息都是会被追踪的。
世界更加流动性的的一个方式那就是我们所有的信息都会被追踪，但是决策可以相应的做出变化。那些可以被跟踪的事物一定会被追踪，包括各种数据流、信息流，例如一些定位系统能够跟踪每个客户具体在哪个位置，会买什么商品，我们也可以通过技术追踪身体的生活方式、健康状况，包括运动、记忆力、血压水平等。这些信息可以收集起来开出个人化、定制化的处方和治疗方案。
第二是关于隐私，那就是配对、连接、偶合，把两种不同的个体双向的连接起来，要么透明，要么模糊，要么开放，要么隐藏。
第三是个性化的设计，每个人都是社会的一员，但我会希望公司、朋友把我视为一个独特的个体，例如我有自己的特长、职责，而我们唯一能够被视为个性化的方式就是透明化，我就需要向大家开放自己，公开信息，从而他人才能够给予我们个性化的对待。大多数人会希望更个性化，更独特一些，所以愿意透明一些隐私，在英语当中有句话是“隐私让位于炫耀”，我们的进化方向就是越来越透明。
最后，其实没有人知道这些发明对未来的发展是不是有效，例如，摄影、电话等技术被发明的时候，我们并不知道这些技术的好处，最初我们并不知道这个技术会运用用于哪里，唯一的方法就是使用它，需要与技术进行交互才能发现技术的优缺点。
这些技术需要通过交互的方法我们才能充分了解，所以我们需要不断学习全新的技术，无论多大年龄，所以学习的能力在未来才是最核心的能力。在新技术的学习过程中，忘记过去学的旧的东西，对很多人是非常困难的。
想成为创新的一代要具备哪些能力？
中国现在即将成为一个非常具有创新精神的国家，但是还是缺失一种文化，中国的下一代如果真正的想成为创新的一代要具备以下能力：
1、拥抱失败的能力。
其实失败正是创新科学，甚至是艺术的核心所在，通过不断的失败不断的促使你前进，正因为有不断的失败才能进步。
2、提问的能力。
好的问题才是人类最大的价值所在，问问题也是创新的驱动力，这是中国的下一代要发展的部分。中国需要普及一种能够去质问权威的文化，有时候就要反其道而行之，去质疑老师，要质疑某种权威，这样一种质疑或者问问题的能力才能让我们的文化有创新的基因。
3、对于未来要抱有乐观的心态。
其实真正的进步或者改革都是由乐观的人创造的，每个技术都会带来问题，但这些问题可能就是进步的源泉。
未来是什么样的呢？可能现在我们还很难相信无人驾驶汽车的运用，或者所有权转向使用权，难以想象未来的医学是私人定制化的医学，或者通过一个眼镜看到很多的虚拟现实。
但是在过去的这么几十年中电脑、芯片，以及智能化的设备越来越小，在20年前人们也不会想象这样的变化发生，我们要相信那些现在认为不可能的事情会变成现实，因为我们通过自己的技能一起协作、强强联手，人类思考的能力加上机器人的思维能力，我们才能让不可能的事情变成现实。

7. 大数据发展的三个必要条件

大数据发展的三个必要条件_数据分析师考试
近年来，关于大数据的讨论在技术、应用和模式等多个层面展开，已被认为代表着产业发展的方向。但与互联网公司的诸多实践相比，被认为具有数据资源先天优势的电信运营商却走在了后面，即便放眼全球，电信运营商的大数据应用案例也是屈指可数。移动宽带和固网宽带快速发展、OTT的强势崛起决定了电信运营商必须充分利用自身掌握的数据资源，另辟蹊径，从而实现网络价值的最大化。因此，电信运营商应用大数据是必然的，而且市场前景十分广阔。
为了加快大数据的“落地”步伐，帮助业界各方特别是电信运营企业更好地了解大数据，认清大数据战略发展的重要性，分析发展道路上面临的难题和障碍，促进大数据产业链的成熟，推动大数据的应用推广。从今天开始，《人民邮电》报特邀来自中兴通讯、电信研究院以及三大运营商等单位的专家，推出“掘金大数据”系列报道，以飨读者。
大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，也就是Volume（海量）、Velocity（高速）、Variety（多样）、Value（价值），大数据的定义才算完整，而最后一个Value（价值），恰恰是决定大数据未来走向的关键。
大数据发展的三个必要条件
大数据的发展需要三方面的必要条件：数据源、数据交易、数据产生价值的过程。近年来，社交网络的兴起、物联网的发展和移动互联网的普及，微信、微博、智能手机、电商大行其道，诞生了大量有价值的数据源，比如位置、生活信息等数据，数据源的出现奠定了大数据发展的基础。大数据时代到来的重要标志，则是大批专业级“数据买卖商”的出现，以及围绕数据交易形成的贯穿于收集、整理、分析、应用整个流程的产业链条。大数据发展的核心，则是使用户从海量的非结构化数据和半结构化数据中获得新的价值，数据价值是带动数据交易的原动力。
IBM、甲骨文、SAP近年纷纷斥巨资收购数据管理和分析公司，在这些互联网巨头的带动下，数据分析技术日渐成熟。2013年6月，爱德华·斯诺登将“棱镜”计划公之于众，“棱镜门”事件一方面说明大数据技术已经成熟，另一方面也佐证了现在阻碍大数据发展的不是技术，而是数据交易和数据价值。
大数据技术的发展促进了云计算的落地，云计算的部署完成又反过来加大了市场对数据创造价值的期待。大数据概念提出之后，市场终于看到了云计算的获利方向，云计算市场仿佛在一夜之间爆发，在过去一两年间几乎已经被国内大方案商、大集成商瓜分殆尽——各地的一级系统集成商与当地政府合作，建云数据中心，建智慧城市；各大行业的巨头们在搭建各自行业的混合云标准，搭建行业云平台；公有云也来了，各大IT巨头想尽办法申请中国的公有云牌照。云计算从概念到落地用了5年时间，最终促成这一切的就是大数据，或者说是市场对数据价值的期待。借助于国内智慧城市概念的大规模普及，云计算基础设施已基本准备就绪，一方面具备了大数据应用的硬件基础，另一方面迫于回收云计算投资的压力，市场急需应用部署，大数据恰如雪中送炭，被市场寄予厚望。
现在，一切的矛头都指向了“数据如何创造价值？”
56数据创造价值的基石6是数据整合和开放
大数据服务创业公司Connotate对800多名商业和IT主管进行了调查。结果显示，60%受调查者称“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早”。之所以如此，是由于当前大数据缺乏必需的开放性：数据掌握在不同的部门和企业手中，而这些部门和企业并不愿意分享数据。大数据通过研究数据的相关性来发现客观规律，这依赖于数据的真实性和广泛性，数据如何做到共享和开放，这是当前大数据发展的软肋和需要解决的大问题。
2012年美国大选奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的数据挖掘团队，他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金；他们通过数据挖掘使竞选广告投放效率提升了14%；他们通过制作摇摆州选民的详细模型，每晚实施6.6万次模拟选举，推算奥巴马在摇摆州的胜率，并以此来指导资源分配。这个数据挖掘团队，对奥巴马成功连任功不可没。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方就是对大数据的整合。奥巴马的数据挖掘团队也意识到这个全世界共同的问题：数据分散在过多的数据库中。因此，在前18个月，奥巴马竞选团队就创建了一个单一的庞大数据系统，可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体，以及“摇摆州”主要的民主党投票人的信息整合在一起。这个整合后的巨大数据库不仅能告诉竞选团队如何发现选民并获得他们的注意，还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说，在整个竞选活中，没有数据做支撑的假设很少存在。
2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将大数据研究上升为国家意志，对大数据的整合带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内智慧城市的建设目标之一就是实现数据的集中共享。
数据创造价值需要合作共赢的商业模式
随着云计算、大数据技术和相关商业环境的不断成熟，越来越多的“软件开发者”正在利用跨行业的大数据平台，打造创新价值的大数据应用，而且这一门槛正在不断降低。因为首先，数据拥有者乐于做这样的事情，他们能够以微乎其微的成本获取额外的收入，提高利润水平；其次，大数据设备厂商乐于做这样的事情，因为厂商需要应用来吸引消费者购买设备，发展合作共赢的伙伴关系势必比单纯销售设备要有利可图，一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”；第三，行业细分市场的数据分析应用需求在不断加大，对于整个大数据产业链来说，创新型的行业数据应用开发者必将是未来整个大数据产业链中最为活跃的部分。
在必然到来的大数据时代，有三种企业将在“大数据产业链”中处于重要地位：掌握海量有效数据的企业，有着强大数据分析能力的企业，以及创新的“软件开发者”。社交网络、移动互联网、信息化企业、电信运营商都是海量数据的制造者，Facebook公司手中掌握着8.5亿用户，淘宝注册用户超过3.7亿，腾讯的微信用户突破3亿，这些庞大用户群所提供的数据，正在等待时机释放出巨大的商业能量。可以预测，在不久的将来，Facebook、腾讯、电信运营商等海量数据持有者要么自我发展成为数据分析提供商，要么与IBM、ZTE等企业密切对接成为上下游合作企业，大数据产业链将在某个爆发点到来之际，以令人惊讶的速度成长壮大。
警惕大数据的危害
大数据时代，传统的随机抽样被“所有数据的汇拢”所取代，人们的思维决断模式，已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此将更精确、更有预见性。不过，由于大数据过于依靠数据的汇集，一旦数据本身有问题，就很可能出现“灾难性大数据”，即因为数据本身的问题，而导致错误的预测和决策。
大数据的理论是“在稻草堆里找一根针”，而如果“所有稻草看上去都挺像那根针”呢？过多但无法辨析真伪和价值的信息和过少的信息一样，对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言，同样是一种危害。大数据理论是建立在“海量数据都是事实”的基础上，而如果数据提供者造假呢？这在大数据时代变得更有害，因为，人们无法控制数据提供者和搜集者本人的偏见与过滤。拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”的局限性。
不仅如此，大数据时代造就了一个数据库无所不在的世界，数据监管部门面临前所未有的压力和责任：如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害？如何避免信息不对等，对弱势群体的利益构成伤害？在有效控制风险之前，也许还是让大数据继续待在“笼子”里更好一些。
大数据的经济价值已经被人们所认可，大数据的技术也已经逐渐成熟，一旦完成数据的整合和监管，大数据爆发的时代即将到来。我们现在要做的，就是选好自己的方向，为迎接大数据的到来，提前做好准备。
以上是小编为大家分享的关于大数据发展的三个必要条件的相关内容，更多信息可以关注环球青藤分享更多干货

8. 大数据的发展趋势？