大数据三大核心技术：拿数据、算数据、卖数据！

1. 大数据三大核心技术：拿数据、算数据、卖数据！

 
   
    大数据的由来 
   对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
   1
   麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
   大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。
   从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
     大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
   最小的基本单位是bit，按顺序给出所有单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。
   
    大数据的应用领域 
   大数据无处不在，大数据应用于各个行业，包括金融、 汽车 、餐饮、电信、能源、体能和 娱乐 等在内的 社会 各行各业都已经融入了大数据的印迹。
   制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。
   金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。
    汽车 行业，利用大数据和物联网技术的无人驾驶 汽车 ，在不远的未来将走入我们的日常生活。
   互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。
   电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。
   能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。
   物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。
   城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。
      体育  娱乐 ，大数据可以帮助我们训练球队，决定投拍哪种 题财的 影视作品，以及预测比赛结果。
   安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。
   个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。
   大数据的价值，远远不止于此，大数据对各行各业的渗透，大大推动了 社会 生产和生活，未来必将产生重大而深远的影响。
   大数据方面核心技术有哪些？
   大数据技术的体系庞大且复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。首先给出一个通用化的大数据处理框架，主要分为下面几个方面：数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可视化。
   
    数据采集与预处理 
   对于各种来源的数据，包括移动互联网数据、社交网络的数据等，这些结构化和非结构化的海量数据是零散的，也就是所谓的数据孤岛，此时的这些数据并没有什么意义，数据采集就是将这些数据写入数据仓库中，把零散的数据整合在一起，对这些数据综合起来进行分析。数据采集包括文件日志的采集、数据库日志的采集、关系型数据库的接入和应用程序的接入等。在数据量比较小的时候，可以写个定时的脚本将日志写入存储系统，但随着数据量的增长，这些方法无法提供数据安全保障，并且运维困难，需要更强壮的解决方案。
    Flume NG 
   Flume NG作为实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理，并写到各种数据接收方(比如文本，HDFS，Hbase等)。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，source用来消费(收集)数据源到channel组件中，channel作为中间临时存储，保存所有source的组件信息，sink从channel中读取数据，读取成功之后会删除channel中的信息。
    NDC 
      Logstash 
   Logstash是开源的服务器端数据处理管道，能够同时从多个来源采集数据、转换数据，然后将数据发送到您最喜欢的 “存储库” 中。一般常用的存储库是Elasticsearch。Logstash 支持各种输入选择，可以在同一时间从众多常用的数据来源捕捉事件，能够以连续的流式传输方式，轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
    Sqoop 
   Sqoop，用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中，也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。Sqoop 启用了一个 MapReduce 作业(极其容错的分布式并行计算)来执行任务。Sqoop 的另一大优势是其传输大量结构化或半结构化数据的过程是完全自动化的。
   
    流式计算 
   流式计算是行业研究的一个热点，流式计算对多个高吞吐量的数据源进行实时的清洗、聚合和分析，可以对存在于社交网站、新闻等的数据信息流进行快速的处理并反馈，目前大数据流分析工具有很多，比如开源的strom，spark streaming等。
   Strom集群结构是有一个主节点(nimbus)和多个工作节点(supervisor)组成的主从结构，主节点通过配置静态指定或者在运行时动态选举，nimbus与supervisor都是Storm提供的后台守护进程，之间的通信是结合Zookeeper的状态变更通知和监控通知来处理。nimbus进程的主要职责是管理、协调和监控集群上运行的topology(包括topology的发布、任务指派、事件处理时重新指派任务等)。supervisor进程等待nimbus分配任务后生成并监控worker(jvm进程)执行任务。supervisor与worker运行在不同的jvm上，如果由supervisor启动的某个worker因为错误异常退出(或被kill掉)，supervisor会尝试重新生成新的worker进程。
      Zookeeper 
   Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，提供数据同步服务。它的作用主要有配置管理、名字服务、分布式锁和集群管理。配置管理指的是在一个地方修改了配置，那么对这个地方的配置感兴趣的所有的都可以获得变更，省去了手动拷贝配置的繁琐，还很好的保证了数据的可靠和一致性，同时它可以通过名字来获取资源或者服务的地址等信息，可以监控集群中机器的变化，实现了类似于心跳机制的功能。
   
    数据存储 
   Hadoop作为一个开源的框架，专为离线和大规模数据分析而设计，HDFS作为其核心的存储引擎，已被广泛用于数据存储。
    HBase 
   HBase，是一个分布式的、面向列的开源数据库，可以认为是hdfs的封装，本质是数据存储、NoSQL数据库。HBase是一种Key/Value系统，部署在hdfs上，克服了hdfs在随机读写这个方面的缺点，与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。
    Phoenix 
   Phoenix，相当于一个Java中间件，帮助开发工程师能够像使用JDBC访问关系型数据库一样访问NoSQL数据库HBase。
    Yarn 
   Yarn是一种Hadoop资源管理器，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。Yarn由下面的几大组件构成：一个全局的资源管理器ResourceManager、ResourceManager的每个节点代理NodeManager、表示每个应用的Application以及每一个ApplicationMaster拥有多个Container在NodeManager上运行。
    Mesos 
   Mesos是一款开源的集群管理软件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等应用架构。
    Redis 
   Redis是一种速度非常快的非关系数据库，可以存储键与5种不同类型的值之间的映射，可以将存储在内存的键值对数据持久化到硬盘中，使用复制特性来扩展性能，还可以使用客户端分片来扩展写性能。
    Atlas 
   Atlas是一个位于应用程序与MySQL之间的中间件。在后端DB看来，Atlas相当于连接它的客户端，在前端应用看来，Atlas相当于一个DB。Atlas作为服务端与应用程序通讯，它实现了MySQL的客户端和服务端协议，同时作为客户端与MySQL通讯。它对应用程序屏蔽了DB的细节，同时为了降低MySQL负担，它还维护了连接池。Atlas启动后会创建多个线程，其中一个为主线程，其余为工作线程。主线程负责监听所有的客户端连接请求，工作线程只监听主线程的命令请求。
    Kudu 
   Kudu是围绕Hadoop生态圈建立的存储引擎，Kudu拥有和Hadoop生态圈共同的设计理念，它运行在普通的服务器上、可分布式规模化部署、并且满足工业界的高可用要求。其设计理念为fast analytics on fast data。作为一个开源的存储引擎，可以同时提供低延迟的随机读写和高效的数据分析能力。Kudu不但提供了行级的插入、更新、删除API，同时也提供了接近Parquet性能的批量扫描操作。使用同一份存储，既可以进行随机读写，也可以满足数据分析的要求。Kudu的应用场景很广泛，比如可以进行实时的数据分析，用于数据可能会存在变化的时序数据应用等。
   在数据存储过程中，涉及到的数据表都是成千上百列，包含各种复杂的Query，推荐使用列式存储方法，比如parquent,ORC等对数据进行压缩。Parquet 可以支持灵活的压缩选项，显著减少磁盘上的存储。
   
    数据清洗 
   MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算，”Map(映射)”和”Reduce(归约)”，是它的主要思想。它极大的方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统中。
   随着业务数据量的增多，需要进行训练和清洗的数据会变得越来越复杂，这个时候就需要任务调度系统，比如oozie或者azkaban，对关键任务进行调度和监控。
    Oozie 
   Oozie是用于Hadoop平台的一种工作流调度引擎，提供了RESTful API接口来接受用户的提交请求(提交工作流作业)，当提交了workflow后，由工作流引擎负责workflow的执行以及状态的转换。用户在HDFS上部署好作业(MR作业)，然后向Oozie提交Workflow，Oozie以异步方式将作业(MR作业)提交给Hadoop。这也是为什么当调用Oozie 的RESTful接口提交作业之后能立即返回一个JobId的原因，用户程序不必等待作业执行完成(因为有些大作业可能会执行很久(几个小时甚至几天))。Oozie在后台以异步方式，再将workflow对应的Action提交给hadoop执行。
    Azkaban 
   Azkaban也是一种工作流的控制引擎，可以用来解决有多个hadoop或者spark等离线计算任务之间的依赖关系问题。azkaban主要是由三部分构成：Relational Database，Azkaban Web Server和Azkaban Executor Server。azkaban将大多数的状态信息都保存在MySQL中，Azkaban Web Server提供了Web UI，是azkaban主要的管理者，包括project的管理、认证、调度以及对工作流执行过程中的监控等;Azkaban Executor Server用来调度工作流和任务，记录工作流或者任务的日志。
   流计算任务的处理平台Sloth，是网易首个自研流计算平台，旨在解决公司内各产品日益增长的流计算需求。作为一个计算服务平台，其特点是易用、实时、可靠，为用户节省技术方面(开发、运维)的投入，帮助用户专注于解决产品本身的流计算需求
    数据查询分析 
    Hive 
   Hive的核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce。可以将Hive理解为一个客户端工具，将SQL操作转换为相应的MapReduce jobs，然后在hadoop上面运行。Hive支持标准的SQL语法，免去了用户编写MapReduce程序的过程，它的出现可以让那些精通SQL技能、但是不熟悉MapReduce 、编程能力较弱与不擅长Java语言的用户能够在HDFS大规模数据集上很方便地利用SQL 语言查询、汇总、分析数据。
   
   Hive是为大数据批量处理而生的，Hive的出现解决了传统的关系型数据库(MySql、Oracle)在大数据处理上的瓶颈 。Hive 将执行计划分成map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会被编译成多轮MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的中间过程会增加整个Query的执行时间。在Hive的运行过程中，用户只需要创建表，导入数据，编写SQL分析语句即可。剩下的过程由Hive框架自动的完成。
    Impala 
   Impala是对Hive的一个补充，可以实现高效的SQL查询。使用Impala来实现SQL on Hadoop，用来进行大数据实时查询分析。通过熟悉的传统关系型数据库的SQL风格来操作大数据，同时数据也是可以存储到HDFS和HBase中的。Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎(由Query Planner、Query Coordinator和Query Exec Engine三部分组成)，可以直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据，从而大大降低了延迟。Impala将整个查询分成一执行计划树，而不是一连串的MapReduce任务，相比Hive没了MapReduce启动时间。
   Hive 适合于长时间的批处理查询分析，而Impala适合于实时交互式SQL查询，Impala给数据人员提供了快速实验，验证想法的大数据分析工具，可以先使用Hive进行数据转换处理，之后使用Impala在Hive处理好后的数据集上进行快速的数据分析。总的来说：Impala把执行计划表现为一棵完整的执行计划树，可以更自然地分发执行计划到各个Impalad执行查询，而不用像Hive那样把它组合成管道型的map->reduce模式，以此保证Impala有更好的并发性和避免不必要的中间sort与shuffle。但是Impala不支持UDF，能处理的问题有一定的限制。
    Spark 
   Spark拥有Hadoop MapReduce所具有的特点，它将Job中间输出结果保存在内存中，从而不需要读取HDFS。Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
    Nutch 
   Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具，包括全文搜索和Web爬虫。
   
    Solr 
   Solr用Java编写、运行在Servlet容器(如Apache Tomcat或Jetty)的一个独立的企业级搜索应用的全文搜索服务器。它对外提供类似于Web-service的API接口，用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引;也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。
    Elasticsearch 
   Elasticsearch是一个开源的全文搜索引擎，基于Lucene的搜索服务器，可以快速的储存、搜索和分析海量的数据。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。
   还涉及到一些机器学习语言，比如，Mahout主要目标是创建一些可伸缩的机器学习算法，供开发人员在Apache的许可下免费使用;深度学习框架Caffe以及使用数据流图进行数值计算的开源软件库TensorFlow等，常用的机器学习算法比如，贝叶斯、逻辑回归、决策树、神经网络、协同过滤等。
    数据可视化 
   对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。主流的BI平台比如，国外的敏捷BI Tableau、Qlikview、PowrerBI等，国内的SmallBI和新兴的网易有数等。
   在上面的每一个阶段，保障数据的安全是不可忽视的问题。
   基于网络身份认证的协议Kerberos，用来在非安全网络中，对个人通信以安全的手段进行身份认证，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。
   控制权限的ranger是一个Hadoop集群权限框架，提供操作、监控、管理复杂的数据权限，它提供一个集中的管理机制，管理基于yarn的Hadoop生态圈的所有数据权限。可以对Hadoop生态的组件如Hive，Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。
   
    简单说有三大核心技术：拿数据，算数据，卖数据。 
   

2. 浪潮服务器存储的分布式存储有哪几种？每款特点是什么？

浪潮服务器的分布式存储有分布式存储AS13000G5-M、分布式存储AS13000G5-C、分布式存储AS13000G5-P和分布式存储AS13000G5-CG共四种产品。分布式存储AS13000G5-M是面向新兴海量数据处理应用的企业级全对称分布式存储平台，分布式存储AS13000G5-C、AS13000G5-P和AS13000G5-CG的容量可以根据实际需求进行扩展、性能可以做到按需共计。服务可以做到按需定义，是一种个性化调整的分布式存储系统。
无论是哪一款分布式存储，都能够持续进行数据报告，保证存储业务顺畅。而且每一款服务器都有专门的人工智能进行加持，AI能够进行精准的服务器故障预测，保证服务器能够正常使用。

3. PB级企业存储是什么意思？

提供的企业存储空间达到pb，即100万GB的空间，（1pb＝1000tb，1tb＝1000gb，1gb＝1000mb）。
Pb为petabyte级，Pb是一个更高级别的存储单元，其上有EB、ZB、YB等单元，1PB＝1024TB。







未来学家雷蒙德·库兹韦尔（RaymondKurzweil）在其关于pb级数据定义的论文中解释：
人类功能性记忆的容量估计为1.25tb，这意味着800个人类记忆相当于1pb。

扩展资料：
pb级数据存储和使用：







AnyShare支持海量非结构化数据的统一存储，提供数十亿的容量存储，支持数据的重擦除，提高容量存储的效率。可以根据需要扩展容量，还可以扩展性能以降低单个GB数据存储的成本，从而降低总存储成本。







pbAnyShare存储容量，支持蠕虫的特征对象存储系统，AnyShareNAS网关的形式实施周期超过三个月的治疗非结构化数据存档、三个月内的活跃的文件存储在本地业务系统，确保电子档案，证据，如文件数据固化存储很长一段时间，防止被篡改和删除。







AnyShare的固化档案文件可以根据关键词、文件全称或标签等多种搜索方法准确检索出需要的文件，全文搜索可以在一秒内找到文件。
自动生成的标签是标签自动分析AnyShare文档的文档内容的分析选择，和手动标记标签根据需要手动添加帮助拍字节的数据进行分类和归档根据文档内容，并且可以准确地根据标签来提高检索效率的使用和访问文档。

4. 数据中台到底是什么？

对于寻求数字化转型的企业而言，要如何管理公司的数据资源，让数据产生价值，有效服务前端业务呢？在2019年，呼声最高的答案无疑是“数据中台”。

一、什么是数据中台？

（一）前台、中台与后台

前台，即指由各类前台系统组成的前端平台。每个前台系统就是一个用户触点，即企业的最终用户直接使用或交互的系统，是企业与最终用户的交点。

后台，即指由后台系统组成的后端平台。每个后台系统一般管理了企业的一类核心资源（数据计算），例如财务系统，产品系统，客户管理系统，仓库物流管理系统等，这类系统构成了企业的后台。

前台与后台就像是两个不同转速的齿轮，前台由于要快速响应前端用户的需求，讲究的是快速创新迭代，所以要求转速越快越好；而后台由于面对的是相对稳定的后端资源，而且系统陈旧复杂，甚至还受到法律法规等相关合规约束，所以往往是稳定至上，越稳定越好，转速也自然是越慢越好。

随着企业务的不断发展，这种“前台后台”的齿轮速率“匹配失衡”的问题就逐步显现出来。而中台就像是在前台与后台之间添加了一组“变速齿轮”，将前台与后台的速率进行匹配，是前台与后台的桥梁，它为前台而生，易于前台使用，将后台资源顺滑流向用户，响应用户。

（二）“数据中台”的由来

“数据中台”并不是一个专业术语，简单来说，它是指通过数据技术，对海量数据进行采集、计算、存储、加工，且进行统一标准和口径，以达到对企业的数据资产进行管理及应用为目的的平台。数据中台把数据统一后，形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。

“数据中台”的概念是由阿里巴巴于2015年首次提出。阿里巴巴认为，数据中台是集方法论、工具、组织于一体的“快”、“准”、“全”、“统”、“通”的智能大数据体系。阿里人通过多年不懈的努力，在业务的不断催化滋养下，将自己的技术和业务能力沉淀出一套综合能力平台，具备了对于前台业务变化及创新的快速响应能力。

阿里巴巴中间件首席架构师、《阿里巴巴中台战略思想与架构实践》作者钟华表示，在用阿里技术推动企业数字化转型、建立数字中台的过程中，第一大挑战是业务、其次才是技术。所谓业务挑战，就是从业务视角，把共性的业务模块沉淀到共享业务中台，把个性化的业务剥离出去后形成前台，形成“大中台，小前台”的新格局。

阿里巴巴发展数字中台的核心经验是将原有的共享IT部门必须要找到极强的互联网业务作为抓手，把自己变成核心业务部门，才能够真正转型成为企业的共享业务事业部，而不是某种变形的、换汤不换药的共享IT部门，这也就是阿里共享业务事业部所讲的“业务滋养”的概念。

二、企业为何要布局数据中台？

数据中台的核心价值，在于帮助企业将琐碎的业务数据进行统一的规划、管理、整合，形成符合企业特征的价值实现通道——即企业的“数字资产”。在此过程中，数据中台所瞄准的主要问题是提高企业的数据管治能力、提供数据管理工具、提升数据利用效率。

对于传统企业来说，要把能力中心构建起来，光做一个端还不够，需要把这些端打通。一个“特种兵”没有用处，它真正需要的是把自己的炮火和雷达能力都建立起来。数据中台最终的目标是让“一切业务数据化，一切数据业务化”，将所有的数据汇聚到数据中台来，打通各个业务线的数据流转、数据链路，了解企业数据现状。

在为数据应用提供数据服务的时候，减少数据平台的重复开发，减少数据重复的存储，从而减少企业成本。同时，建立统一的数据存储、数据使用模型中心、能力中心，将相关业务领域的数据做汇聚，解决了数据互联互通的诉求，实现数据价值上的一加一大于二。



以阿里巴巴为例，其数据中台系统由多元数据采集和接入、公共数据中心、统一数据服务三个核心板块构成，成功在新零售、金融、物流、营销、旅游、健康、大文娱、社交等阿里商业生态中，实现了业务数据化和数据业务化，为业务前台和云端双向赋能。

阿里巴巴对外开放的数据中台，2018年曾帮助海底捞旗下的云上捞APP的会员猛涨，更智能的是应用能够对每位用户精准画像，记得住每一位用户的口味和喜好，进而实现个性化、定制化的"千人千锅"服务。公开数据显示，截止目前云上捞注册会员已达到4500万人，较之2018年增长50%。此外，已经享受阿里数据中台服务的还有央视、华硕、大润发等。

阿里旗下的支付宝已经从金融支付工具变成了数字生活开放平台，不仅能购买金融服务、电子支付、借款、还信用卡，还新增了外卖、果蔬商超等便民生活板块。支付宝想做的就一件事，那就是成为人们生活的一部分。要实现这个目标，靠的就是中小企业向数字化经营的转型。

三、企业如何布局数据中台？

从企业应用的角度而言，如何应用数据中台管理业务数据、挖掘数据价值并非易事。数据化中台对企业来说主要有四个过程：

（一）连接

对内，企业需要把前端与前端、前端和后端供应链、制造系统相互打通。对外，对全业务场景中的人与人、人与物、物与物的数据链接进行识别和规划，结合企业特征方向梳理业务数据需求场景。

（二）沉淀核心能力

对分散的业务数据进行统一规划、搜集、存储，建立数据资产目录，为业务数据化管治奠定基础。每个企业实际的竞争能力是不一样的，有些是以产品制胜，有些是以成本制胜。但这些核心能力必须要沉淀下来，才能赋能给新业务。

（三）把数据变成资产

根据阿里讲的“数字化运营”，就是业务数据化，数据资产化。以前连消费者是谁都不知道，这些数据沉淀的非常少。现在的技术已经可以让你做到业务数据化了，但很多企业的数据积累起来之后怎么用？中台解决的就是这个问题，把数据资源利用起来，变成数据资产。搭建数据中台，生产加工、物流运输、财务管控、市场营销、客户管理等各业务线形成快速稳健的数据价值加工通道。

（四）让资产发挥价值

数据变成资产之后，需要找到一个场景把它用起来。举个简单的例子，星巴克是靠什么挣钱？附餐。咖啡本身往往是不挣钱的，只是一个流量生意。但它通过场景化的东西，想办法给你推荐附餐。这就是数据资产场景化的过程。

再比如共享单车，本身也不见得会多挣钱，但收集数据以后，可以通过数据服务挣钱。对于在线下开店的企业来说，就更是如此了。在线下培养一个好的店长是非常难的，但如果你有很多数据，就可以用人工智能来替代店长的很多工作，因为店长不外乎补货和选品。



在未来，数据中台将会是数字化经营的重要依托。通过数据的沉淀和技术手段，为用户提供更优质的服务，数据中台就是基于这个理念而诞生的。通过数据中台，提升企业的效能，持续提高用户的响应力，实现数据化的运营，更好地支持业务发展和创新。

如今，数据中台对很多企业来说，是一个非常有吸引力的数字化解决方案，但企业需要以业务需求来推动数字化进程，而不能一知半解就盲目进行，当企业在明确的业务需求驱动下，搭配完善的数字化解决方案，才能降低转型失败的几率。

5. 什么是数据存储？

使用计算机和其他设备保留数据称为数据存储。数据的这种保留和分析是使用专门的技术完成的，这反过来又使其可供将来使用。根据存储产品和服务，数据存储可分为三类：


文件存储 – 这是一种廉价且简单的数据存储类型，其中数据存储在硬盘驱动器的文件和文件夹中。硬盘驱动器以与用户查看的相同配置存储数据。

块存储——这是一种更昂贵、更复杂的存储形式，适用于需要频繁访问和编辑的数据。这种存储方法的可扩展性较差，并且将数据存储在大小均匀的块中。

对象存储——对象可以与元数据和唯一标识符一起存储，从而降低这种存储类型的成本。它非常适合不需要编辑的数据。

6. 华为突破分布式数据库和存储技术，打通数字化转型“雄关漫道”

2019年，我们将进入数字化转型的攻关期。所谓“攻关期”即数字化转型2.0阶段，需要攻坚企业关键业务上云和数字化转型改造的课题。在一份市场调查公司IDC的报告中指出：IDC自2014年提出数字化转型以来，看到企业在数字化转型层面已经投入了大量人力物力，但是效果并不理想，有一些企业已经成功屹立在潮头，有一些企业在向上游进发，还有一些企业只能在浪潮的挟裹中被动前行。
  
 对于企业来说，数字化转型是“雄关漫道”。IDC认为，目前阶段来看，企业亟待解决的是数字化能力提升，包括：与业务的深入结合能力；数据处理和挖掘能力；以及IT技术运营和管理能力。特别是数据处理和挖掘能力，因为数字化转型推进企业从以流程为核心向以数据为核心转型，对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提，对数据全生命周期的管控治理是释放数据价值的保障。而随着数字化转型引入大量新技术而导致IT复杂度变高，企业IT技术运营和管理能力是提升企业“IT生产力”的关键。 
  
 攻关数字化转型的“雄关漫道”，需要一个具备融合、智能、可传承三大特性的数字平台。这是2019年3月华为与IDC联合推出的《拥抱变化，智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。融合主要指把传统技术和创新技术相结合；智能主要指平台智能化和智能化能力输出；可传承主要指解耦、功能复用、可配置等理念打造的架构。而承载这三大观点的，就是新一代分布式企业级技术。
  
 2019年5月15日，华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0，作为新一代数据基础设施，诠释了具备融合、智能、可传承三大特性的数字平台。华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示，千行百业正在加速智能化进程，越来越多的企业已经意识到数据基础设施是智能化成功的关键。华为围绕计算、存储和数据处理三个领域重定义数据基础设施，加速迈向智能时代。
  
 
  
 今天所讨论云和工业互联网等概念的背后是一个新时代的到来，这就是体系架构大迁徙。传统企业级技术是在单体应用和单机环境中，保证数据存储、调用等操作的高可靠、高可用、高稳定，特别是满足金融级事物处理的ACID（原子性、一致性、隔离性和耐久性）要求，为企业关键业务提供数据管理支撑。随着企业技术向云架构迁移，数据库技术也面临转型。
  
 2018年，基于云计算技术的分布式数据库成为了业界的热点。简单理解，云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。原先由几台小型机完成的计算任务，要分散到上百甚至上千台X86服务器上，而且还可能跨数据中心操作，挑战可想而之。特别是在线支付等金融级业务，不能在断网或网络连接有问题时出错，也不能因响应速度慢而影响用户体验。
  
 2018年8月，中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”，与业界厂商和用户共商核心数据库分布式转型之路，同时发布了《金融分布式事务数据库》白皮书。金融分布式事务数据库的工作推进，为分布式数据库进入企业关键业务系统，提供了产业化支撑。而华为作为企业ICT解决方案供应商，早在2012年就开始研发面向大数据分析的数据仓库，在基于传统关系型数据库SQL引擎和事务强一致性等基础上，进行了分布式、并行计算的改造，历时6年打造了面向PB级海量数据分析的分布式数据库。
  
 在OLAP数据仓库之外，华为与行业用户合作了面向OLTP的分布式事务型数据库研发。2017年，华为与招商银行合作成立了分布式数据库联合创新实验室，研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。
  
 本次发布的GaussDB数据库新品包括：联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节，可实现基于AI的自调优、自诊断自愈、自运维，让数据库更高效、更智能，引领数据库架构的发展。
  
 更进一步，本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。基于X86架构，华为引入AI管理和智能加速能力，率先推出了智能服务器FusionServer Pro；基于ARM64打造了业界性能最强的TaiShan服务器；基于Ascend芯片的Atlas智能计算，实现了业界首个端边云协同的人工智能平台。而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合，大幅提升数据库性能。 
  
 汪涛强调，作为全球首款AI-Native数据库，GaussDB有两大革命性突破：第一，首次将人工智能技术引入数据库的全生命周期流程，实现自运维、自管理、自调优和故障自诊断。在交易、分析和混合负载场景下，基于最优化理论，首创深度强化学习自调优算法，把业界平均性能提升60%。第二，支持异构计算，充分发挥X86/ARM/GPU/NPU多样性算力优势，最大化数据库性能，在权威标准测试集TPC-DS上，华为GaussDB排名第一。GaussDB还支持本地部署、私有云、公有云等多种场景。
  
 在以云计算为代表的分布式计算环境中，数据管理解决方案除了需要分布式数据库外，为了更好的扩缩容以及满足多样化数据存储需求，计算与存储分离已经成为分布式数据库设计的主要架构。分布式云化架构，就是要支持计算、存储分离和多租户等架构设计要求。
  
 GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库，本次发布的FusionStorage 8.0则是分布式存储架构，创新地实现一套系统同时支持块、文件、对象、HDFS协议，1套存储支持4类存储能力，适用于全业务场景混合负载，最终让“一个数据中心一套存储”成为可能。 
  
 IDC发布的《中国软件定义存储（SDS）及超融合存储（HCI）系统市场季度跟踪报告，2018年第四季度》显示，2018年，软件定义存储市场达到了54.9%的同比增长。软件定义存储在中国整体存储市场的占有率稳步上升，分别达到了22.1%的市场占有率。华为凭借文件解决方案在政府、广电和电信等行业得到认可，在2018年中国软件定义存储市场排名第一。
  
 FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速，使IOPS提升 20%，结合华为AI Fabric无损网络，时延进一步降低15%。基于华为在计算、网络和存储领域多年的芯片和算法积累，FusionStorage 8.0在SPC-1的性能测试中，单节点性能达到了16.8万IOPS以及1ms以内时延，成为承载企业关键应用的新选择。 
  
 此外，通过华为云的云上训练及本地AI芯片，FusionStorage 8.0将智能管理贯穿业务使用的全生命周期，如业务上线前对存储资源的规划，使用过程中的风险预判及故障定位，大幅提升存储效率，帮助行业客户应对智能时代的数据新挑战。
  
 汪涛在发布会上强调，新一代智能分布式存储FusionStorage 8.0通过重定义存储架构，从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升，引领存储智能化。首先，“Storage for AI”通过融合共享，让AI分析更高效。其次，“AI in Storage”率先将AI融入存储全生命周期管理，从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。
  
 辽宁移动就采用了华为FusionStorage。作为辽宁省内最大的移动通信运营商，辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。由于5G的快速发展，辽宁移动关键数据库的应用也向云化方向发展，分布式存储也要满足其可靠性和高性能要求。华为在深入分析辽宁移动需求后，首先在边缘开发测试业务小规模试点分布式存储，进行了大量的实验和测试后性能和可靠性都达到了预期，最终决定将全部业务迁移至FusionStorage。该方案通过采用双活、可写快照、端到端DIF等特性，顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作，助力辽宁移动的存储架构迈入新的 历史 阶段。
  
 值得一提的是，华为分布式数据库与华为分布式存储深度结合，把数据库的操作下沉到存储节点，极大提升了分布式数据库的性能。利用新的网络技术和人工智能技术，华为帮助用户提升数据中心的吞吐量，提升网络应用的可伸缩性，并且能自动调优。
  
 
  
 除了推出新一代突破性的分布式数据库和存储技术外，华为也积极与客户、伙伴在数据库与存储领域，从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。在行业应用层面，华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作；在平台和工具层面，华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新；在标准组织和社区层面，华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。
  
 总结来说，华为全线分布式数据库和分布式存储产品的发布，是华为具备融合、智能、可传承三大特性数字平台的最新成果。华为分布式数据库与分布式存储结合，能消除企业各业务系统数据孤岛，构建面向行业场景的数据建模、分析和价值挖掘能力，对多源异构的数据进行汇聚、整合和分析，形成统一的全量数据和数据底座，实现数据价值挖掘和共享。而基于AI的智能化，可对基础设施进行高效的管理，为行业应用开发和迭代赋能，全面帮助企业突破关键应用上云的“雄关漫道”。（文/宁川）

7. 大数据有哪些常用的平台？

大数据有三个主要部分，分别是数学，统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度，所以要重视基础知识的学习。
大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据仓库工具无法处理完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的各类技术。

扩展资料：
注意事项：
大数据的第一站就是收集和存储海量数据（公开/隐私）。现在每个人都是一个巨大的数据源，通过智能手机和个人笔记本释放出大量的个人行为信息。获取数据似乎已经变得越来越容易，数据收集这一模块最大的挑战在于获取海量数据的高速要求以及数据的全面性考虑。
传统商业智能在数据清洗处理的做法（ETL）是，把准确的数据放入定义好的格式中，通过基础的抽取统计生成高维度的数据，方便直接使用。然而大数据有个最突出的特征——数据非结构化或者半结构化。因为数据有可能是图片，二进制等等。数据清洗的最大挑战来了——如何转化处理大量非结构数据，便于分布式地计算分析。
参考资料来源：百度百科-大数据

8. 云存储架构分哪些层次,各自实现了什么功能？

(1)存储层
云存储系统对外提供多种不同的存储服务，各种服务的数据统一存放在云存储系统中，形成一个海量数据池。从大多数网络服务后台数据组织方式来看，传统基于单服务器的数据组织难以满足广域网多用户条件下的吞吐性能和存储容量需求；基于P2P架构的数据组织需要庞大的节点数量和复杂编码算法保证数据可靠性。相比而言，基于多存储服务器的数据组织方法能够更好满足在线存储服务的应用需求，在用户规模较大时，构建分布式数据中心能够为不同地理区域的用户提供更好的服务质量。
云存储的存储层将不同类型的存储设备互连起来，实现海量数据的统一管理，同时实现对存储设备的集中管理、状态监控以及容量的动态扩展，实质是一种面向服务的分布式存储系统。
(2)基础管理层
云存储系统架构中的基础管理层为上层提供不同服务间公共管理的统一视图。通过设计统一的用户管理、安全管理、副本管理及策略管理等公共数据管理功能，将底层存储与上层应用无缝衔接起来，实现多存储设备之间的协同工作，以更好的性能对外提供多种服务。
(3)应用接口层
应用接口层是云存储平台中可以灵活扩展的、直接面向用户的部分。根据用户需求，可以开发出不同的应用接口，提供相应的服务。比如数据存储服务、空间租赁服务、公共资源服务、多用户数据共享服务、数据备份服务等。
(4)访问层
通过访问层，任何一个授权用户都可以在任何地方，使用一台联网的终端设备，按照标准的公用应用接口来登录云存储平台，享受云存储服务。
2云存储技术的优势
作为新兴的存储技术，与传统的购买存储设备和部署存储软件相比，云存储方式存在以下优点：
(1)成本低、见效快
传统的购买存储设备或软件定制方式下，企业根据信息化管理的需求，一次性投入大量资金购置硬件设备、搭建平台。软件开发则经过漫长的可行性分析、需求调研、软件设计、编码、测试这一过程。往往在软件开发完成以后，业务需求发生变化，不得不对软件进行返工，不仅影响质量，提高成本，更是延误了企业信息化进程，同时造成了企业之间的低水平重复投资以及企业内部周期性、高成本的技术升级。在云存储方式下，企业除了配置必要的终端设备接收存储服务外，不需要投入额外的资金来搭建平台。企业只需按用户数分期租用服务，规避了一次性投资的风险，降低了使用成本，而且对于选定的服务，可以立即投入使用，既方便又快捷。
(2)易于管理
传统方式下，企业需要配备专业的IT人员进行系统的维护，由此带来技术和资金成本。云存储模式下，维护工作以及系统的更新升级都由云存储服务提供商完成，企业能够以最低的成本享受到最新最专业的服务。
(3)方式灵活
传统的购买和定制模式下，一旦完成资金的一次性投入，系统无法在后续使用中动态调整。随着设备的更新换代，落后的硬件平台难以处置；随着业务需求的不断变化，软件需要不断地更新升级甚至重构来与之相适应，导致维护成本高昂，很容易发展到不可控的程度。而云存储方式一般按照客户数、使用时间、服务项目进行收费。企业可以根据业务需求变化、人员增减、资金承受能力，随时调整其租用服务方式，真正做到“按需使用”。
3云存储技术趋势
随着宽带网络的发展，集群技术、网格技术和分布式文件系统的拓展，CDN内容分发、P2P、数据压缩技术的广泛运用，以及存储虚拟化技术的完善，云存储在技术上已经趋于成熟，以“用户创造内容”和“分享”为精神的Web2.0推动了全网域用户对在线服务的认知。