大数据时代存储之路——华为

应需而变 融以致远—— 大数据时代存储之路

信息化：从涓流到海洋

1

目录12 3云时代大数据的特点

大数据带来哪些技术变革华为大数据架构和具体实践

2

大数据定义-不同行业的不同声音大量数据管理

海量计算

数据分析

大量用户 群体

3

云时代的大数据特点Volume-巨 量 Variety-多样性 Value-价值密度 Velocity-速 度

数据量巨大 全球在2010 年正式 进入ZB 时代 IDC预计到2020 年， 全球将总共拥有40ZB 的数据量

结构化数据、半结构化 数据和非结构化数据 如今的数据类型早已不 是单一的文本形式，订 单、日志、音频，能力 提出了更高的要求

沙里淘金，价值密度低 一部数小时的视频，可 能有用的数据仅仅只有 一两秒。如何迅速“提 纯”是大数据亟待解决 的难题

实时获取需要的信息 大数据区分于传统数 据最显著的特征。如 今已是ZB时代，在 如此海量的数据面前， 处理数据的效率就是 企业的生命

4

信息采集系统全景介绍数 据 分 类短信 通话记录 Email 社保、医保、 住宿、交通

视频监控

网络信息

精确查询数 据 来 源运营商 医院 大型企业 交通信息 视频监控 政府机构 (医保，社保)

人际关系、行为分 析

统计分析

跟随分析、人脸 识别

业 务 平 台 存 储 区 域

数据导入

内容查询汇聚、分析、入库

通话记录、住宿、 交通统计报表 短信、Email内容 过滤等其他信息

…………5

大数据在各行业的应用互联网 金融公安

社交网络

B 2C业务

电子支付

票据归档

视频监控

视频分析

能源

媒资

科研

地质勘探

智能电网

非线编辑

后期制作

卫星探测

基因工程

6

目录12 3云时代大数据的特点 大数据各行业需求和应用 大数据带来哪些技术变革 华为大数据架构和具体实践

7

大数据带来技术变革

大数据 分析处理

全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司 和组织机构具有战略意义的十大技术与趋势之一； Gartner在其新兴技术成熟度曲线中将“大数据”技术视为转型技术； 传统技术升级已满足不了大数据处理的需求，“大数据” 技术将在未来3— 5年内进入主流。其技术形态也会产生较大的变化；

计算瓶颈

存储瓶颈

网络瓶颈

数据库瓶颈

8

大数据带来哪些技术变革单机 集群 集群 虚拟化横向扩展(硬件扩展) 块虚拟化 丰富的增值软件及对外接口 横向扩展(硬件+文件系统) 文件虚拟化 丰富的增值软件及对外接口

计算

单机 块存储 文件存储 设备间连接 设备内连接

横向扩展 横向扩展

存储

GE FC

10GE FC IB

网络

FC

10GE SAS IB 分布式数据库 非关系型数据库

关系型数据库

9

数据库集群

数据库

大数据时代群雄逐鹿

10

Hadoop解决方案架构

11

目录12 3什么十大数据 云时代大数据的特点 大数据各行业需求和应用 大数据带来哪些技术变革 华为大数据架构和具体实践 华为大数据架构和具体实践12

华为在大数据方面不仅仅是平台提供商 大数据应用开发提供商 大数据系统集成商大 数 据 管 理 服 务 提 供 商

大数据平台提供商

华为除了具有强大的自主研发实力外，还具备丰富的集成优化第三方平台的经验，可根 据用户的实际需求，打造适合用户自身特点的大数据服务体系；13

华为大数据统一架构数据可视化 数据挖掘 日志留存 内容检索 视频分析 OLAP

华为大数据一体化平台 应用适配, Programmable接口

管控平面策略调度HBASE

分布式计算和分析批处理(Galax HD) ) Hive,Pig,MashoutHcatalog MapReduce 实时处理和内存计算流处理 内存数据库Data Bridge

近实时分析和MPP DBSQL Query Planner MPP Exec

集成3rd Party Tool

Lucene

户,Zookeeper) Scaleout Block

资源管理 (YARN,多

分布式存储Hadoop FS API, NFS/CIFS,Posix,ISCSI,S3 Scaleout Filesystem Scaleout DB Scaleout backup Scaleout Object

Flume Data Loader Sqoop

设备管理

通用服务器

Cloud OS 网络(交换机，路由器)

存储节点

华为集成和优化14

华为自研组件

合作

数据重构时间缩短20倍10 8 6 4 2 0 传统阵列

安全可信

弹性高效

加速数据恢复

10

存储池内所有硬盘参与重构，仅重 构业务数据 由传统RAID多对一的重构模式转 变为HVS的多对多快速重构模式 数据恢复速度相对传统RAID提升

0.5RAID 2.0 1TB NL-SAS 磁盘重构时间(小时)

20倍 降低95%的多盘失效概率

30mins/TB的恢复速度15

大幅降低重构过程对业务的影响