浪潮 BA,基于“互联网 ”的商业分析平台 · 浪潮BA,基于“互联网+”的商业分析平台 7 在数据存储方面,浪潮BA支持 Hadoop、数据仓库和内存数据库三种
基于 hadoop 的数据仓库技术
-
Upload
nathan-mcneil -
Category
Documents
-
view
157 -
download
0
description
Transcript of 基于 hadoop 的数据仓库技术
基于基于 hadoophadoop 的数据仓库技的数据仓库技术术
目录目录
• Hadoop简介• HDFS (Hadoop Distributed File System)• MapReduce
• Hive
本文的内容主要来自三篇 hadoop 领域的核心论文1、 Hive—A Petabyte Scale Data Warehouse Using Hadoop2、MapReduce and Parallel DBMSs:Friends or Foes3、 Cheetah:A High Performance,Custom Data Warehouse on Top of MapReduce
历史历史• 2002-2004: Apache Nutch• 2004-2006:
– Google 发表 GFS 和 MapReduce相关论文
– Apache 在 Nutch中实现 HDFS和MapReduce
• 2006-2008:– Hadoop 项目从 Nutch中分离– 2008年 7月, Hadoop赢得 Terabyte Sort
Benchmark
Doug CuttingHadoop项目负责人
HadoopHadoop简介简介
Hadoop 实现了一个分布式文件系统( Hadoop Distributed File System ),简称 HDFS。 HDFS 有着高容错性的特点,并且设计用来部署在低廉的( low-cost )硬件上。而且它提供高传输率( high throughput )来访问应用程序的数据,适合那些有着超大数据集( large data set )的应用程序。 HDFS 放宽了( relax) POSIX 的要求( requirements )这样可以流的形式访问( streaming access )文件系统中的数据。
HadoopHadoop简介简介
Hadoop 是 Apache 的一个开源软件项目 ,由Doug Cutting在 2004 年开始开发。
Hadoop 是一个海量数据存储和计算的分布式系统,它由若干个成员组成,主要包括: HDFS、MapReduce、 HBase、 Hive、 Pig 和 ZooKeeper , 其中 HDFS是 Google的 GFS开源版本, HBase 是 Google 的 BigTable开源版本, ZooKeeper是 Google的 Chubby开源版本。
Hadoop 在大量的公司中被使用和研究
HadoopHadoop 的体系架构的体系架构Hadoop由以下几个部件组成:Hadoop Common: The common utilities that support the other Hadoop
subprojects.
Avro: A data serialization system that provides dynamic integration with scripting languages.
Chukwa: A data collection system for managing large distributed systems.
HBase: A scalable, distributed database that supports structured data storage for large tables.
HDFS: A distributed file system that provides high throughput access to application data.
Hive: A data warehouse infrastructure that provides data summarization and ad hoc querying.
MapReduce: A software framework for distributed processing of large data sets on compute clusters.
Pig: A high-level data-flow language and execution framework for parallel computation.
ZooKeeper: A high-performance coordination service for distributed applications.
HadoopHadoop 的体系架构的体系架构
Hadoop--HDFSHadoop--HDFS HDFS 的结构按照 GFS 设计 A GFS cluster consists of a single master and
multiple chunkservers and is accessed by multiple clie
nts
HDFSHDFS
• Fault-tolerant, 容错性• Run on commodity hardware,在通用的机器上运行• Scalable 可扩缩的
http://hadoop.apache.org/hdfs/docs/current/hdfs_design.html
http://labs.google.com/papers/gfs.html
1个namenode
多个datanodes
1111
HDFSHDFS
• NameNode–存贮 HDFS的元数据 (metadata)–管理文件系统的命名空间( namespace)» 创建、删除、移动、重命名文件和文件夹
–接收从 DataNode来的 Heartbeat 和 Blockreport
• DataNode–存贮数据块–执行从 Namenode来的文件操作命令–定时向 NameNode发送 Heartbeat和 Blockreport
HeartbeatHeartbeat和和 BlockreportBlockreport
NamenodeMetadata:<1,(1,2)><2,(2,3) ><3,(1,3)>
Datanode 1
Datanode 2
Datanode 3
1
1
3
3
2
2
1,3
1,2
2,3
1313
Data FlowData Flow
• File Read
13
1414
Data FlowData Flow
• File Write
14
MapReduceMapReduce 的原理的原理
•编程模型( program model),软件包• Map
–把要处理的数据组合成一个个的<key, value>对( pair)
• Reduce–把具有相同 key的 pair聚集在一起,计算一个新的 value,从而得到一个新的<key, value>并输出。
MapReduceMapReduce 的原理的原理
Data store 1 Data store nmap
(key 1, values...)
(key 2, values...)
(key 3, values...)
map
(key 1, values...)
(key 2, values...)
(key 3, values...)
Input key*value pairs
Input key*value pairs
== Barrier == : Aggregates intermediate values by output key
reduce reduce reduce
key 1, intermediate
values
key 2, intermediate
values
key 3, intermediate
values
final key 1 values
final key 2 values
final key 3 values
...
MapreduceMapreduce
控制
数据流
一个 Jobtracker
多个 tasktrackers
MapReduceMapReduce
• Jobtraker (Master) – 接收任务( job)的提交– 提供任务的监控 (monitoring)和控制 (control)– 把 job划分成多个 tasks,交给 Tasktracker执行,并管理这些 tasks的执行
• Tasktracker (Worker)– 管理单个 task的map任务和 reduce任务的执行
Word count:file0:
hello worldfile1:
hello mapreducefile2:
bye bye
Input files
file0
file2
file1
<0, “hello world”>
<0, “hello mapreduce”>
<0, “bye bye”>
<“hello”, 1>
<“world”, 1>
<“bye”, 2>
<“hello”, 1>
<“mpareduce”, 1><“hello”, 2>
<“world”, 1>
<“mapreduce”, 1>
<“bye”, 2>
files <line offset, line content> <word, count> <word, count> files
目录目录
• Hadoop简介– HDFS (Hadoop Distributed File System)– MapReduce
• Hive• Hadoop 的企业级应用
What is HIVEWhat is HIVE
• 数据仓库业务具有多样性、多变性和逻辑复杂性,传统的Parallel DBMSs 只能使用 SQL 语句,语言表达力不够应付现有的类似 google, facebook 等的数据仓库需求(若使用 UDF或 UDA 自己定义 aggregate ,则失去了其强大的优化功能),而自己定制的 maper和 reducer的代码较为低层比较繁琐且重用性也不好,所以就有了Hive ,提供一个类 SQL 的编程接口,简单又不失灵活性,且基于 map-reduce.
What is HIVEWhat is HIVE
• (论文翻译) hive 是一个基于 hadoop 的数据仓库。使用 hadoop-hdfs 作为数据存储层;提供类似 SQL 的语言( HQL ),通过 hadoop-mapreduce 完成数据计算;通过 HQL 语言提供使用者部分传统 RDBMS 一样的表格查询特性和分布式存储计算特性。
• (百科) hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 sql 查询功能,可以将 sql 语句转换为 MapReduce 任务进行运行。 其优点是学习成本低,可以通过类 SQL 语句快速实现简单的 MapReduce 统计,不必开发专门的MapReduce 应用,十分适合数据仓库的统计分析。
HIVEHIVE 架构架构
1 、 操作界面: CLI,Web, Thrift2 、 driver: hive 系统将用户操作转化为 mapreduce 计算的模块(重点)3 、 hadoop: hdfs+mapreduce4 、 metastore :存储元数据
HIVEHIVE 结合结合 HBaseHBase
reduce 阶段写入 HBase 的方式
map-only job 写入 HBase 的方式
HIVEHIVE 的实现的实现
• hive 的元数据存储在传统的 RDBMS 中,现在为mysql 中。采用 JDO ( JPOX )。
• 原因:访问这些 Metadata ,我们想要“很低的延时”,而存在 hdfs 中是无法满足。(元数据对hive 是相当重要的,因此一般要求有备份机制 )
• 使用:元数据都是在 HQL 语句编译的时候 ,就被生成一个 xml 文件(包含此次编译所有需要的元数据信息)存储在 hdfs 中,然后运行mapreduce时传递给mapper和 reducer 。(减少后期访问)
HIVEHIVE 查询的优化过程查询的优化过程
• GraphWalker遍历( walk) DAG 中所有的 Node ,并检查一个 Rule 是否满足,在满足的条件下回出发一个对应的Processor。 Dispatcher则维护 Rule到 Processor的映射,并进行 Rule 的匹配工作。
HIVEHIVE 查询的简单优化步骤查询的简单优化步骤• 1 、 列裁剪( Column pruning ):只有需要用到的列 才进行
输出• 2 、 谓词下推( Predicate pushdown ):尽早进行数据过滤 ,减少后续处理的数据量
• 3 、 分区裁剪( Partition pruning ):只读取满足分区条件的文件
• 4 、 map-join :对于 join 中一些小文件,可以在 map 阶段进行join 操作
• 5 、 join-reordering :将在 reducer 中进行 join 操作时的小table 放入内存 ,而大 table 通过 stream方式读取
• 6 、 Group-by 优化: 进行局部聚合进行优化(包括 hash-based和 sort-based ),对于 skew的 key( key的 row num和 size在 reduce时非常不均)可以进行两次map-reduce 的方式优化说明:基本上用于优化的提示( hint )都是一些配置项, map-join除外,需要具体在 HQL直接指定。
HIVEHIVE的的 physical planphysical plan 的生成的生成
• 根据上一步优化的结果,分解成一些 map/reduce 操作,并将最终结果(即一些 plan的xml 文件)写入到 hdfs 。
• 以论文的例子加以说明• A. Thusoo, J.S. Sarma, N. Jain, Z. Shao, P. Chakka, N. Zhang, S. Antony, and H. Liu, “Hive – A Petabyte Scale
Data Warehouse Using Hadoop,” Architecture.
FROM (SELECT a.status, b.school, b.gender FROM status_updates a JOIN profiles b ON (a.userid = b.userid AND a.ds='2009-03-20' )) subq1INSERT OVERWRITE TABLE gender_summary
PARTITION(ds='2009-03-20')SELECT subq1.gender, COUNT(1) GROUP BY subq1.genderINSERT OVERWRITE TABLE school_summary
PARTITION(ds='2009-03-20')SELECT subq1.school, COUNT(1) GROUP BY subq1.school
HIVEHIVE的的 physical planphysical plan 的生成的生成
The End
Thank you k