什么是 SMR
SMR 是新一代云端大数据服务,是 SparkMR 的全新升级,能够提供计算、存储、分析、查询一站式全方位的大数据服务。所谓一站式大数据服务,是指 SMR 能够提供对数据的批量计算、流式计算与实时计算,并实现对计算结果的极速分析查询。
SMR 提供 Spark 与 MapReduce 两种数据处理框架,并由 YARN 作为资源调度系统。用户可以轻松实现三种不同的计算模式,即 Spark Standalone、Spark on YARN 和 MapReduce on YARN 三者之间的切换。
集成服务
山河大数据相关服务将会统一在 SMR 下。 目前已经集成了:
-
分布式文件系统 HDFS
-
集群资源管理系统 YARN
-
数据处理框架 Hadoop MapReduce、Spark 和 Flink
-
数据仓库工具 Hive
-
极速海量数据 OLAP 分析引擎 Kylin