Spark 是繼 Hadoop 之后新一代的大數據分布式處理平臺。它是一個基于內存、容錯型的分布式計算引擎，與 Hadoop MapReduce 相比，計算速度要快100倍。 Spark 卓越的用戶體驗以及統一的技術堆棧基本上解決了大數據領域所有的核心問題，使得 Spark 迅速成為當前最為熱門的大數據基礎平臺。 除此之外，青云 QingCloud 提供的 Spark 還包括在線伸縮、監控和告警等功能，幫助您更好地管理集群。更多詳情請參看“ Spark 服務指南”。

集成 HDFS

青云 QingCloud 既提供純計算引擎的 Spark 集群，也提供和 Hadoop HDFS 集成的 Spark 集群。在創建 Spark 時可以選擇是否集成 Hadoop HDFS。

在線伸縮

青云的 Spark 集群支持橫向與縱向的在線伸縮， 而且橫向伸縮時，用戶的業務連續性不會中斷。

實時監控

青云提供了 Spark 節點的主機的監控信息，服務、應用級別的監控由 Spark、Hadoop 提供。 對主機的監控包括如下監控項：

• CPU
• 內存
• 硬盤使用率
• 硬盤 IOPS
• 硬盤吞吐量

監控告警

Spark 的監控告警策略會監控 Spark 節點，包括如下監控項：

• CPU：CPU 使用百分比
• 內存：內存使用百分比
• 硬盤：硬盤使用百分比

測試

Spark 創建完成之后可以測試其可用性。具體測試方法請參看“文檔”。