前言
平时服务器托管网工作中主要用 YARN 模式,最近进行TPC测试用到了 Standalone 模式,便记录总结一下 Standalone 集群相关的配置。
集群管理类型
Spark 支持三种集群管理类型:
- Standalone – Spark附带的一个简单的集群管理器,可以轻松地设置集群。
- Apache Mesos – 一个通用的集群管理器,也可以运行HadoopMapReduce和服务应用程序。(已弃用)
- Hadoop YARN – Hadoop 3中的资源管理器。
- Kubernetes – 一个用于自动化容器化应用程序的部署、扩展和管理的开源系统。
官方文档:https://spark.apache.org/docs/latest/cluster-overview.html
官方文档
https://spark.apache.org/docs/latest/spark-standalone.html
安装包
因为TPC不支持 Spark3 ,所以用的 Spark2.4.8
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net