企业架构分布式集群最终解决方案
集群:多台服务器在一起做同样的事情。
分布式:多台服务器在一起做不同的事情。
最终架构:实现负载均衡LB,高可用HA,数据库主从复服务器托管网制M-S,读写分离R-W,缓存中间件,memcached、redis;nosql[mongoDB]。
微服务概念。
如果所有的服务都在一起,就叫耦合性太高。单独拿出来。
服务器托管,北京服务器托管网服务器托管,服务器租用 http://www.fwqtg.net
一、开发调优 复用RDD并进行持久化 对于同一份数据的读取,避免创建多个RDD,尽可能复用,并且对于多次使用的RDD进行持久化,避免重复计算。 错误写法 val rdd1 = sc.textFile(“hello.txt”) rdd1.map(…).cou…