spark shuffle
我们在前面的文章说过，所谓shuffle，就是spark RDD的一种宽依赖关系，父RDD的数据会发送给多个子RDD
spark中Map和Reduce概念
在Shuffle过程中.提供数据的称之为Map端(Shuffle Write)接收数据的称之为Reduce端(Shuffle Read)，在Spark的两个阶段中，总是前一个阶段产生一批Map提供数据，下一阶段产生一批Reduce接收数据
spark中提供了两类shufflemanager，分别是hashshufflemanager和sortshufflemanager
HashShuffleManager
数据按hash进行分组，下图中相同分组的数据颜色一致，相同分组的数据在reduce时通过网络发送到同一个地方
对同一个executor中的同一个分组但不同task产生的数据，task共享buffer缓冲区能减少网络io和写磁盘次数，提升性能
SortShuffleManager
SortShuffleManager的运行机制主要分为两种，一种普通运行机制，一种bypass运行机制
普通运行机制
内存数据写入磁盘后会汇聚到同一个文件中再发送给reduce节点，同时reduce节点任务通过索引文件确认该从整个文件中什么位置读取服务器托管
bypass运行机制
bypassi运行机制的触发条件如下：
1)shuffle服务器托管 map task数量小于
spark.shuffle.sort.bypassMergeThres
hold=200参数的值。
2)不是聚合类的shuffle算子（比如
reduceByKey).
同普通机制基本类同，区别在于，写入磁盘临时文件的时候不会在内存中进行排序而是直接写，最终合并为一个task一个最终文件，所以和普通模式IDE区别在于：
第一，磁盘写机制不同；
第二，不会进行排序。
也就是说，启用该机制的最大好处在于shuffle write过程中，不需要进行数据的排序操作，也就节省掉了这部分的性能开销
SortShuffle与hashShuffle对比
1.SortShuffle对比HashShuffle可以减少很多的磁盘文件以节省网络IO的开销
2.SortShuffle主要是对磁盘文件进行合并来进行文件数量的减少，同时两类Shuffle都需要经过内存缓冲区溢写磁盘的场景.所以可以得知，尽管Spark是内存迭代计算框架，但是内存迭代主要在窄依赖中.在宽依赖(Shuffle)中磁盘交互还是一个无可避免的情况.
所以，我们要尽量减少Shuffle的出现，不要进行无意义的Shuffle计算.
服务器托管，北京服务器托管，服务器租用 http://www.fwqtg.net
相关推荐: 如何在Windows中配置多个显示器？这里提供详细步骤
Windows可以通过多种方式使用多个显示器，扩展或复制主显示器。你甚至可以关闭主显示器。以下是如何使用简单的键盘快捷键更改辅助显示设置。 使用Windows+P投影菜单 要快速更改Windows 10处理多个显示器服务器托管网的方式，请按Windows+P。…
