Spark的JVM调优

Spark task执行算子RDD函数时会生成大量对象,这些对象会被放入年轻代中,当年轻代内存比较小时,会导致年轻代中Eden区和Survivor区频繁内存溢满,导致频繁的minor GC,而频繁的minorGC或导致一些存活的短声明周期(其实就是在后面用不到的对象)对象直接放入老年代中,而当老年代内存溢满是,则会导致Full GC 。full gc / minor gc，无论是快，还是慢，都会导致jvm的工作线程停止工作,简而言之，就是说，gc的时候，spark停止工作了。等着垃圾回收结束。

---

总而言之,上面的情况都是由内存不足引起的即内存不充足的时候，问题：

1、频繁minor gc，也会导致频繁spark停止工作

2、老年代囤积大量活跃对象（短生命周期的对象），导致频繁full gc，full gc时间很长，短则数十秒，长则数分钟，甚至数小时。可能导致spark长时间停止工作。

3、严重影响咱们的spark的性能和运行的速度。

---

如何增大内存?

Spark中,堆内存又被划分成了两块,一块是专门用来给RDD的cache,persist操作进行RDD缓存用的,另一块就是用来给Spark算子函数用的,存放函数中自己创建的对象默认情况下,给RDD的cache操作的内存占比是0.6,即百分之六十的内存用来给RDD做缓存用,但其实RDD并不需要这么大的内存,我们可以通过WEbUI查看每个stage中每个task运行的时间,GC时间等来判断是否发生了频繁的minorGC和fullGC,从而来调低这个比例   

---

调节方法：

spark.storage.memoryFraction，0.6 -> 0.5 -> 0.4 -> 0.2 默认是0.6

spark.shffule.memoryFraction 表示的是shuffle过程中一个task拉取上一个stage的task的数据进行聚合操作的能够占用的内存默认是0.2。在shuffle的时候，如果内存使用超过20%,那么数据会溢出到磁盘，这样就降低了效率。

---

这个参数调优建议：

   如果Spark作业中的RDD持久化操作较少，shuffle操作较多时，建议降低持久化操作的内存占比，提高shuffle操作的内存占比比例，避免shuffle过程中数据过多时内存不够用，必须溢写到磁盘上，降低了性能。此外，如果发现作业由于频繁的gc导致运行缓慢，意味着task执行用户代码的内存不够用，那么同样建议调低这个参数的值。

 

---

资源参数的调优，没有一个固定的值，需要根据自己的实际情况（包括Spark作业中的shuffle操作数量、RDD持久化操作数量以及spark web ui中显示的作业gc情况）来灵活的调优。

Executor堆外内存

当Spark处理超大数据量时(数十亿,百亿级别),executor的堆外内存可能会不够用,出现shuffle file can’t find, task lost,OOM等情况

默认情况下,这个堆外内存是300M,当运行超大数据量时,通常会出现问题,因此需要调节到1G,2G,4G等大小

调节方法必须在spark-submit提交脚本中设置而不能在程序中设置

--conf spark.yarn.executor.memoryOverhead=2048

GC引起的连接等待时长(调大超时时间)

---

Spark在处理超大数据量时,task可能会创建很大很多的对象,频繁的让JVM内存溢满,导致频繁GC,而前面提到过executor获取数据优先的从本地关联的blockmanager获取,如果没有的话,会通过transferService去远程连接其他executor的blockmanager,如果正好碰到那个executor垃圾回收GC操作，,那么程序就会卡住,spark默认网络连接时长是60s,当超过60s没有获取到数据,则直接宣告任务失败,也有可能DAGscheduler反复提交几次stage,TaskScheduler反复提交task,则会大大影响spark运行速度,所以可以考虑适当调节等待时长。

---

调节方式同调节堆外内存一样,必须在提交spark程序的脚本中设置

--conf spark.core.connection.ack.wait.timeout=300 executor没有挂，建立连接的时候发生了GC

那么在拉取数据的时候遇到GC

---

--conf spark.shuffle.io.maxRetries  增加重试次数
--conf spark.shuffle.io.retryWait  增加重试间隔时间

spark.network.timeout （默认120s）该参数对应到一下五个参数spark.core.connection.ack.wait.timeout, spark.storage.blockManagerSlaveTimeoutMs,

spark.shuffle.io.connectionTimeout,

spark.rpc.askTimeout

spark.rpc.lookupTimeout
---------------------

---

迪浮科技课程服务承诺：

1、免费重修：
学员缺课或者学校效果不理想，可以免费重修，确保课程内容完全掌握。重修过程中绝对不收取任何费用！
2、单独辅导：
如果学生在学习过程中，因各种原因无法跟班级进度同步，公司安排专家讲师一对一辅导，手把手带你成为IT精英！
3、自由实验：
清默网络有先进完善的实验中心，全天开放，实验机时不限，不断提高动手操作能力！
4、考试辅导：
学员考试前先通过清默内部模拟考试，技术确定达到考试要求并提供考前辅导及考试技巧讲解。
如果模拟考试未能通过，专家讲师会给予建议和辅导，合格后再参加正式考试，确保学员能高分通过认证考试。
5、企业实战项目：

即通过先进的设备完全搭建和企业项目完全一致的网络环境，把学习内容融会贯通并在实际项目中加以应用，以达到学员迅速掌握实际技能并弥补经验不足的目的，让学员的学习内容不再纸上谈兵，理论与实战完全吻合

---

咨询老师：郭老师

咨询电话：15056089769

咨询Q Q :1027831018