极客时间出品的专栏课《Spark性能调优实战》作者吴磊,价值59元现在免费分享。
课程介绍
本课程“Spark 性能调优实战”是专为想要提升Spark作业执行性能的数据工程师打造的精品课。由前FreeWheel机器学习团队负责人吴磊老师亲自授课,他通过多年的数据处理经验,精心梳理出一套实用的性能调优方法论。课程内容深入浅出,既包含Spark核心原理的讲解,又全面解析了Spark SQL的性能调优技巧。
课程模块设计巧妙,从原理篇到性能篇,再到实战篇,层层递进,帮助学员逐步建立起以性能为导向的开发习惯。在原理篇中,吴老师用生动的故事和类比,帮助学员快速掌握RDD、DAG、调度系统等核心概念。在性能篇中,吴老师针对Spark SQL的性能调优进行了重点讲解,让学员能够在实际工作中游刃有余地应对各种性能挑战。
此外,课程还提供了丰富的实战案例和实操指南,让学员能够在实际操作中巩固所学知识,并不断提升自己的实践能力。订阅本课程,你将获得深入浅出的Spark核心原理知识、全面解析的Spark SQL性能调优技巧以及实用的应用开发、配置项设置实操指南。无论你是初学者还是有一定经验的工程师,都能从这门课程中受益良多,实现自己的技能飞跃。
课程目录
│ ├── 01丨性能调优的必要性:Spark本身就很快,为啥还需要我调优?.m4a
│ ├── 01丨性能调优的必要性:Spark本身就很快,为啥还需要我调优?.pdf
│ ├── 02丨性能调优的本质:调优的手段五花八门,该从哪里入手?.m4a
│ ├── 02丨性能调优的本质:调优的手段五花八门,该从哪里入手?.pdf
│ ├── 开篇词丨Spark性能调优,你该掌握这些“套路”.m4a
│ └── 开篇词丨Spark性能调优,你该掌握这些“套路”.pdf
├── 02-原理篇 (5讲)
│ ├── 03丨RDD:为什么你必须要理解弹性分布式数据集?.m4a
│ ├── 03丨RDD:为什么你必须要理解弹性分布式数据集?.pdf
│ ├── 04丨DAG与流水线:到底啥叫“内存计算”?.m4a
│ ├── 04丨DAG与流水线:到底啥叫“内存计算”?.pdf
│ ├── 05丨调度系统:“数据不动代码动”到底是什么意思?.m4a
│ ├── 05丨调度系统:“数据不动代码动”到底是什么意思?.pdf
│ ├── 06丨存储系统:空间换时间,还是时间换空间?.m4a
│ ├── 06丨存储系统:空间换时间,还是时间换空间?.pdf
│ ├── 07丨内存管理基础:Spark如何高效利用有限的内存空间?.m4a
│ └── 07丨内存管理基础:Spark如何高效利用有限的内存空间?.pdf
├── 03-通用性能调优篇 (12讲)
│ ├── 08丨应用开发三原则:如何拓展自己的开发边界?.m4a
│ ├── 08丨应用开发三原则:如何拓展自己的开发边界?.pdf
│ ├── 09丨调优一筹莫展,配置项速查手册让你事半功倍!(上).m4a
│ ├── 09丨调优一筹莫展,配置项速查手册让你事半功倍!(上).pdf
│ ├── 10丨调优一筹莫展,配置项速查手册让你事半功倍!(下).m4a
│ ├── 10丨调优一筹莫展,配置项速查手册让你事半功倍!(下).pdf
│ ├── 11丨Shuffle的工作原理:为什么说Shuffle是一时无两的性能杀手?.m4a
│ ├── 11丨Shuffle的工作原理:为什么说Shuffle是一时无两的性能杀手?.pdf
│ ├── 12丨广播变量(一):克制Shuffle,如何一招制胜!.m4a
│ ├── 12丨广播变量(一):克制Shuffle,如何一招制胜!.pdf
│ ├── 13丨广播变量(二):有哪些途径让SparkSQL选择BroadcastJoins?.m4a
│ ├── 13丨广播变量(二):有哪些途径让SparkSQL选择BroadcastJoins?.pdf
│ ├── 14丨CPU视角:如何高效地利用CPU?.m4a
│ ├── 14丨CPU视角:如何高效地利用CPU?.pdf
│ ├── 15丨内存视角(一):如何最大化内存的使用效率?.m4a
│ ├── 15丨内存视角(一):如何最大化内存的使用效率?.pdf
│ ├── 16丨内存视角(二):如何有效避免Cache滥用?.m4a
│ ├── 16丨内存视角(二):如何有效避免Cache滥用?.pdf
│ ├── 17丨内存视角(三):OOM都是谁的锅?怎么破?.m4a
│ ├── 17丨内存视角(三):OOM都是谁的锅?怎么破?.pdf
│ ├── 18丨磁盘视角:如果内存无限大,磁盘还有用武之地吗?.m4a
│ ├── 18丨磁盘视角:如果内存无限大,磁盘还有用武之地吗?.pdf
│ ├── 19丨网络视角:如何有效降低网络开销?.m4a
│ └── 19丨网络视角:如何有效降低网络开销?.pdf
├── 04-Spark SQL 性能调优篇 (4讲)
│ ├── 20丨RDD和DataFrame:既生瑜、何生亮.m4a
│ ├── 20丨RDD和DataFrame:既生瑜、何生亮.pdf
│ ├── 21丨Catalyst逻辑计划:你的SQL语句是怎么被优化的?(上).m4a
│ ├── 21丨Catalyst逻辑计划:你的SQL语句是怎么被优化的?(上).pdf
│ ├── 22丨Catalyst物理计划:你的SQL语句是怎么被优化的(下)?.m4a
│ ├── 22丨Catalyst物理计划:你的SQL语句是怎么被优化的(下)?.pdf
│ ├── 23丨钨丝计划:Tungsten给开发者带来了哪些福报?.m4a
│ ├── 23丨钨丝计划:Tungsten给开发者带来了哪些福报?.pdf
│ ├── 24丨Spark3.m4a
│ ├── 24丨Spark3.pdf
│ ├── 25丨Spark3.m4a
│ ├── 25丨Spark3.pdf
│ ├── 26丨JoinHints指南:不同场景下,如何选择Join策略?.m4a
│ ├── 26丨JoinHints指南:不同场景下,如何选择Join策略?.pdf
│ ├── 27丨大表Join小表:广播变量容不下小表怎么办?.m4a
│ ├── 27丨大表Join小表:广播变量容不下小表怎么办?.pdf
│ ├── 28丨大表Join大表(一):什么是“分而治之”的调优思路?.m4a
│ ├── 28丨大表Join大表(一):什么是“分而治之”的调优思路?.pdf
│ ├── 29丨大表Join大表(二):什么是负隅顽抗的调优思路?.m4a
│ ├── 29丨大表Join大表(二):什么是负隅顽抗的调优思路?.pdf
│ ├── 30丨应用开发:北京市小客车(汽油车)摇号趋势分析.m4a
│ ├── 30丨应用开发:北京市小客车(汽油车)摇号趋势分析.pdf
│ ├── 31丨性能调优:手把手带你提升应用的执行性能.m4a
│ └── 31丨性能调优:手把手带你提升应用的执行性能.pdf
└── 05-结束语(2讲)
├── 结束语丨在时间面前,做一个笃定学习的人.m4a
└── 结束语丨在时间面前,做一个笃定学习的人.pdf
6 directories, 66 files
以上就是极客时间吴磊老师的专栏课《Spark性能调优实战》的详细介绍了。
本文由提供IT教程网提供,仅供学习交流使用,未经许可,禁止转载!
原课程地址:https://time.geekbang.org/column/intro/100073401,有能力的朋友请支持正版,谢谢!
评论(0)