写在前面 自学的过程相当的痛苦。不过生命不息，努力不止。希望自学音视频的各位同仁，咱们一起努力。 如果您对音视频技术感兴趣，可以订阅我的专题:音视频专辑也可以关注我的简书账户...
发简信
IP属地：上海
-
《FFmpeg Basics》中文版-目录 -
《FFmpeg Basics》中文版-00-简介写在前面 如果您对音视频技术感兴趣，可以订阅我的专题:音视频专辑也可以关注我的简书账户： 张芳涛，我后期会发布更多的音视频以及图像处理方面的文章。 欢迎 亲爱的读者们，欢迎来...
-
Spark Streaming + Kafka + Redis状态管理 top100场景 Exactly Once最近面试蚂蚁金服一面的时候，和面试官聊项目问题的时候，发现我这边业务实现的top100场景好像没有实现exactly once语义，我们项目的offset是存储在zk中，...
-
内存简化图逻辑上而言是有问题的，executor的堆内内存是全部都分配给task来执行任务了，应该分为部分storage来持久化数据、shuffle storage用来进行shuffle操作的内存，最后才是task执行用的内存，依据应用情况来调整三者之间的比例关系达到最大化使用内存（当然Spark 1.6以后默认三者内存使用启用了动态调整策略）。
Spark on Yarn之Executor内存管理
本文1、2、3节介绍了Spark 内存相关之识，第4节描述了常见错误类型及产生原因并给出了解决方案。 1 堆内和堆外内存规划 Executor 的内存管理建立在 JVM 的内...
-
此简书用来发布Spark+AI的深夜学堂，每夜一更新！夜空中最亮的星：Spark！
-
Structured Streaming 材料2019-01-17 夜深了，，，大家经常抱怨网上大多的技术分享是关于Spark DStreams的，对建立在SQL优化器上的新一代Spark Streaming引擎Stru...
-
Spark Streaming 1.6 流式状态管理分析
Spark 1.6发布后，官方声称流式状态管理有10倍性能提升。这篇文章会详细介绍Spark Streaming里新的流式状态管理。 关于状态管理 在流式计算中，数据是持续不...
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
