16 天前 / 秦夏
搞大数据的都知道 Spark，照例，我不会讲怎么用，也不打算讲怎么优化，而是想从 Spark 的核心数据结构的演进，来看看其中的一些设计和考虑，有什么是值得我们借鉴的。我想这些思想和理念才是更持久和通用的东西。 RDD和很多流行的开源项目一样，Spark 脱胎于一篇论文（文末阅读原文），而这篇论文的题目就是《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。光从这点就能看出来 RDD 在 Spark 中所处的核心位置。这很正常，正如你在无数场合听到人说数据结构和算法是最基础核心的东西。 ......
17 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容作者丨斌迪、HappyMint编辑丨Zandy 导语 本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案。 为什么考察Spark？ Spark作为大数据组件中的执行引擎，具备以下优势特性。 1.高效性。内存计算下，Spark 比 MapReduce 快100倍。Spark使用最先进的DAG调度程序、查询优化程序和物理执行引擎，实现批量和流式数据的高性能。 2.易用性。Spark支持Java、Python和......
24 天前 / sjf0115
总第13篇 2019年 第9篇 背景： 大数据调度系统Azkaban的管理员在排查执行机内存泄露问题时，发现存在部分作业，尤其是某特定产品线开发人员提交的Spark程序被Yarn Kill后Driver主进程不退出。由于Driver进程不退出，占用提交机大量Linux内存无法释放。 问题现象：Azkaban调度系统上的任务已经是Killed状态 Spark进程(PID28036)为Running状态，占用内存3.269GB，没有退出 对应的Yarn作业ID：application_id 为Killed状态 现象总结: 存在一个Spark2.1.6作业，启动方式为Yarn-Client，对应的Application已经结束运行但是Spark作业仍未结束......
28 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......
36 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 为什么考察SQL？ 大数据分析工程师80%的时间都在与SQL打交道，通过SQL完成业务方的各种临时性需求分析和常规性报表统计。熟练的SQL技能能够大大提高工作效率。本文将SQL/SparkSql/HiveQL放在一起来梳理一份常见题型的面试题库。 面试题库 01SQL基础知识考察 对于面试初级数据分析师来说，SQL的面试重点会放在基础知识的考察，如果最基本的基础概念和语法都不能熟练回答出来的话，通过面试的几率就会很低。下面两张图是SQL基础概念......
39 天前 / sjf0115
图片来自网络 分享嘉宾：肖力涛拼多多资深算法工程师 编辑整理：Hoh Xil 内容来源：作者授权 出品社区：DataFun 注：欢迎转载，转载请注明出处 在使用 Spark 和 Spark Streaming 时，当我们将应用部署在集群上时，可能会碰到运行慢、占用过多资源、不稳定等问题，这时需要做一些优化才能达到最好的性能。有时候一个简单的优化可以起到化腐朽为神奇的作用，使得程序能够更加有效率，也更加节省资源。本文我们就来介绍一些能够提高应用性能的参数和配置。 另外需要指出的是，优化本身是一个具体性很强的事情，不同的应用及落地场景会有不......
41 天前 / sjf0115
作者: 陶克路，花名敌珐，阿里巴巴技术专家。Apache Pulsar 等开源软件 Contributor。技术领域包括大数据和云原生技术栈，目前致力于构建大数据领域业界领先的 APM 产品。 云原生时代，Kubernetes 的重要性日益凸显，这篇文章以 Spark 为例来看一下大数据生态 on Kubernetes 生态的现状与挑战。 1. Standalone 模式Spark 运行在 Kubernetes 集群上的第一种可行方式是将 Spark 以 Standalone 模式运行，但是很快社区就提出使用 Kubernetes 原生 Scheduler 的运行模式，也就是 Native 的模式。关于 Standalone 模式这里就没有继续讨论的必要......
49 天前 / 大叔据
今天开始重新写这个系列的文章，已经忘记距离上一次更新有多久了，要不是有童鞋们催更，我都要遗忘这个系列了。言归正传，这次我来讲下spark，先从基础的讲起，不要嫌简单，讲到后面我会讲很底层的东西包括源码，懂的人就先当作是复习一下吧。和之前一样每一篇的内容不会太多，不会占用你太多的时间，但是希望看完能都能有收获。 spark的抽象数据集包括RDD、DataFrame、Dataset,其实就是三种API，这一篇会帮大家理一下这几个东西的异同，适用场景等等。 RDD 首先RDD是spark最早提供给开发者的一种API，RDD即 Resilient Distri......
58 天前 / 大数据手稿笔记
这两天在测试环境提交 Spark Streaming 任务时，遇到了一个 JDK 版本问题导致 job 一直提交失败。 我们使用的组件版本： 1Spark2.1 2Elasticsearch6.3.2 3JDK1.8.0_162 查看 ApplicationMaster 日志，找到报错信息： java.lang.UnsupportedClassVersionError:org/elasticsearch/client/RestHighLevelClient: Unsupportedmajor.minorversion52.0 没错，一看便知和 JDK 版本有关系。因为任务是输出到 ES，起初猜测是 ES 对 JDK 要求高，节点环境中的 JDK 低了、不能满足 ES 要求。 还是到 ES 官网查看了下，官网文档针对 ......
80 天前 / sjf0115
本文来自6月16日上海 Spark+AI 16th Meetup，参见 https://www.slidestalk.com/m/35。分享者白泉，字节跳动数据平台工程师，专注于Spark/Hive在企业内的平台化服务化建设以及Spark SQL引擎的优化。 面对大量复杂的数据分析需求，提供一套稳定、高效、便捷的企业级查询分析服务具有重大意义。本次演讲介绍了字节跳动基于SparkSQL建设大数据查询统一服务TQS（Toutiao Query Service）的一些实践以及在执行计划调优、数据读取剪枝、SQL兼容性等方面对SparkSQL引擎的一些优化。 本文 PPT 下载：https://www.slidestalk.com/s/SparkSQL_in_ByteDance ......
85 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 本文重点参考文章《Scala vs. Python for Apache Spark》， 链接传送门：https://www.dezyre.com/article/scala-vs-python-for-apache-/213， 在部分内容翻译的基础上融入了笔者的些许理解，有兴趣的同学也可以看看原文。 2015年前后，互联网行业中的“大数据”概念掀起一股热潮。 而Apache Spark作为类Hadoop MapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人......
87 天前 / 浪尖
有人说spark的代码不优雅，这个浪尖就忍不了了。实际上，说spark代码不优雅的主要是对scala不熟悉，spark代码我觉得还是很赞的，最值得阅读的大数据框架之一。 今天这篇文章不是为了争辩Spark 代码优雅与否，主要是讲一下理解了spark源码之后我们能使用的一些小技巧吧。 spark 使用的时候，总有些需求比较另类吧，比如有球友问过这样一个需求： 浪尖，我想要在driver端获取executor执行task返回的结果，比如task是个规则引擎，我想知道每条规则命中了几条数据，请问这个怎么做呢？ 这个是不是很骚气，也很常见，按理说你输出之后，在mysql......
87 天前 / sjf0115
在大数据分析中，窗口函数最常见的应用场景就是对数据进行分组后，求组内数据topN的需求，如果没有窗口函数，实现这样一个需求还是比较复杂的，不过现在大多数标准SQL中都支持这样的功能，今天我们就来学习下如何在spark sql使用窗口函数来完成一个分组求TopN的需求。 思路分析： 在spark sql中有两种方式可以实现： （1）使用纯spark sql的方式。 （2）spark的编程api来实现。 虽然有两种形式，但底层原理都一样，借助了spark里面的window算子，我们先来看下纯sql的实现方式，其代码如下： def main(args: Array[String]): Unit = { ......
88 天前 / gongyouliu
本文为《大数据分析师入门课程》系列的第9篇，在本系列的第8篇-Spark基础中，已经对Spark做了一个入门介绍，在此基础上本篇拎出Spark SQL，主要站在使用者的角度来进行讲解，需要注意的是本文中的例子的代码均使用Scala语言。 主要包括以下内容： 你该了解的Spark SQL 简单入门操作 不得不说的数据源 一 你该了解的Spark SQL 1.什么是Spark SQL？ Spark SQL是Spark专门用来处理结构化数据的模块，是Spark的核心组件，在1.0时发布。 SparkSQL替代的是HIVE的查询引擎，HIVE的默认引擎查询效率低......