17 小时前 / jonsonle
背景 Join在spark 项目里比较常见，相信很多同学在spark项目中都会用到，包括在58用户画像项目代码里也有一些应用，如果没有用好，将会造成程序运行得很慢或者挂掉。一提到join，很多人会认为其中必定有shuffle过程，其实这并不一定。通过一些操作，我们可以减少shuffle数据量甚至避免shuffle过程，从而减少网络传输，提高spark job的效率。下面将从spark core和spark sql两部分谈谈join。 Spark core中的join 先谈谈spark core中的join。 结合项目经验和网上参考资料，做了一些经验总结，我们在spark core中使用join这个算子......
10 天前 / 尹千觞
Spark已经在大数据分析领域确立了事实得霸主地位，而Flink则得到了阿里系的亲赖前途一片光明。我们今天会SparkSQL和FlinkSQL的执行流程进行一个梳理。并提供2个简单的例子，以供参考。 对比分析 Spark SQL 的核心是Catalyst优化器，首先将SQL处理成未优化过的逻辑计划（Unresolved Logical Plan），其只包括数据结构，不包含任何数据信息。然后通过解析，形成解析后的逻辑计划（[Analyzed] Logical Plan），这里节点上就会绑定各种信息。通过优化规则，形成优化后的逻辑计划（Optimized Logical Plan），这里会对一些低效的逻辑计划......
10 天前 / 大数据技术博客
在 GPU 资源的任务调度方面的空白，有机地融合了大数据处理和 AI 应用，扩展了 Spark 在深度学习、信号处理和各大数据应用的应用场景。这项工作的 issue 可以在SPARK-24615里面查看，相关的 SPIP（Spark Project Improvement Proposals） 文档可以参见SPIP: Accelerator-aware scheduling
11 天前 / 逗逗
文 | 张俊 on 大数据 在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Spark Shuffle 中具体是哪些地方会使用比较多的内存而有可能导致 OOM 呢？ 为此，本文将围绕以上问题梳理 Spark 内存管理和 Shuffle 过程中与内存使用相关的知识；然后，简要分析下在 Spark Shuffle 中有可能导致 OOM 的原因。 一、Spark 内存管理和消费模型在分析 Spark Shuffle 内存使用之前。我们首先了解下以下问题：当一个 Spark 子任务 (Task) 被分配到 Executor 上运行时，Spark 管......
14 天前 / 浪尖
最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况，不努力，不加班给自己喂粮的，没有足够量和时间积累的人很难在一个领域里有所建树。 主动学习，保持激情，不断提高～ 言归正传，大部分面试者被面试的spark问题估计都会集中于spark core，spark streaming和spark sql，至于mllib和gr......
19 天前 / oo_思维天空
Spark SQL User Impersonation 功能需要在hive-site.xml 中把hive.server2.enable.doAs设置为true我们使用的版本是 spark 2.4hadoop 2.7.2hive 1.2.1 我们来重现这个问题我们先来启动sts./sbin/start-thriftserver.sh --driver-memory 1G \--executor-memory 1G --num-executors 1 \--master yarn --deploy-mode client \--conf "spark.executor.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=4002" \--driver-java-options "-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=4001"我们使......
25 天前 / spark技术分享
spark君说： 昨天在公众号圈子里面发生了一件大事，就是咪蒙的公众号被注销了，有个比较出名的词叫含咪率，就是关注咪蒙公众号的微信好友数目/总微信好友数，通过这个词就可见咪蒙有多火了。 我以前个人在朋友圈中点开过咪蒙写的文章，作为一个逻辑感比较强的程序员，被其偷换概念和带节奏的手法恶心到了。这里之所以提这个事情，就是我观察到一个现象就是，咪蒙之所以那么火的原因就是擅长贩卖情感焦虑，这种手法很能带节奏，很有传播效果，还有一些大v比较擅长贩卖知识焦虑，前端时间还有人把逻辑思维卖课比作针对年轻人的权健，说的也......
29 天前 / 陆成
spark算子分为两大种，一种是transformation算子，另一种是action算子。 transformation又叫转换算子，它从一个RDD到另一个RDD是延迟执行的，不会马上触发作业的提交，只有在后续遇到某个action算子时才执行； action算子会触发SparkContext提交Job，并将数据输出spark系统。今天举例讲解一下action算子。 1) count 就是统计RDD中元素个数的算子。 举个栗子: valrdd = sc.parallelize( List("hello","world!","hi","beijing")) println(rdd.count()) 输出: 4 2) collect 把RDD中的元素提取到driver内存中，返回数组形式。 举个栗......
32 天前 / spark技术分享
Spark从2.3版本开始引入了持续流式处理模型，可将流处理延迟降低至毫秒级别，让 Structured Streaming 达到了一个里程碑式的高度。 下面的架构图中，既有微批处理，还有持续流处理，两种模式对用户是暴露的API是高度统一的： 今天我们着重看下两者的设计思路和区别点 在持续模式下，流处理器持续不断地从数据源拉取和处理数据，而不是每隔一段时间读取一个批次的数据，这样就可以及时地处理刚到达的数据。如下图所示，延迟被降低到毫秒级别，完全满足了极低延迟的要求。 持续模式目前支持的 Dataset 操作包括 Pr......
33 天前 / 尹千觞
spark从1.6开始引入，到现在2.4版本，pivot算子有了进一步增强，这使得后续无论是交给pandas继续做处理，还是交给R继续分析，都简化了不少。大家无论在使用pandas、numpy或是R的时候，首先会做的就是处理数据，尤其是将列表，转成成合适的形状。 列表 在说透视表之前，我们先看看，什么是列表，在传统观念上，列表的每一行代表一条记录，而每一列代表一个属性。 +-------+-------+-----+ | date|project|value| +-------+-------+-----+ |2018-01| p1| 100| |2018-01| p2| 200| |2018-01| p3| 300| |2018-02| p1| 1000| |201......
36 天前 / spark技术分享
Pivot 算子是 spark 1.6 版本开始引入的，在 spark2.4版本中功能做了增强，还是比较强大的，做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。spark 中的Pivot 可以根据枢轴点(Pivot Point) 把多行的值归并到一行数据的不同列，这个估计不太好理解，我们下面使用例子说明，看看pivot 这个算子在处理复杂数据时候的威力。 使用Pivot 来统计天气走势下面是西雅图的天气数据表，每行代表一天的天气最高值： DateTemp (°F)07-22-20188607-23-20189007-24-20189107-25-20189207-26-20189207-27-20188807-28-20188507-29-201894......
52 天前 / Thinkgamer
在机器学习领域，梯度下降算法分为三种 批量梯度下降算法（BGD，Batch gradient descent algorithm） 随机梯度下降算法（SGD，Stochastic gradient descent algorithm） 小批量梯度下降算法（MBGD，Mini-batch gradient descent algorithm） 批量梯度下降算法BGD是最原始的梯度下降算法，每一次迭代使用全部的样本，即权重的迭代公式中(公式中用θ代替θi)， 这里的m代表所有的样本，表示从第一个样本遍历到最后一个样本。 特点： 能达到全局最优解，易于并行实现 当样本数目很多时，训练过程缓慢 随机梯度下降算......
53 天前 / Thinkgamer
第一次看见随机梯度上升算法是看《机器学习实战》这本书，当时也是一知半解，只是大概知道和高等数学中的函数求导有一定的关系。下边我们就好好研究下随机梯度上升（下降）和梯度上升（下降）。 点击最后【阅读原文】，会有更好的阅读体验！
56 天前 / 浪尖
今天，这个话题开启的原因是很多球友或者粉丝都私聊过浪尖，关于Spark任务运行时发生不可序列话的问题。所以，浪尖今天就统一讲解一下这块的内容。 首先，要先读懂scala的闭包是怎么回事儿。可以参考我前面的文章 简单理解scala的闭包 接着就是要理解Spark 算子闭包生成及我们编写的闭包执行的原理。接下来我们就拿map和mapPartition两个算子来开启本文讲解： def map[U: ClassTag](f: T => U): RDD[U] = withScope { val cleanF = sc.clean(f) new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.map(cleanF)) } ......