5 天前 / 过往记忆大数据
本文来自 SPARK + AI SUMMIT 2020北美会议，分享者来自字节跳动的郭俊。Bucket 在 Hive 和 Spark SQL 中普遍使用，用于消除 Join 或者 group-by-aggregate 场景下的 Shuffle 操作。本文主要介绍字节跳动在 Bucket 方面的优化。 本文主要从以下四个方面介绍： Spark SQL 在字节跳动的应用 什么是分桶 Spark 分桶的限制 字节跳动在分桶方面的优化 下面是 Spark SQL 在字节跳动的应用。 2016 年主要是小规模的测试阶段 2017 年用于处理 Ad-hoc工作负载 2018 年在生产环境下处理少量的 ETL 管道工作； 2019 年在生产环境下全面部署； 2020 年成为 DW 领域的主...
28 天前 / reesunhuang
分享嘉宾：陈迪豪第四范式架构师 编辑整理：刘璐 出品平台：第四范式天枢、DataFunTalk 导读：特征工程在推荐系统中有着举足轻重的作用，大规模特征工程处理的效率极大的影响了推荐系统线上的性能。第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎 FESQL，针对 AI 场景支持 SQL 接口，兼容 Spark 3.0 同时提供高性能的 Native 执行引擎。
46 天前 / b_aihe
RDD 的宽依赖和窄依赖宽依赖和窄依赖深度剖析图由于 RDD 是粗粒度的操作数据集，每个 Transformation 操作都会生成一个新的 RDD，所以 RDD 之间就会形成类似流水线的前后依赖关系；RDD 和它依赖的父 RDD（s）的关系有两种不同的类型，即窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。 窄依赖指的是子 RDD 只依赖于父 RDD 中一个固定数量的分区。 宽依赖指的是子 RDD 的每一个分区都依赖于父 RDD 的所有分区。
72 天前 / 过往记忆大数据
本文来自 Data Mechanics 的 CEO Jean-Yves Stephan 和 CTO Julien Dumazert 在 Spark Summit North America 2020 的 《Running Apache Spark on Kubernetes: Best Practices and Pitfalls》议题的分享。相关视频参见视频|在 Kubernetes 上运行 Spark 的最佳实践和陷阱，PPT 可以到你要的 Spark AI Summit 2020 PPT 我已经给你整理好了获取。 近年来，K8S 在业界越来越流行，由于其有很多优点，很多企业将应用部署到 K8S 中，Spark 从 2.3 版本开始支持使用 K8S 作为资源管理器，参见 https://issues.apache.org/jira/browse/SPARK-18278。
84 天前 / OPPO互联网技术
Spark SQL 小文件是指文件大小显著小于 hdfs block 块大小的的文件。过于繁多的小文件会给 HDFS 带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑战。 一般来说，通过 Hive 调度的 MR 任务都可以简单设置如下几个小文件合并的参数来解决任务产生的小文件问题： sethive.merge.mapfiles=true; sethive.merge.mapredfiles=true; sethive.merge.size.per.task=xxxx; sethive.merge.smallfiles.avgsize=xxx; 然而在我们将离线调度任务逐步从 Hive 迁移到 Spark 的过程中，由于 Spark 本身并不支持小文件合并功能，小文件问题日益突出...
92 天前 / Linx___
MongoSpark 为入口类，调用 MongoSpark.load，该方法返回一个 MongoRDD 类对象，Mongo Spark Connector 框架本质上就是一个大号的自定义 RDD，加了些自定义配置、适配几种分区器规则、Sql 的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析器也就搞明白了 Mongo Spark Connector 。 当前实现的分区器（Partitioner）：MongoPaginateByCountPartitioner基于总数的分页分区器 MongoPaginateBySizePartitioner基于大小的分页分区器 MongoSamplePartitioner基于采样的分区器 MongoShardedPartitioner基于分片的分区器 MongoSinglePar...
93 天前 / iyacontrol
首发于 kubernetes solutions 写文章在 Kubernetes 上集成 Argo 工作流和 sparkiyacontrol 专注云原生，活跃于多个开源项目。 在我的第一篇文章中，我谈到了 Argo CD。这次是 Argo Workflow，它又来自 Argo 项目，Kubernetes 上的 Spark，以及我们如何使两者一起工作。 Argo Workflow Argo Workflow 是一个云原生工作流引擎，我们可以在其中编排具有任务序列的作业（工作流中的每个步骤都作为容器）。使用工作流定义，我们可以使用 DAG 捕获任务之间的依赖关系。
99 天前 / 过往记忆大数据
原计划在 2019 年年底发布的 Apache Spark 3.0.0 今天终于赶在下周二举办的 Spark Summit AI 会议之前正式发布了！ Apache Spark 3.0.0 自 2018 年 10 月 02 日开发到目前已经经历了近 21 个月！这个版本的发布经历了两个预览版以及三次投票： 2019 年 11 月 06 日第一次预览版，参见 Preview release of Spark 3.0[1]2019 年 12 月 23 日第二次预览版，参见 Preview release of Spark 3.0[2]2020 年 03 月 21 日[VOTE] Apache Spark 3.0.0 RC1[3]2020 年 05 月 18 日[VOTE] Apache Spark 3.0 RC2[4]2020 年 06 月 06 日[vote] Apache Spark 3.0 RC3[5] Ap...
117 天前 / 过往记忆大数据
多年以来，社区一直在努力改进 Spark SQL 的查询优化器和规划器，以生成高质量的查询执行计划。最大的改进之一是基于成本的优化（CBO，cost-based optimization）框架，该框架收集并利用各种数据统计信息（如行数，不同值的数量，NULL 值，最大 / 最小值等）来帮助 Spark 选择更好的计划。这些基于成本的优化技术很好的例子就是选择正确的 Join 类型（broadcast hash join vs. sort merge join），在 hash join 的时候选择正确的连接顺序，或在多个 join 中调整 join 顺序。然而，过时的统计信息和不完善的基数估计可能导致次优查询计划。
129 天前 / 浪尖
hashjoin join 是作为业务开发绕不开的 SQL 话题，无论是传统的数据库 join，还是大数据里的 join。 做过 Spark/flink 流处理的应该都用过一种流表和维表的 join，维表对于 Spark 来说可以是 driver 端获取后广播到每个 Executor，然后在 executor 端执行流表 task 的时候 join，其实大多数是个 hashmap，而很多时候这个维表比较大会存储于 redis/hbase。Flink 进行维表 join 可以用的方式比较多了，比如直接 open 方法里从外部加载的静态 hashmap，这种就无法更新，因为 Flink 不像 Spark 可以每个批次或者若干批次加载一次维表。
134 天前 / 浪尖
读本文前，应该先读读昨天的文章 Spark join 种类 (>3 种)及 join 选择依据 每个框架产生都是为了解决一类问题，每个模块的优化也是为了解决一定的场景下的性能瓶颈。浪尖今天分享的关于 Spark 3.1 之后的自适应执行计划，主要针对以下几个场景，并且有百度率先研发的，不过社区之前一直没有采纳，spark 3.0 的预发布版本参数也是不全，到了 Spark 3.1 的 beta 版已经可用，浪尖已经完成了测试。 1.解决场景 Spark Adative 好几年前就开始提了，现在网络上流行的 spark 自适应执行计划也坑了不少人，因为 spark 官方并没有将自适应执行计划合并到主分支。
137 天前 / sjf0115
导言物化视图作为一种预计算的优化方式，广泛应用于传统数据库中，如 Oracle，MSSQL Server 等。随着大数据技术的普及，各类数仓及查询引擎在业务中扮演着越来越重要的数据分析角色，而物化视图作为数据查询的加速器，将极大增强用户在数据分析工作中的使用体验。本文将基于 SparkSQL（2.4.4） + Hive （2.3.6）， 介绍物化视图在 SparkSQL 中的实现及应用。 什么是物化视图物化视图主要用于预先计算并保存表连接或聚合等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，从而快速的得到结果。
145 天前 / 浪尖
1.ExternalSorter 简介 ExternalSorter 是用来排序及聚合 key-value 类型的数据。首先使用分区器将数据按照 key 进行分区，然后使用自定义的排序器在一个分区内对数据 key 进行排序。可以生成适合 shuffle 读取的分区文件。如果禁用 combiner，那么 value 的输入和输出类型要一致。注意：ExternalSorter 是一个比较通用的排序器，在 sort-based shuffle 中，可以用一些配置控制其一些特性，比如块儿压缩可以通过配置 spark.shuffle.compress 来开启及关闭。假如在 non-shuffle 场景下使用了 ExternalSorter，可能会需要重新读取该配置。
156 天前 / sjf0115
编译：抚月，阿里巴巴计算平台事业部 EMR 高级工程师，Apache HDFS Committer，目前从事开源大数据存储和优化方面的工作。 这篇博客会阐述一份关于 Apache Spark 的在 Scala UDF、 PySpark UDF 和 PySpark Pandas UDF 之间的性能评测报告。 Spark 提供了多种解决方案来应对复杂挑战， 但是我们面临了很多场景， 原生的函数不足以解决问题。因此，Spark 允许我们注册自定义函数（User-Defined Functions, 或者叫 UDFs） 在这篇文章， 我们会探索 Spark 的 UDF 的性能特点。
157 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 9000 字 题图 ssyer.com “Python 训练 VS 并行化预测，无痛人流般的解决方案，你值得拥有。” 理解本文需要有一定的技术基础，包括对于 Xgboost 的基本理解以及使用经验，基本的 Spark 开发能力，如果对于 Xgboost4j-spark 有一定的了解就更好了。 01 诉求背景 在这里，我就不做 XGB 的科普了，如果不清楚的，请自行谷歌，官网。 首先我们确定我们需要做的事情，那就是尝试在 Python 单机的环境下训练模型，获取到模型文件，然后加载在 Spark 环境中做并行预测，涉及到并行预测会用到 XGBoost4j-spark 框架。