24 天前 / 逗逗
导读：Spark SQL 是字节跳动内部最重要的查询引擎之一，它每天处理百万亿级数据，单任务 Shuffle 数据量可超过 200TB。不过因为 Spark 与其它系统混合部署，因此性能与稳定性问题 都是需要重点解决的。本文由字节跳动数据仓库架构负责人郭俊在 QCon 全球软件开发大会（上海站）2019 的演讲整理而成，主要分为四个部分：第一个部分是 Spark SQL 架构简介；第二部分介绍字节跳动在 Spark SQL 引擎上的优化实践；第三部分是字节跳动在 Spark Shuffle 稳定性提升与性能优化；第四部分是 Spark SQL 未来规划与展望。
53 天前 / sjf0115
前言 Join（连接）操作是大数据分析领域必不可少的操作，本文将从原理层面介绍 SparkSQL 支持的五大连接策略及其适用场景。通过本文的学习，你将会了解 Spark SQL 中五大连接策略的连接原理，并且学会根据不同的影响因素和不同的需求场景，选择合适的连接策略，从而更好地完成你的工作。五大连接策略 Spark SQL 内置了五种连接策略，分别如下所示：Broadcast Hash JoinShuffle Hash JoinShuffle Sort Merge JoinCartesian Product JoinBroadcast Nested Loop Join 这五种连接策略分别对应 SparkSQL 中五个物理操作符：BroadcastHashJoinExecShuffledHashJo...
54 天前 / sjf0115
供稿 |eBayCarmelTeam 作者 | 王刚 编辑 | 顾欣怡本文 5499 字，预计阅读时间 17 分钟更多干货请关注“eBay 技术荟”公众号 导读 Carmel 是 eBay 内部基于 Apache Spark 打造的一款 SQL-on-Hadoop 查询引擎。我们通过对 Apache Spark 的改进，为用户提供了一套高可用高性能的服务，用以满足 eBay 内部大量的分析型查询需求，如今单日查询量已接近 25 万。在生产中，我们发现制约查询执行性能的一个重要因素是 data skew（数据倾斜），Spark 在 3.0 的版本中引入了 skew join，用来解决在 join 过程中出现的 data skew 问题。
110 天前 / 数栈DTinsightu580540
导读： Spark SQL 有 RBO 和 CBO 两种优化方式，数栈为什么选择 CBO 作为优化方式？又是在数栈中怎么落地的？未来优化方式选择是什么，本期内容带你了解数栈在 Spark SQL 优化方式上的探索。 你能看到 Spark SQLCBO 选型背景 Spark SQLCBO 实现原理 数栈在 Spark SQLCBO 上的探索 作者 / 修竹 编辑 / 花夏 Spark SQL CBO 选型背景 Spark SQL 的优化器有两种优化方式：一种是基于规则的优化方式 (Rule-Based Optimizer，简称为 RBO)；另一种是基于代价的优化方式 (Cost-Based Optimizer，简称为 CBO)。
118 天前 / 逗逗
▲点击上方“小林玩大数据”关注公众号 回复“0”获取大数据面试突击资料 点击上方卡片进入小林玩大数据主页 然后点击右上角“设为星标” 比别人更快接收好文章 1. --sparksubmit --num-executors 该参数主要用于设置该应用总共需要多少 executors 来执行，Driver 在向集群资源管理器申请资源时需要根据此参数决定分配的 Executor 个数，并尽量满足所需。 在不带的情况下只会分配少量 Executor。这个值得设置还是要看分配的队列的资源情况，太少了无法充分利用集群资源，太多了则难以分配需要的资源。
155 天前 / sjf0115
背景因为业务需要，雪球数据团队基于 HDP 3.1.5(Hadoop 3.1.1+Hive 3.1.0+Tez 0.9.1)搭建了一个新的集群，HDP 3.1.5 默认使用 Hive3 on Tez 作为 ETL 计算引擎，但是在使用 Hive3 on Tez 中，我们遇到很多问题： 部分 SQL 执行失败，需要关闭掉容器复用或者向量化执行。部分 SQL 开启 CBO 优化之后的执行计划错误，导致结果出错，需要关闭 CBO 优化。还有一些时区不准、GroupBy with Limit 不准确等已经在新版本 fix 的 bug。极其个别复杂多级关联的 SQL，计算结果不准确，很难发现，需要通过修改 SQL 来解决。这些问题对数仓开发来说非常致命。
170 天前 / sjf0115
点击上方蓝字关注我们！ 在字节跳动内部，我们实现了一套全新的云原生 Spark History 服务—— UIService，相比开源的 SHS，UIService 存储占用和访问延迟均降低 90% 以上，目前 UIService 服务已经在字节跳动内部广泛使用，并且作为火山引擎湖仓一体分析服务 LAS（LakeHouse Analytics Service）的默认服务。业务背景 开源 Spark History Server 架构 为了能够更好理解本次重构的背景和意义，首先对原生 Spark History Server 原理做个简单的介绍。 开源 Spark History Server流程图 Spark History 建立在 Spark 事件（Spark Event）体系之上。
184 天前 / 逗逗
Spark0 前言大家好，我是小林。 今天是《大数据面试突击系列之 Spark》的第七篇，之前小林已经聊了，一个应用程序是如何将一个 application 转换为物理执行计划的，也介绍了是如何调度 task 的。 但是，还没有和大家聊清楚 Stage 与 Stage 之间是如何传递数据的。其实这个数据传递的过程就叫 Shuffle。 这篇主要和大家讲讲 Spark 的 shuffle 机制，为什么会有 shuffle ？shuffle 到底要解决什么问题？ Spark 系列往期文章： 第一篇：RDD 编程模型：延迟计算是怎么回事？ 第二篇：Spark 数据依赖图是啥？ 第三篇：Spark 进程模型与分布式部署：什么是分布式...
195 天前 / 逗逗
点击上方卡片进入五分钟学大数据主页 然后点击右上角 “设为星标” 比别人更快接收好文章 在 MapReduce 框架中， Shuffle 阶段是连接 Map 与 Reduce 之间的桥梁， Map 阶段通过 Shuffle 过程将数据输出到 Reduce 阶段中。由于 Shuffle 涉及磁盘的读写和网络 I/O，因此 Shuffle 性能的高低直接影响整个程序的性能。Spark 也有 Map 阶段和 Reduce 阶段，因此也会出现 Shuffle 。 Spark ShuffleSpark Shuffle 分为两种：一种是基于 Hash 的 Shuffle；另一种是基于 Sort 的 Shuffle。
211 天前 / sjf0115
本文我们将花点时间来回顾一下 Databricks 和 Apache Spark 在流数据处理方面所取得的巨大进步！2021 年，工程团队和开源贡献者在以下三个目标取得了一些进展： 降低延迟并改进有状态流处理；提高 Databricks 和 Spark Structured Streaming 工作负载的可观测性；改进资源分配和可伸缩性。 下面我们来简单地看下这些目标。 目标一：降低延迟并改进有状态流处理有两个新的关键特性专门用于降低有状态操作的延迟，以及对有状态 APIs 的改进。第一种是针对大型有状态操作的异步检查点（asynchronous checkpointing），它改进了传统的同步和延迟更高的设计。
212 天前 / sjf0115
前言 Apache Spark 是目前应用最广泛的大数据分析计算工具之一。它擅长于批处理和实时流处理，并支持机器学习、人工智能、自然语言处理和数据分析应用。随着 Spark 越来越受欢迎，使用量越来越大，狭义上的 Hadoop (MR) 技术栈正在收缩。另外，普遍的观点和实践经验证明，除了大数据相关的工作负载，Hadoop (YARN) 不具备相应的灵活性去跟更广泛的企业技术栈融合与集成。比如去承载一些在线业务，而这正是 Kubernetes（K8s) 所擅长的领域。事实上，Kubernetes 的出现为 Spark 的改进打开了一个新世界的大门，创造了更多机遇。
259 天前 / 逗逗
前几天有好几个朋友问我关于 spark 作业分配资源的问题：即在提交作业的时候，不知道该分配多少资源比较好？我的回答是靠经验，仔细想想靠经验这等于不是没说吗，总有一些方法论或者思路的吧。所以就有了这篇文章，下笔的时候着实是不知道该怎么写，所以在网上搜索了一下，看看大佬们是怎么回答的。赶巧了不是，还真发现 3 年前就有人问过这个问题。 看了下评论，我感觉我能看懂，但不知道朋友们是否能看懂，所以我想还是要再详细啰嗦一下吧 首先呢，spark 官网给我们提供了一些硬件层面的建议...
261 天前 / sjf0115
作者 ｜ 吴磊策划 ｜ 陈思专题介绍 2009 年，Spark 诞生于加州大学伯克利分校的 AMP 实验室（the Algorithms, Machines and People lab），并于 2010 年开源。2013 年，Spark 捐献给阿帕奇软件基金会（Apache Software Foundation），并于 2014 年成为 Apache 顶级项目。如今，十年光景已过，Spark 成为了大大小小企业与研究机构的常用工具之一，依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”，那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark：原理详解与开发实践》一定适合你！本文系...
263 天前 / sjf0115
作者 | 吴磊策划 | 陈思专题介绍：2009 年，Spark 诞生于加州大学伯克利分校的 AMP 实验室（the Algorithms, Machines and People lab），并于 2010 年开源。2013 年，Spark 捐献给阿帕奇软件基金会（Apache Software Foundation），并于 2014 年成为 Apache 顶级项目。如今，十年光景已过，Spark 成为了大大小小企业与研究机构的常用工具之一，依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”，那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark：原理详解与开发实践》一定适合你！本文系专...