21 小时前 / 过往记忆大数据
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。以下是字节跳动数据仓库架构负责人郭俊的分享主题沉淀，《字节跳动在Spark SQL上的核心优化实践》。 团队介绍 数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如 Spark SQL / Druid 的二次开发和优化。 概括今......
2 天前 / sjf0115
作者：周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。 背景介绍SparkSQL的优越性能背后有两大技术支柱：Optimizer和Runtime。前者致力于寻找最优的执行计划，后者则致力于把既定的执行计划尽可能快地执行出来。Runtime的多种优化可概括为两个层面： 1. 全局优化。从提升全局资源利用率、消除数据倾斜、降低IO等角度做优化，包括自适应执行(Adaptive Execution), Shuffle Removal等。 2. 局部优化。优化具体的Task的执行效率......
16 天前 / 过往记忆大数据
本文来自于2019年10月15日-17日荷兰首都阿姆斯特丹举行的 SPARK + AI SUMMIT Europe 2019 会议，议题名为《Near Real Time Data Warehousing with Apache Spark and Delta Lake》，分享者 Jasper Groot。 今年数砖开源的重量级项目 Delta Lake（重磅 | Apache Spark 社区期待的 Delta Lake 开源了）已经被越来越多的公司使用，官方一直宣传 Delta Lake & Structed Streaming 是最好的搭配，本文正是介绍如何使用Delta Lake 和Structed Streaming构建近实时数仓。 本文 PPT请关注过往记忆大数据微信公众号，并回复data_warehouse关键字获取。本分......
20 天前 / sjf0115
作者：李呈祥，花名司麟)，阿里巴巴计算平台事业部EMR团队的高级技术专家，Apache Hive Committer， Apache Flink Committer，深度参与了Hadoop，Hive，Spark，Flink等开源项目的研发工作，对于SQL引擎，分布式系统有较为深入的了解和实践，目前主要专注于EMR产品中开源计算引擎的优化工作。 背景Count Distinct是SQL查询中经常使用的聚合统计方式，用于计算非重复结果的数目。由于需要去除重复结果，Count Distinct的计算通常非常耗时。 以如下查询为例，Count Distinct的实现方式主要有两种： SELECT region, COUNT(DISTINCT userId) ......
28 天前 / 过往记忆大数据
2019年10月22日上午 Databricks 宣布，已经完成了由安德森-霍洛维茨基金(Andreessen Horowitz)牵头的4亿美元F轮融资，参与融资的有微软(Microsoft)、Alkeon Capital Management、贝莱德(BlackRock)、Coatue Management、Dragoneer Investment Group、Geodesic、Green Bay Ventures、New Enterprise Associates、T. Rowe Price和Tiger Global Management。经过这次融资，Databricks 的估值高达62亿美元，相比2月份的27.5亿美元（经过2.5亿美元的一轮融资）有所提高，估值反了一倍！2019年 Databricks 第三季度的收入营业额达到2亿美元，收入同比增长......
33 天前 / 懒人yp
前言 external-shuffle-service是Spark里一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在K8s上并不能很好的运行。让我们来看看，在K8s上实现这个external shuffle service特性的最新进展吧。 如果你想在Kubernetes集群中运行Spark任务，那么你可能会对：如何在K8s上运行external-shuffle-service感兴趣。把Driver和Executor都当做容器，丢到K8s上（K8s集群则把他们当做一般的容器，和其他业务类app一样对待），这种模式，可以使得集群资源池归一，避免Spark一个资源......
44 天前 / 程序员武功秘籍
前言Spark是目前主流的分布式计算框架之一，本文谈在使用Spark进行计算时与结果正确性相关的一些issue的场景以及分析。 计算可以分为三个过程，数据读取，数据计算，数据写入，本文就从这三个部分来阐述可能遇到的问题以及规避方案(如有错误，请指正)。 数据读取首先，Spark在生产中最常用的使用场景就是Spark-SQL。在Spark-SQL中，使用Hive的Metastore进行元数据存储，因此在使用中，往往是Spark DataSource表和Hive表共存。 表类型表的类型，可以分为以下几种。 Hive内部表: 表不用指定location，直接存储在数据库对应的目录下，如果进行......
54 天前 / 数据叔
MapReduce 就像一台又慢又稳的老爷车，虽然距离 MapReduce 面市到现在已经过去了十几年的时间，但它始终没有被淘汰，任由大数据技术日新月异、蓬蓬勃勃、花里胡哨地发展，这个生态圈始终有它的一席之地。不过 Spark 的到来确实给了 MapReduce 不小的冲击，它比 MapReduce 理论上要快两个数量级，所以近几年不断有人讨论 Spark 是否可以完全替代 MapReduce ，但是为什么说是不断有人讨论呢？因为这些年 Spark 始终是无法完全取代 MapReduce 。我们今天关注的问题是Spark为什么比 MapReduce 快？如果没有看文章的标题，你是不是会脱口而出： “......
56 天前 / openio
财务需要进行物流总公司同各子公司间的计费及结算，每月初完成核算入账，既要完成对海量数据计费，又要完成对下游系统的下发。经过调研，Spark 提供了比 MapReduce 编程模型更为灵活的 DAG 编程模型，且支持多源异构数据处理，在提升了开发效率的同时，更能够在短时间内完成错综复杂的计费任务。 在实践的过程中，研发团队整理了一些问题解决的经验，供大家参考。 业务概述 业务系统将计费所需生产单据中相关字段、报价数据、主数据等进行数据清洗、分配并存储，财务计费系统根据各业务类型特征，按照计费引擎中流程、公式，进行计......
81 天前 / 秦夏
搞大数据的都知道 Spark，照例，我不会讲怎么用，也不打算讲怎么优化，而是想从 Spark 的核心数据结构的演进，来看看其中的一些设计和考虑，有什么是值得我们借鉴的。我想这些思想和理念才是更持久和通用的东西。 RDD和很多流行的开源项目一样，Spark 脱胎于一篇论文（文末阅读原文），而这篇论文的题目就是《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。光从这点就能看出来 RDD 在 Spark 中所处的核心位置。这很正常，正如你在无数场合听到人说数据结构和算法是最基础核心的东西。 ......
81 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容作者丨斌迪、HappyMint编辑丨Zandy 导语 本篇文章为大家带来spark面试指南，文内会有两种题型，问答题和代码题，题目大部分来自于网络上，有小部分是来自于工作中的总结，每个题目会给出一个参考答案。 为什么考察Spark？ Spark作为大数据组件中的执行引擎，具备以下优势特性。 1.高效性。内存计算下，Spark 比 MapReduce 快100倍。Spark使用最先进的DAG调度程序、查询优化程序和物理执行引擎，实现批量和流式数据的高性能。 2.易用性。Spark支持Java、Python和......
88 天前 / sjf0115
总第13篇 2019年 第9篇 背景： 大数据调度系统Azkaban的管理员在排查执行机内存泄露问题时，发现存在部分作业，尤其是某特定产品线开发人员提交的Spark程序被Yarn Kill后Driver主进程不退出。由于Driver进程不退出，占用提交机大量Linux内存无法释放。 问题现象：Azkaban调度系统上的任务已经是Killed状态 Spark进程(PID28036)为Running状态，占用内存3.269GB，没有退出 对应的Yarn作业ID：application_id 为Killed状态 现象总结: 存在一个Spark2.1.6作业，启动方式为Yarn-Client，对应的Application已经结束运行但是Spark作业仍未结束......
93 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......
100 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 为什么考察SQL？ 大数据分析工程师80%的时间都在与SQL打交道，通过SQL完成业务方的各种临时性需求分析和常规性报表统计。熟练的SQL技能能够大大提高工作效率。本文将SQL/SparkSql/HiveQL放在一起来梳理一份常见题型的面试题库。 面试题库 01SQL基础知识考察 对于面试初级数据分析师来说，SQL的面试重点会放在基础知识的考察，如果最基本的基础概念和语法都不能熟练回答出来的话，通过面试的几率就会很低。下面两张图是SQL基础概念......
103 天前 / sjf0115
图片来自网络 分享嘉宾：肖力涛拼多多资深算法工程师 编辑整理：Hoh Xil 内容来源：作者授权 出品社区：DataFun 注：欢迎转载，转载请注明出处 在使用 Spark 和 Spark Streaming 时，当我们将应用部署在集群上时，可能会碰到运行慢、占用过多资源、不稳定等问题，这时需要做一些优化才能达到最好的性能。有时候一个简单的优化可以起到化腐朽为神奇的作用，使得程序能够更加有效率，也更加节省资源。本文我们就来介绍一些能够提高应用性能的参数和配置。 另外需要指出的是，优化本身是一个具体性很强的事情，不同的应用及落地场景会有不......