7 天前 / 逗逗
前几天有好几个朋友问我关于 spark 作业分配资源的问题：即在提交作业的时候，不知道该分配多少资源比较好？我的回答是靠经验，仔细想想靠经验这等于不是没说吗，总有一些方法论或者思路的吧。所以就有了这篇文章，下笔的时候着实是不知道该怎么写，所以在网上搜索了一下，看看大佬们是怎么回答的。赶巧了不是，还真发现 3 年前就有人问过这个问题。 看了下评论，我感觉我能看懂，但不知道朋友们是否能看懂，所以我想还是要再详细啰嗦一下吧 首先呢，spark 官网给我们提供了一些硬件层面的建议...
9 天前 / sjf0115
作者 ｜ 吴磊策划 ｜ 陈思专题介绍 2009 年，Spark 诞生于加州大学伯克利分校的 AMP 实验室（the Algorithms, Machines and People lab），并于 2010 年开源。2013 年，Spark 捐献给阿帕奇软件基金会（Apache Software Foundation），并于 2014 年成为 Apache 顶级项目。如今，十年光景已过，Spark 成为了大大小小企业与研究机构的常用工具之一，依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”，那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark：原理详解与开发实践》一定适合你！本文系...
11 天前 / sjf0115
作者 | 吴磊策划 | 陈思专题介绍：2009 年，Spark 诞生于加州大学伯克利分校的 AMP 实验室（the Algorithms, Machines and People lab），并于 2010 年开源。2013 年，Spark 捐献给阿帕奇软件基金会（Apache Software Foundation），并于 2014 年成为 Apache 顶级项目。如今，十年光景已过，Spark 成为了大大小小企业与研究机构的常用工具之一，依旧深受不少开发人员的喜爱。如果你是初入江湖且希望了解、学习 Spark 的“小虾米”，那么 InfoQ 与 FreeWheel 技术专家吴磊合作的专题系列文章——《深入浅出 Spark：原理详解与开发实践》一定适合你！本文系专...
61 天前 / sjf0115
概述 Presto 最初设计是对数据仓库中的数据运行交互式查询，但现在它已经发展成为一个位于开放数据湖分析之上的统一 SQL 引擎，用于交互式和批处理工作负载，数据湖上的流行工作负载包括： 报告和仪表盘：这包括为内部和外部开发人员提供自定义报告以获取业务洞察力，以及许多使用 Presto 进行交互式 A/B 测试分析的组织。这个用例的典型特征是要求低延迟。它在非常高的 QPS 下需要数十到数百毫秒，毫不奇怪，这个场景几乎完全使用 Presto，而这正是 Presto 的设计目的。
65 天前 / sjf0115
作者|张兴超 编辑|林颖 供稿|ADI Carmel Team 本文共 3884 字，预计阅读时间 10 分钟 更多干货请关注“eBay 技术荟”公众号 导 读 Carmel 是 eBay 内部基于 Apache Spark 打造的一款 SQL-on-Hadoop 查询引擎。通过对 Apache Spark 的改进，我们为用户提供了一套高可用高性能的服务，以满足 eBay 内部大量分析型的查询需求（如今单日查询量已超过 30 万）。 在生产中，我们发现有很多包含非等值连接的查询。因为 BroadcastNestedLoop 的实现，这些查询会产生效率问题，而变得非常耗时。
89 天前 / sjf0115
引言：把基于 mapreduce 的离线 hiveSQL 任务迁移到 sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内 2000 左右的 hivesql 任务迁移到了 sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。 迁移背景 SQL 任务运行慢 Hive SQL 处理任务虽然较为稳定，但是其时效性已经达瓶颈，无法再进一步提升，同一个 SQL，Hive 比 Spark 执行的时间更长。 Spark SQL 的发展远超 HSQL 随着 Spark 以及其社区的不断发展，Spark SQL 本身技术也在不断成熟，Spark 在技术架构和性能上都展示出 Hive 无法比拟的优势。
97 天前 / 比百事还可乐
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本由社区志愿者苗文婷整理，内容来源 LinkedIn 大数据高级开发工程师张晨娅在 Flink Forward Asia 2020 分享的《从 Spark 做批处理到 Flink 做流批一体》，主要内容为： 为什么要做流批一体？当前行业已有的解决方案和现状，优势和劣势探索生产实践场景的经验 Shuflle Service 在 Spark 和 Flink 上的对比，以及 Flink 社区后面可以考虑做的工作总结 Tips：FFA 2021 重磅开启，点击「阅读原文」即可报名～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、为什么要做流批一体 做流批一体到底有哪些益处...
109 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新： Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用 Spark 推荐实战系列之 ALS 算法实现分析 Spark 中如何使用矩阵运算间接实现 i2iFP-Growth 算法原理、Spark 实现和应用介绍 Spark 推荐系列之 Word2vec 算法介绍、实现和应用说明 Spark 推荐实战系列之 KMeans 介绍和冷启动与兜底召回 Spark 推荐实战系列之 LR 的两种实现方式和多分类 LR 实战介绍更多精彩内容，请持续关注并星标「搜索与推荐 Wiki」 本文主要包含以下内容： 回归分析 什么是回归分析 回归分析算法分类 逻辑回归介绍 Sigmoid 函数 LR 为...
113 天前 / hivefans东杰
摘要本文结合实例详细阐明了 Spark 数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义 Partitioner，使用 Map 侧 Join 代替 Reduce 侧 Join，给倾斜 Key 加上随机前缀等。 为何要处理数据倾斜（Data Skew）什么是数据倾斜 对 Spark/Hadoop 这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。 何谓数据倾斜？数据倾斜指的是，并行处理的数据集中，某一部分（如 Spark 或 Kafka 的一个 Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。
126 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新： Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用 Spark 推荐实战系列之 ALS 算法实现分析 Spark 中如何使用矩阵运算间接实现 i2iFP-Growth 算法原理、Spark 实现和应用介绍 Spark 推荐系列之 Word2vec 算法介绍、实现和应用说明 Spark 推荐实战系列之 KMeans 介绍和冷启动与兜底召回更多精彩内容，请持续关注「搜索与推荐 Wiki」！ 1.背景用户分群召回在推荐系统中应用也十分的广泛，可以解决部分用户冷启动问题，也可以作为一路补充召回进行使用。
143 天前 / HueiFeng
在大数据处理和人工智能时代，数据工厂（Data Factory）无疑是一个非常重要的大数据处理平台。市面上也有成熟的相关产品，比如 Azure Data Factory，不仅功能强大，而且依托微软的云计算平台 Azure，为大数据处理提供了强大的计算能力，让大数据处理变得更为稳定高效。由于工作中我的项目也与大数据处理相关，于是我就在思考，是否自己也可以设计打造一个数据工厂，以便寻求一些技术痛点的解决方案，并且引入一些有趣的新功能。
181 天前 / sjf0115
开源大数据社区 & 阿里云 EMR 系列直播 十一期主题：Spark 大数据处理最佳实践 讲师：简锋，阿里云 EMR 数据开发平台 负责人 内容框架：大数据概览 如何摆脱技术小白 Spark SQL 学习框架 EMR Studio 上的大数据最佳实践 直播回放：扫描文章底部二维码加入钉群观看回放 1 大数据概览 大数据处理 ETL (Data → Data) 大数据分析 BI (Data → Dashboard) 机器学习 AI (Data → Model) 2 如何摆脱技术小白 什么是技术小白？只懂表面，不懂本质 只懂得参考别人的 Spark 代码，不懂得 Spark 的内在机制...
210 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新：Spark 中如何使用矩阵运算间接实现 i2i Spark 推荐实战系列之 ALS 算法实现分析 Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用欢迎持续关注，本篇主要介绍频繁模式挖掘中 FP-Growth！1. 背景啤酒和尿布的故事相信大家都已经知道了，这其中对应的则是机器学习中「频繁挖掘」的概念，其实在推荐系统中「频繁挖掘」也经常被用来进行相关商品的挖掘推荐，这其中有点协同的意思，但是和协同又不一样。
225 天前 / 尹千觞
Spark SQL 的 Catalyst ，这部分真的很有意思，值得去仔细研究一番，今天先来说说 Spark 的一些扩展机制吧，上一次写 Spark，对其 SQL 的解析进行了一定的魔改，今天我们按套路来，使用砖厂为我们提供的机制，来扩展 Spark... 首先我们先来了解一下 Spark SQL 的整体执行流程，输入的查询先被解析成未关联元数据的逻辑计划，然后根据元数据和解析规则，生成逻辑计划，再经过优化规则，形成优化过的逻辑计划（RBO），将逻辑计划转换成物理计划在经过代价模型（CBO），输出真正的物理执行计划。 我们今天举三个扩展的例子，来进行说明。
239 天前 / 过往记忆大数据
在几乎所有处理复杂数据的领域，Spark 已经迅速成为数据和分析生命周期团队的事实上的分布式计算框架。Spark 3.0 最受期待的特性之一是新的自适应查询执行框架 (Adaptive Query Execution，AQE)，该框架解决了许多 Spark SQL 工作负载遇到的问题。AQE 在 2018 年初由英特尔和百度组成的团队最早实现。AQE 最初是在 Spark 2.4 中引入的， Spark 3.0 做了大量的完善和优化。另外，Spark 3.0 的动态分区修剪（Dynamic Partition Pruning， DPP）也为一些工作负载带来了性能提升。本文将详细介绍这两种优化的原理。