5 天前 / 比百事还可乐
▼ 关注「Flink 中文社区」，获取更多技术干货▼摘要：本由社区志愿者苗文婷整理，内容来源 LinkedIn 大数据高级开发工程师张晨娅在 Flink Forward Asia 2020 分享的《从 Spark 做批处理到 Flink 做流批一体》，主要内容为： 为什么要做流批一体？当前行业已有的解决方案和现状，优势和劣势探索生产实践场景的经验 Shuflle Service 在 Spark 和 Flink 上的对比，以及 Flink 社区后面可以考虑做的工作总结 Tips：FFA 2021 重磅开启，点击「阅读原文」即可报名～ GitHub 地址欢迎大家给Flink点赞送 star~ 一、为什么要做流批一体 做流批一体到底有哪些益处...
17 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新： Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用 Spark 推荐实战系列之 ALS 算法实现分析 Spark 中如何使用矩阵运算间接实现 i2iFP-Growth 算法原理、Spark 实现和应用介绍 Spark 推荐系列之 Word2vec 算法介绍、实现和应用说明 Spark 推荐实战系列之 KMeans 介绍和冷启动与兜底召回 Spark 推荐实战系列之 LR 的两种实现方式和多分类 LR 实战介绍更多精彩内容，请持续关注并星标「搜索与推荐 Wiki」 本文主要包含以下内容： 回归分析 什么是回归分析 回归分析算法分类 逻辑回归介绍 Sigmoid 函数 LR 为...
20 天前 / hivefans东杰
摘要本文结合实例详细阐明了 Spark 数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义 Partitioner，使用 Map 侧 Join 代替 Reduce 侧 Join，给倾斜 Key 加上随机前缀等。 为何要处理数据倾斜（Data Skew）什么是数据倾斜 对 Spark/Hadoop 这样的大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。 何谓数据倾斜？数据倾斜指的是，并行处理的数据集中，某一部分（如 Spark 或 Kafka 的一个 Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。
34 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新： Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用 Spark 推荐实战系列之 ALS 算法实现分析 Spark 中如何使用矩阵运算间接实现 i2iFP-Growth 算法原理、Spark 实现和应用介绍 Spark 推荐系列之 Word2vec 算法介绍、实现和应用说明 Spark 推荐实战系列之 KMeans 介绍和冷启动与兜底召回更多精彩内容，请持续关注「搜索与推荐 Wiki」！ 1.背景用户分群召回在推荐系统中应用也十分的广泛，可以解决部分用户冷启动问题，也可以作为一路补充召回进行使用。
51 天前 / HueiFeng
在大数据处理和人工智能时代，数据工厂（Data Factory）无疑是一个非常重要的大数据处理平台。市面上也有成熟的相关产品，比如 Azure Data Factory，不仅功能强大，而且依托微软的云计算平台 Azure，为大数据处理提供了强大的计算能力，让大数据处理变得更为稳定高效。由于工作中我的项目也与大数据处理相关，于是我就在思考，是否自己也可以设计打造一个数据工厂，以便寻求一些技术痛点的解决方案，并且引入一些有趣的新功能。
89 天前 / sjf0115
开源大数据社区 & 阿里云 EMR 系列直播 十一期主题：Spark 大数据处理最佳实践 讲师：简锋，阿里云 EMR 数据开发平台 负责人 内容框架：大数据概览 如何摆脱技术小白 Spark SQL 学习框架 EMR Studio 上的大数据最佳实践 直播回放：扫描文章底部二维码加入钉群观看回放 1 大数据概览 大数据处理 ETL (Data → Data) 大数据分析 BI (Data → Dashboard) 机器学习 AI (Data → Model) 2 如何摆脱技术小白 什么是技术小白？只懂表面，不懂本质 只懂得参考别人的 Spark 代码，不懂得 Spark 的内在机制...
117 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新：Spark 中如何使用矩阵运算间接实现 i2i Spark 推荐实战系列之 ALS 算法实现分析 Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用欢迎持续关注，本篇主要介绍频繁模式挖掘中 FP-Growth！1. 背景啤酒和尿布的故事相信大家都已经知道了，这其中对应的则是机器学习中「频繁挖掘」的概念，其实在推荐系统中「频繁挖掘」也经常被用来进行相关商品的挖掘推荐，这其中有点协同的意思，但是和协同又不一样。
132 天前 / 尹千觞
Spark SQL 的 Catalyst ，这部分真的很有意思，值得去仔细研究一番，今天先来说说 Spark 的一些扩展机制吧，上一次写 Spark，对其 SQL 的解析进行了一定的魔改，今天我们按套路来，使用砖厂为我们提供的机制，来扩展 Spark... 首先我们先来了解一下 Spark SQL 的整体执行流程，输入的查询先被解析成未关联元数据的逻辑计划，然后根据元数据和解析规则，生成逻辑计划，再经过优化规则，形成优化过的逻辑计划（RBO），将逻辑计划转换成物理计划在经过代价模型（CBO），输出真正的物理执行计划。 我们今天举三个扩展的例子，来进行说明。
146 天前 / 过往记忆大数据
在几乎所有处理复杂数据的领域，Spark 已经迅速成为数据和分析生命周期团队的事实上的分布式计算框架。Spark 3.0 最受期待的特性之一是新的自适应查询执行框架 (Adaptive Query Execution，AQE)，该框架解决了许多 Spark SQL 工作负载遇到的问题。AQE 在 2018 年初由英特尔和百度组成的团队最早实现。AQE 最初是在 Spark 2.4 中引入的， Spark 3.0 做了大量的完善和优化。另外，Spark 3.0 的动态分区修剪（Dynamic Partition Pruning， DPP）也为一些工作负载带来了性能提升。本文将详细介绍这两种优化的原理。
157 天前 / 雨后天空
本文主要包含以下几部分： 1.背景 2.Spark 支持的数据类型 2.1 Local Vector（本地向量） 2.2 Labeled point（带标签的点） 2.3 Local Matrix（本地矩阵） 2.4 Distributed Matrix（分布式矩阵） 2.4.4 BlockMatrix 3.相似度计算原理探索 3.1 相似度计算 3.2 公式拆解 3.3 矩阵并行 3.4 阅读源码 4.Spark 实现 Item 相似度计算 1.背景之前小编在计算两两用户的 item 重合度，根据 item 重合度去评估两个用户之间的相似度，根据条件进行过滤之后大概有 3000 个用户，但每个用户对应的 item 量参差不齐，有上百万的，有几千的，这样在去构建笛卡尔积的时候...
159 天前 / Thinkgamer
本系列主要是基于 Spark 的推荐算法实战系列，本文为第二篇，欢迎关注！ 协同过滤 (Collaborative Filtering)在推荐系统中应用的非常广，该算法的目标是去填充用户 - 物品评分矩阵中的缺失值，即未评分。该算法的 Spark 的 ML 包和 MLlib 包中均有实现。 ——文章概要 在之前的文章中介绍了 ALS 算法的原理（点击阅读），在这篇文章中主要介绍一下 ALS 算法在 Spark 中的实现。结合上篇文章看 spark 中的一些参数配置，在调参的过程中理解也会更加深刻！ 概述协同过滤 (Collaborative Filtering)在推荐系统中应用的非常广...
161 天前 / 知了一笑
一、Spark 概述 1、Spark 简介 Spark 是专为大规模数据处理而设计的，基于内存快速通用，可扩展的集群计算引擎，实现了高效的 DAG 执行引擎，可以通过基于内存来高效处理数据流，运算速度相比于 MapReduce 得到了显著的提高。 2、运行结构 Driver 运行 Spark 的 Applicaion 中 main()函数，会创建 SparkContext，SparkContext 负责和 Cluster-Manager 进行通信，并负责申请资源、任务分配和监控等。
180 天前 / 尹千觞
大家好久不见了，最近生活发生了很多变故，同时我也大病了一场，希望一切都尽快好起来吧。今天跟大家分享下 Spark 吧，谈谈如何修改 Spark SQL 解析，让其更符合你的业务逻辑。好，我们开始吧。.. 理论基础 ANTLR Antlr4 是一款开源的语法分析器生成工具，能够根据语法规则文件生成对应的语法分析器。现在很多流行的应用和开源项目里都有使用，比如 Hadoop、Hive 以及 Spark 等都在使用 ANTLR 来做语法分析。 ANTLR 语法识别一般分为二个阶段： 1.词法分析阶段 （lexical analysis) 对应的分析程序叫做 lexer ...
185 天前 / Thinkgamer
本系列主要是基于 Spark 的推荐算法实战系列，本文为首篇，欢迎关注！ 1.Swing 算法介绍 Swing 算法原理比较简单，是阿里早期使用到的一种召回算法，在阿里多个业务被验证过非常有效的一种召回方式，它认为 user-item-user 的结构比 itemCF 的单边结构更稳定，截止目前并没有公开的论文进行介绍和说明（可能是因为比较简单，阿里看不上哈哈），但是根据网上的各种资料，对该算法的原理进行介绍，如有错误，欢迎指正。 Swing 指的是秋千，例如用户和用户，都购买过同一件商品，则三者之间会构成一个类似秋千的关系图。
207 天前 / My-sunmy
进入主页，点击右上角“设为星标” 比别人更快接收好文章 Spark 调优之 RDD 算子调优不废话，直接进入正题！ 1. RDD 复用在对 RDD 进行算子时，要避免相同的算子和计算逻辑之下对 RDD 进行重复的计算，如下图所示： RDD 的重复计算对上图中的 RDD 计算架构进行修改，得到如下图所示的优化结果： RDD 架构优化 2. 尽早 filter 获取到初始 RDD 后，应该考虑尽早地过滤掉不需要的数据，进而减少对内存的占用，从而提升 Spark 作业的运行效率。