8 天前 / sjf0115
开源大数据社区 & 阿里云 EMR 系列直播 十一期主题：Spark 大数据处理最佳实践 讲师：简锋，阿里云 EMR 数据开发平台 负责人 内容框架：大数据概览 如何摆脱技术小白 Spark SQL 学习框架 EMR Studio 上的大数据最佳实践 直播回放：扫描文章底部二维码加入钉群观看回放 1 大数据概览 大数据处理 ETL (Data → Data) 大数据分析 BI (Data → Dashboard) 机器学习 AI (Data → Model) 2 如何摆脱技术小白 什么是技术小白？只懂表面，不懂本质 只懂得参考别人的 Spark 代码，不懂得 Spark 的内在机制...
36 天前 / Thinkgamer
Spark 推荐实战系列目前已经更新：Spark 中如何使用矩阵运算间接实现 i2i Spark 推荐实战系列之 ALS 算法实现分析 Spark 推荐实战系列之 Swing 算法介绍、实现与在阿里飞猪的实战应用欢迎持续关注，本篇主要介绍频繁模式挖掘中 FP-Growth！1. 背景啤酒和尿布的故事相信大家都已经知道了，这其中对应的则是机器学习中「频繁挖掘」的概念，其实在推荐系统中「频繁挖掘」也经常被用来进行相关商品的挖掘推荐，这其中有点协同的意思，但是和协同又不一样。
51 天前 / 尹千觞
Spark SQL 的 Catalyst ，这部分真的很有意思，值得去仔细研究一番，今天先来说说 Spark 的一些扩展机制吧，上一次写 Spark，对其 SQL 的解析进行了一定的魔改，今天我们按套路来，使用砖厂为我们提供的机制，来扩展 Spark... 首先我们先来了解一下 Spark SQL 的整体执行流程，输入的查询先被解析成未关联元数据的逻辑计划，然后根据元数据和解析规则，生成逻辑计划，再经过优化规则，形成优化过的逻辑计划（RBO），将逻辑计划转换成物理计划在经过代价模型（CBO），输出真正的物理执行计划。 我们今天举三个扩展的例子，来进行说明。
65 天前 / 过往记忆大数据
在几乎所有处理复杂数据的领域，Spark 已经迅速成为数据和分析生命周期团队的事实上的分布式计算框架。Spark 3.0 最受期待的特性之一是新的自适应查询执行框架 (Adaptive Query Execution，AQE)，该框架解决了许多 Spark SQL 工作负载遇到的问题。AQE 在 2018 年初由英特尔和百度组成的团队最早实现。AQE 最初是在 Spark 2.4 中引入的， Spark 3.0 做了大量的完善和优化。另外，Spark 3.0 的动态分区修剪（Dynamic Partition Pruning， DPP）也为一些工作负载带来了性能提升。本文将详细介绍这两种优化的原理。
76 天前 / 雨后天空
本文主要包含以下几部分： 1.背景 2.Spark 支持的数据类型 2.1 Local Vector（本地向量） 2.2 Labeled point（带标签的点） 2.3 Local Matrix（本地矩阵） 2.4 Distributed Matrix（分布式矩阵） 2.4.4 BlockMatrix 3.相似度计算原理探索 3.1 相似度计算 3.2 公式拆解 3.3 矩阵并行 3.4 阅读源码 4.Spark 实现 Item 相似度计算 1.背景之前小编在计算两两用户的 item 重合度，根据 item 重合度去评估两个用户之间的相似度，根据条件进行过滤之后大概有 3000 个用户，但每个用户对应的 item 量参差不齐，有上百万的，有几千的，这样在去构建笛卡尔积的时候...
78 天前 / Thinkgamer
本系列主要是基于 Spark 的推荐算法实战系列，本文为第二篇，欢迎关注！ 协同过滤 (Collaborative Filtering)在推荐系统中应用的非常广，该算法的目标是去填充用户 - 物品评分矩阵中的缺失值，即未评分。该算法的 Spark 的 ML 包和 MLlib 包中均有实现。 ——文章概要 在之前的文章中介绍了 ALS 算法的原理（点击阅读），在这篇文章中主要介绍一下 ALS 算法在 Spark 中的实现。结合上篇文章看 spark 中的一些参数配置，在调参的过程中理解也会更加深刻！ 概述协同过滤 (Collaborative Filtering)在推荐系统中应用的非常广...
80 天前 / 知了一笑
一、Spark 概述 1、Spark 简介 Spark 是专为大规模数据处理而设计的，基于内存快速通用，可扩展的集群计算引擎，实现了高效的 DAG 执行引擎，可以通过基于内存来高效处理数据流，运算速度相比于 MapReduce 得到了显著的提高。 2、运行结构 Driver 运行 Spark 的 Applicaion 中 main()函数，会创建 SparkContext，SparkContext 负责和 Cluster-Manager 进行通信，并负责申请资源、任务分配和监控等。
99 天前 / 尹千觞
大家好久不见了，最近生活发生了很多变故，同时我也大病了一场，希望一切都尽快好起来吧。今天跟大家分享下 Spark 吧，谈谈如何修改 Spark SQL 解析，让其更符合你的业务逻辑。好，我们开始吧。.. 理论基础 ANTLR Antlr4 是一款开源的语法分析器生成工具，能够根据语法规则文件生成对应的语法分析器。现在很多流行的应用和开源项目里都有使用，比如 Hadoop、Hive 以及 Spark 等都在使用 ANTLR 来做语法分析。 ANTLR 语法识别一般分为二个阶段： 1.词法分析阶段 （lexical analysis) 对应的分析程序叫做 lexer ...
104 天前 / Thinkgamer
本系列主要是基于 Spark 的推荐算法实战系列，本文为首篇，欢迎关注！ 1.Swing 算法介绍 Swing 算法原理比较简单，是阿里早期使用到的一种召回算法，在阿里多个业务被验证过非常有效的一种召回方式，它认为 user-item-user 的结构比 itemCF 的单边结构更稳定，截止目前并没有公开的论文进行介绍和说明（可能是因为比较简单，阿里看不上哈哈），但是根据网上的各种资料，对该算法的原理进行介绍，如有错误，欢迎指正。 Swing 指的是秋千，例如用户和用户，都购买过同一件商品，则三者之间会构成一个类似秋千的关系图。
126 天前 / My-sunmy
进入主页，点击右上角“设为星标” 比别人更快接收好文章 Spark 调优之 RDD 算子调优不废话，直接进入正题！ 1. RDD 复用在对 RDD 进行算子时，要避免相同的算子和计算逻辑之下对 RDD 进行重复的计算，如下图所示： RDD 的重复计算对上图中的 RDD 计算架构进行修改，得到如下图所示的优化结果： RDD 架构优化 2. 尽早 filter 获取到初始 RDD 后，应该考虑尽早地过滤掉不需要的数据，进而减少对内存的占用，从而提升 Spark 作业的运行效率。
127 天前 / reesunhuang
网易有数大数据团队开源的 Kyuubi 和 Spark 社区的 Spark Thrift Server，都是通过纯 SQL 语言和JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入 HiveServer2 进行全面的分析。 1SparkThriftServer 介绍 Spark Thrift Server 是 Apache Spark 社区基于 HiveServer2 实现的一个 Thrift 服务，旨在无缝兼容 HiveServer2。它通过 JDBC 接口将 Spark SQL 的能力以纯 SQL 的方式提供给终端用户。
163 天前 / sjf0115
导读 唯品会离线平台 SPARK2.3.2 无缝升级到 SPARK3.0.1 版本，完全做到了对用户透明，目前正按着既定方案进行升级，新的版本 SPARK CORE/SQL/PySpark 进行了优化和 BugFix，并且 Merge 了 SPARK vip 2.3.2 重要 Patch，在性能和易用性上比旧版本都有较大提升。这篇文章介绍了我们升级 SPARK 过程中遇到的挑战和思考，希望能给大家带来启发。 Spark 应用现状 本次版本升级之前，唯品会大数据平台使用的主要版本为 SPARK2.3.2，并且在社区版本上做了增强和 BugFix，为用户提供 SparkSQL/SparkJar/PySpark/SparkStream/Spark ML。
171 天前 / u561252
前不久举办的 Kylin 五周年庆典中，热度最高的非这场“圆桌会谈”莫属。来自 Spark，Hudi，Clickhouse 以及 Kylin 等开源社区的大佬，来了一场跨越时差，跨越区域的“云”上对谈。 下一代云上数据分析产品的趋势都有哪些？他们都看好什么关键性技术呢？你想知道的都在本文啦！ 热点问题 湖仓一体和 Lakehouse 到底是什么？ 计算和存储分离已是大势所趋？ 到底是公有云，私有云还是混合云？ 数据上云，多云管理有何难点？ 数据治理，数据安全如何实现？ 一起来看看都有哪些大佬 主持人｜李扬：Kyligence CTO...
194 天前 / 逗逗
Spark 基础 Spark 特性 Spark 使用简练优雅的 Scala 语言编写，基于 Scala 提供了交互式编程体验，同时提供多种方便易用的 API。Spark 遵循“一个软件栈满足不同应用场景”的设计理念，逐渐形成了一套完整的生态系统（包括 Spark 提供内存计算框架、SQL 即席查询（Spark SQL）、流式计算（Spark Streaming）、机器学习（MLlib）、图计算（Graph X）等），Spark 可以部署在 yarn 资源管理器上，提供一站式大数据解决方案，可以同时支持批处理、流处理、交互式查询。
227 天前 / 过往记忆大数据
本文来自 11 月举办的Data + AI Summit 2020（原 Spark+AI Summit），主题为《Materialized Column- An Efficient Way to Optimize Queries on Nested Columns》的分享，作者为字节跳动的郭俊。 在数据仓库领域，使用复杂类型（如 map）中的一列或多列，或者将许多子字段放入其中的场景是非常常见的。这些操作可能会极大地影响查询性能，因为： 这些操作非常废 IO。比如我们有一个字段类型为 Map，其包含数十个子字段那么在读取这列时需要把整个列都读出来。并且 Spark 将遍历整个 map 获得目标键的值。在读取嵌套类型列时不能利用向量化读取。