2 天前 / Thinkgamer
本系列主要是基于 Spark 的推荐算法实战系列，本文为首篇，欢迎关注！ 1.Swing 算法介绍 Swing 算法原理比较简单，是阿里早期使用到的一种召回算法，在阿里多个业务被验证过非常有效的一种召回方式，它认为 user-item-user 的结构比 itemCF 的单边结构更稳定，截止目前并没有公开的论文进行介绍和说明（可能是因为比较简单，阿里看不上哈哈），但是根据网上的各种资料，对该算法的原理进行介绍，如有错误，欢迎指正。 Swing 指的是秋千，例如用户和用户，都购买过同一件商品，则三者之间会构成一个类似秋千的关系图。
24 天前 / My-sunmy
进入主页，点击右上角“设为星标” 比别人更快接收好文章 Spark 调优之 RDD 算子调优不废话，直接进入正题！ 1. RDD 复用在对 RDD 进行算子时，要避免相同的算子和计算逻辑之下对 RDD 进行重复的计算，如下图所示： RDD 的重复计算对上图中的 RDD 计算架构进行修改，得到如下图所示的优化结果： RDD 架构优化 2. 尽早 filter 获取到初始 RDD 后，应该考虑尽早地过滤掉不需要的数据，进而减少对内存的占用，从而提升 Spark 作业的运行效率。
25 天前 / reesunhuang
网易有数大数据团队开源的 Kyuubi 和 Spark 社区的 Spark Thrift Server，都是通过纯 SQL 语言和JDBC 接口的方式降低大数据使用门槛的项目。本文从企业大数据应用场景关注的问题出发，对比了 Kyuubi 与 Spark Thrift Server 的差异与优劣，并引入 HiveServer2 进行全面的分析。 1SparkThriftServer 介绍 Spark Thrift Server 是 Apache Spark 社区基于 HiveServer2 实现的一个 Thrift 服务，旨在无缝兼容 HiveServer2。它通过 JDBC 接口将 Spark SQL 的能力以纯 SQL 的方式提供给终端用户。
61 天前 / sjf0115
导读 唯品会离线平台 SPARK2.3.2 无缝升级到 SPARK3.0.1 版本，完全做到了对用户透明，目前正按着既定方案进行升级，新的版本 SPARK CORE/SQL/PySpark 进行了优化和 BugFix，并且 Merge 了 SPARK vip 2.3.2 重要 Patch，在性能和易用性上比旧版本都有较大提升。这篇文章介绍了我们升级 SPARK 过程中遇到的挑战和思考，希望能给大家带来启发。 Spark 应用现状 本次版本升级之前，唯品会大数据平台使用的主要版本为 SPARK2.3.2，并且在社区版本上做了增强和 BugFix，为用户提供 SparkSQL/SparkJar/PySpark/SparkStream/Spark ML。
69 天前 / u561252
前不久举办的 Kylin 五周年庆典中，热度最高的非这场“圆桌会谈”莫属。来自 Spark，Hudi，Clickhouse 以及 Kylin 等开源社区的大佬，来了一场跨越时差，跨越区域的“云”上对谈。 下一代云上数据分析产品的趋势都有哪些？他们都看好什么关键性技术呢？你想知道的都在本文啦！ 热点问题 湖仓一体和 Lakehouse 到底是什么？ 计算和存储分离已是大势所趋？ 到底是公有云，私有云还是混合云？ 数据上云，多云管理有何难点？ 数据治理，数据安全如何实现？ 一起来看看都有哪些大佬 主持人｜李扬：Kyligence CTO...
92 天前 / 逗逗
Spark 基础 Spark 特性 Spark 使用简练优雅的 Scala 语言编写，基于 Scala 提供了交互式编程体验，同时提供多种方便易用的 API。Spark 遵循“一个软件栈满足不同应用场景”的设计理念，逐渐形成了一套完整的生态系统（包括 Spark 提供内存计算框架、SQL 即席查询（Spark SQL）、流式计算（Spark Streaming）、机器学习（MLlib）、图计算（Graph X）等），Spark 可以部署在 yarn 资源管理器上，提供一站式大数据解决方案，可以同时支持批处理、流处理、交互式查询。
125 天前 / 过往记忆大数据
本文来自 11 月举办的Data + AI Summit 2020（原 Spark+AI Summit），主题为《Materialized Column- An Efficient Way to Optimize Queries on Nested Columns》的分享，作者为字节跳动的郭俊。 在数据仓库领域，使用复杂类型（如 map）中的一列或多列，或者将许多子字段放入其中的场景是非常常见的。这些操作可能会极大地影响查询性能，因为： 这些操作非常废 IO。比如我们有一个字段类型为 Map，其包含数十个子字段那么在读取这列时需要把整个列都读出来。并且 Spark 将遍历整个 map 获得目标键的值。在读取嵌套类型列时不能利用向量化读取。
141 天前 / 逗逗
导语 |Apache Spark 是专为大规模数据处理而设计的快速通用计算引擎，在数据挖掘和机器学习领域有着广泛的应用，现在也已形成一个高速发展、应用广泛的生态系统。本文将为大家详细介绍 Spark 的核心技术原理，希望与大家一同交流。文章作者：熊峰，腾讯大数据研发工程师。 一、Spark 介绍及生态 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架，目前已成为 Apache 软件基金会的顶级开源项目。至于为什么我们要学习 Spark，可以总结为下面三点： 1. Spark 相对于 hadoop 的优势 （1）高性能 Spark 具有 hadoop MR 所有的优点...
143 天前 / 过往记忆大数据
本文来自上周（2020-11-17 至 2020-11-19）举办的Data + AI Summit 2020（原 Spark+AI Summit），主题为《Spark SQL Beyond Official Documentation》的分享，作者 David Vrba，是 Socialbakers 的高级机器学习工程师。 实现高效的 Spark 应用程序并获得最大的性能为目标，通常需要官方文档之外的知识。理解 Spark 的内部流程和特性有助于根据内部优化设计查询，从而在执行期间实现高效率。在这次演讲中，我们将重点讨论 Spark SQL 的一些官方文档中没有很好描述的内部特性，重点在一些基本示例上解释这些特性，同时分享一些性能技巧。
149 天前 / 浪尖
一：资源配置 一般企业中，物理机器的 cpu:内存基本上都是 1:4+，比如机器 24core，一般有 128GB 及以上内存；48core，一般有 256GB 及以上内存。 减去系统及 hdfs 所需 core，2 个吧；减去系统的 2-4GB，减去存储 hdfs 的相关的假设 20GB 吧 (hbase 需要的更多点，但是一般 hbase 会有独立集群)。 24core，128GB 的机器应该还剩还有 20core，100GB。 这种情况下，很明显，你 1core 对应 5GB 内存才能最大化利用机器，否则往往 cpu 没了，内存还有大把，应用还容易出现 gc 问题。
152 天前 / 浪尖
一 引用基本概念 如下面，定义两个变量 num，str，存储模型大致如下图： int num = 6;String str = “浪尖聊大数据”; 变量 num 值直接从 6 修改为了 8；变量 str 只是修改了其保存的地址，从 0x88 修改为 0x86，对象“浪尖聊大数据”本身还在内存中，并没有被修改。只是内存中新增了对象“浪尖是帅哥”。 二 值传递 & 引用传递 举例说明引用传递和值传递： 第一个栗子：基本类型 void foo(int value) { value = 88;}foo(num); // num 没有被改变 第二个栗子：没有提供改变自身方法的引用类型 void foo(String text) {text="mac";}foo(str); // str 也...
158 天前 / 开发者头条
大家好，我是周刊菌。 「码农周刊 VIP 会员」推出 29 周啦！感谢亲们的大力支持！第 029 期「码农周刊 VIP 会员专属邮件周报」已发送完毕，请注意查收。 告诉大家一个好消息：已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」，感谢肯定！ 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 「码农周刊 VIP 会员」是什么？ 简介版 码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 加入「码农周刊 VIP...
178 天前 / sjf0115
本文来自IBM 东京研究院的高级技术人员 Kazuaki Ishizaki 博士在 Spark Summit North America 2020 的 《SQL Performance Improvements at a Glance in Apache Spark 3.0》议题的分享，本文视频参见今天的推文第三条。PPT请关注过往记忆大数据并后台回复 sparksql3获取。 Spark 3.0正式版在上个月已经发布了，其中更新了很多功能，参见过往记忆大数据的Apache Spark 3.0.0 正式版终于发布了，重要特性全面解析。本文将介绍 Spark 3.0 在 SQL 方面的优化。
205 天前 / 过往记忆大数据
本文来自 SPARK + AI SUMMIT 2020北美会议，分享者来自字节跳动的郭俊。Bucket 在 Hive 和 Spark SQL 中普遍使用，用于消除 Join 或者 group-by-aggregate 场景下的 Shuffle 操作。本文主要介绍字节跳动在 Bucket 方面的优化。 本文主要从以下四个方面介绍： Spark SQL 在字节跳动的应用 什么是分桶 Spark 分桶的限制 字节跳动在分桶方面的优化 下面是 Spark SQL 在字节跳动的应用。 2016 年主要是小规模的测试阶段 2017 年用于处理 Ad-hoc工作负载 2018 年在生产环境下处理少量的 ETL 管道工作； 2019 年在生产环境下全面部署； 2020 年成为 DW 领域的主...
228 天前 / reesunhuang
分享嘉宾：陈迪豪第四范式架构师 编辑整理：刘璐 出品平台：第四范式天枢、DataFunTalk 导读：特征工程在推荐系统中有着举足轻重的作用，大规模特征工程处理的效率极大的影响了推荐系统线上的性能。第四范式作为国际领先的机器学习和人工智能技术与平台服务提供商，面向大规模特征工程问题开发了下一代离线在线一致性特征抽取引擎 FESQL，针对 AI 场景支持 SQL 接口，兼容 Spark 3.0 同时提供高性能的 Native 执行引擎。