4 天前 / Linx___
MongoSpark 为入口类，调用 MongoSpark.load，该方法返回一个 MongoRDD 类对象，Mongo Spark Connector 框架本质上就是一个大号的自定义 RDD，加了些自定义配置、适配几种分区器规则、Sql 的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚了其分析器也就搞明白了 Mongo Spark Connector 。 当前实现的分区器（Partitioner）：MongoPaginateByCountPartitioner基于总数的分页分区器 MongoPaginateBySizePartitioner基于大小的分页分区器 MongoSamplePartitioner基于采样的分区器 MongoShardedPartitioner基于分片的分区器 MongoSinglePar...
5 天前 / iyacontrol
首发于 kubernetes solutions 写文章在 Kubernetes 上集成 Argo 工作流和 sparkiyacontrol 专注云原生，活跃于多个开源项目。 在我的第一篇文章中，我谈到了 Argo CD。这次是 Argo Workflow，它又来自 Argo 项目，Kubernetes 上的 Spark，以及我们如何使两者一起工作。 Argo Workflow Argo Workflow 是一个云原生工作流引擎，我们可以在其中编排具有任务序列的作业（工作流中的每个步骤都作为容器）。使用工作流定义，我们可以使用 DAG 捕获任务之间的依赖关系。
11 天前 / 过往记忆大数据
原计划在 2019 年年底发布的 Apache Spark 3.0.0 今天终于赶在下周二举办的 Spark Summit AI 会议之前正式发布了！ Apache Spark 3.0.0 自 2018 年 10 月 02 日开发到目前已经经历了近 21 个月！这个版本的发布经历了两个预览版以及三次投票： 2019 年 11 月 06 日第一次预览版，参见 Preview release of Spark 3.0[1]2019 年 12 月 23 日第二次预览版，参见 Preview release of Spark 3.0[2]2020 年 03 月 21 日[VOTE] Apache Spark 3.0.0 RC1[3]2020 年 05 月 18 日[VOTE] Apache Spark 3.0 RC2[4]2020 年 06 月 06 日[vote] Apache Spark 3.0 RC3[5] Ap...
29 天前 / 过往记忆大数据
多年以来，社区一直在努力改进 Spark SQL 的查询优化器和规划器，以生成高质量的查询执行计划。最大的改进之一是基于成本的优化（CBO，cost-based optimization）框架，该框架收集并利用各种数据统计信息（如行数，不同值的数量，NULL 值，最大 / 最小值等）来帮助 Spark 选择更好的计划。这些基于成本的优化技术很好的例子就是选择正确的 Join 类型（broadcast hash join vs. sort merge join），在 hash join 的时候选择正确的连接顺序，或在多个 join 中调整 join 顺序。然而，过时的统计信息和不完善的基数估计可能导致次优查询计划。
41 天前 / 浪尖
hashjoin join 是作为业务开发绕不开的 SQL 话题，无论是传统的数据库 join，还是大数据里的 join。 做过 Spark/flink 流处理的应该都用过一种流表和维表的 join，维表对于 Spark 来说可以是 driver 端获取后广播到每个 Executor，然后在 executor 端执行流表 task 的时候 join，其实大多数是个 hashmap，而很多时候这个维表比较大会存储于 redis/hbase。Flink 进行维表 join 可以用的方式比较多了，比如直接 open 方法里从外部加载的静态 hashmap，这种就无法更新，因为 Flink 不像 Spark 可以每个批次或者若干批次加载一次维表。
46 天前 / 浪尖
读本文前，应该先读读昨天的文章 Spark join 种类 (>3 种)及 join 选择依据 每个框架产生都是为了解决一类问题，每个模块的优化也是为了解决一定的场景下的性能瓶颈。浪尖今天分享的关于 Spark 3.1 之后的自适应执行计划，主要针对以下几个场景，并且有百度率先研发的，不过社区之前一直没有采纳，spark 3.0 的预发布版本参数也是不全，到了 Spark 3.1 的 beta 版已经可用，浪尖已经完成了测试。 1.解决场景 Spark Adative 好几年前就开始提了，现在网络上流行的 spark 自适应执行计划也坑了不少人，因为 spark 官方并没有将自适应执行计划合并到主分支。
49 天前 / sjf0115
导言物化视图作为一种预计算的优化方式，广泛应用于传统数据库中，如 Oracle，MSSQL Server 等。随着大数据技术的普及，各类数仓及查询引擎在业务中扮演着越来越重要的数据分析角色，而物化视图作为数据查询的加速器，将极大增强用户在数据分析工作中的使用体验。本文将基于 SparkSQL（2.4.4） + Hive （2.3.6）， 介绍物化视图在 SparkSQL 中的实现及应用。 什么是物化视图物化视图主要用于预先计算并保存表连接或聚合等耗时较多的操作的结果，这样，在执行查询时，就可以避免进行这些耗时的操作，从而快速的得到结果。
57 天前 / 浪尖
1.ExternalSorter 简介 ExternalSorter 是用来排序及聚合 key-value 类型的数据。首先使用分区器将数据按照 key 进行分区，然后使用自定义的排序器在一个分区内对数据 key 进行排序。可以生成适合 shuffle 读取的分区文件。如果禁用 combiner，那么 value 的输入和输出类型要一致。注意：ExternalSorter 是一个比较通用的排序器，在 sort-based shuffle 中，可以用一些配置控制其一些特性，比如块儿压缩可以通过配置 spark.shuffle.compress 来开启及关闭。假如在 non-shuffle 场景下使用了 ExternalSorter，可能会需要重新读取该配置。
68 天前 / sjf0115
编译：抚月，阿里巴巴计算平台事业部 EMR 高级工程师，Apache HDFS Committer，目前从事开源大数据存储和优化方面的工作。 这篇博客会阐述一份关于 Apache Spark 的在 Scala UDF、 PySpark UDF 和 PySpark Pandas UDF 之间的性能评测报告。 Spark 提供了多种解决方案来应对复杂挑战， 但是我们面临了很多场景， 原生的函数不足以解决问题。因此，Spark 允许我们注册自定义函数（User-Defined Functions, 或者叫 UDFs） 在这篇文章， 我们会探索 Spark 的 UDF 的性能特点。
69 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 9000 字 题图 ssyer.com “Python 训练 VS 并行化预测，无痛人流般的解决方案，你值得拥有。” 理解本文需要有一定的技术基础，包括对于 Xgboost 的基本理解以及使用经验，基本的 Spark 开发能力，如果对于 Xgboost4j-spark 有一定的了解就更好了。 01 诉求背景 在这里，我就不做 XGB 的科普了，如果不清楚的，请自行谷歌，官网。 首先我们确定我们需要做的事情，那就是尝试在 Python 单机的环境下训练模型，获取到模型文件，然后加载在 Spark 环境中做并行预测，涉及到并行预测会用到 XGBoost4j-spark 框架。
86 天前 / 花括号MC
花括号MC(huakuohao-mc)：关注JAVA基础编程及大数据，注重经验分享及个人成长。 Spark整体介绍 Spark是一个快速的，多用途的计算系统。这是来自Spark官网的自我介绍。一般敢自称系统的都是有两把刷子的，况且还是多用途的计算系统。Spark计算系统包含如下功能组件。 Spark Core:Spark的核心功能模块。 Spark SQL: 用于处理结构化数据。 MLlib：用于机器学习。 GraphX：用于图像处理。 Spark Streaming：用于处理实时数据流。 包含如此多的功能，自称多功能计算系统也是可以的。
89 天前 / 数据时光者
点击关注“OPPO 互联网技术”，阅读更多技术干货 一 、特征处理的意义 通常情况下，我们得到的数据中包含脏数据或者噪声。在模型训练前，需要对这些数据进行预处理，否则再好的模型也只能“garbage in，garbage out”。 数据预处理主要包括三部分，特征提取、特征转换和特征选择。 二、特征提取特征提取一般指从原始数据中抽取特征的过程。 1. 计数向量器 (Countvectorizer)(1) 定义及用途：计数向量器将所有的文本词语进行编号，并统计该词语在文档中的词频作为特征向量。
112 天前 / 过往记忆大数据
背景相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能，并且通过 spark.eventLog.dir 参数来指定 event log 保存的地方，可以是本地目录或者 HDFS 上的目录，不过一般我们都会将它设置成 HDFS 上的一个目录。 但是这个功能有个问题，就是这个 Spark Job 运行的过程中产生的所有 event log 都是写到单个文件中，这就导致了 event log 文件的大小和这个 Spark Job 的并行度、复杂度以及运行的时间有很大关系。
161 天前 / Linx___
Spark Streaming 对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理； 流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模； 由于流处理的数据流特征，使之数据流具有不可预测性，而且数据处理的速率还与硬件、网络等资源有关，在这种情况下如不对源源不断进来的数据流速率进行限制，那当 Spark 节点故障、网络故障或数据处理吞吐量下来时还有数据不断流进来，那将有可能将出现 OOM 进而导致 Spark Streaming 程序崩溃； 在 Spark Streaming 中不同的数据源...
181 天前 / xF0rk
基于Spark的SOC ML检测平台是为企业安全运营人员打造的一站式机器学习检测服务平台，为用户提供从数据预处理、特征转换、特征提取、模型训练、模型预测、异常结果可视化到用户实时反馈的全流程可配置（无需编写代码）可直接运用于生产环境的智能威胁检测服务。SOC ML检测平台内置了多种适用于企业安全环境的数据预处理/特征提取方法和算法组件，同时检测平台融入了最新的行为分析检测思想，满足用户直接在生产环境实验及部署安全检测场景发现未知威胁的需求。拖拽式任务流设计及提供的默认模型参数（沉淀了安全分析经验）让安全运营人员能轻松快速上手。