1 天前 / Linx___
Spark Streaming 对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理； 流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模； 由于流处理的数据流特征，使之数据流具有不可预测性，而且数据处理的速率还与硬件、网络等资源有关，在这种情况下如不对源源不断进来的数据流速率进行限制，那当 Spark 节点故障、网络故障或数据处理吞吐量下来时还有数据不断流进来，那将有可能将出现 OOM 进而导致 Spark Streaming 程序崩溃； 在 Spark Streaming 中不同......
21 天前 / xF0rk
基于Spark的SOC ML检测平台是为企业安全运营人员打造的一站式机器学习检测服务平台，为用户提供从数据预处理、特征转换、特征提取、模型训练、模型预测、异常结果可视化到用户实时反馈的全流程可配置（无需编写代码）可直接运用于生产环境的智能威胁检测服务。SOC ML检测平台内置了多种适用于企业安全环境的数据预处理/特征提取方法和算法组件，同时检测平台融入了最新的行为分析检测思想，满足用户直接在生产环境实验及部署安全检测场景发现未知威胁的需求。拖拽式任务流设计及提供的默认模型参数（沉淀了安全分析经验）让安全运营人员能轻松快速......
30 天前 / RyanJo
众所周知，Spark 框架主要是由 Scala 语言实现，同时也包含少量 Java 代码。Spark 面向用户的编程接口，也是Scala。然而，在数据科学领域，Python 一直占据比较重要的地位，仍然有大量的数据工程师在使用各类 Python数据处理和科学计算的库，例如 numpy、Pandas、scikit-learn 等。同时，Python 语言的入门门槛也显著低于Scala。为此，Spark 推出了 PySpark，在 Spark 框架上提供一套 Python 的接口，方便广大数据科学家使用。本文主要从源码实现层面解析 PySpark 的实现原理，包括以下几个方面： PySpark 的多进程架构； Python 端调用 Java......
30 天前 / sjf0115
编译：诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。 原文链接：http://blog.madhukaraphatak.com/data-modeling-spark-part-2/ 数据建模是数据分析重要的组成之一，正确的建立模型有助于用户更好地解答业务相关的问题。在过去几十年中，数据建模技术也一直是SQL数据仓库的基础。 Apache Spark作为新一代的数仓技术的代表，我们能够在 Spark 中使用早期的数据建模技术。这使得Spark data pineline 更加有效。 在本系列文章中，我将讨论spark中不同的数......
59 天前 / 开发者头条
福利手慢无廖雪峰的大数据开发必备教程-Spark视频资料终于免费了！限额领取~ 今年不少人觉得职场晋升不那么顺畅，说是大环境所致，这也没错。但身边有些人，却能在如此“艰难”的环境下，顺利跳槽升值。究其原因，无非就是未雨绸缪，顺势而上。 拿当下火热的大数据来说，伴随人工智能的火热，据且未来3到5年大数据人才缺口将达到150万之多（数据来自《大数据人才报告》数据）。人才的高度稀缺意味着高额回报，因此在相同工作年限的情况下，大数据工程师的薪资普遍更高，待遇涨幅也会超过其他岗位。现在入局大数据，会是一个不错的时机。......
65 天前 / 过往记忆大数据
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。以下是字节跳动数据仓库架构负责人郭俊的分享主题沉淀，《字节跳动在Spark SQL上的核心优化实践》。 团队介绍 数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如 Spark SQL / Druid 的二次开发和优化。 概括今......
66 天前 / sjf0115
作者：周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。 背景介绍SparkSQL的优越性能背后有两大技术支柱：Optimizer和Runtime。前者致力于寻找最优的执行计划，后者则致力于把既定的执行计划尽可能快地执行出来。Runtime的多种优化可概括为两个层面： 1. 全局优化。从提升全局资源利用率、消除数据倾斜、降低IO等角度做优化，包括自适应执行(Adaptive Execution), Shuffle Removal等。 2. 局部优化。优化具体的Task的执行效率......
80 天前 / 过往记忆大数据
本文来自于2019年10月15日-17日荷兰首都阿姆斯特丹举行的 SPARK + AI SUMMIT Europe 2019 会议，议题名为《Near Real Time Data Warehousing with Apache Spark and Delta Lake》，分享者 Jasper Groot。 今年数砖开源的重量级项目 Delta Lake（重磅 | Apache Spark 社区期待的 Delta Lake 开源了）已经被越来越多的公司使用，官方一直宣传 Delta Lake & Structed Streaming 是最好的搭配，本文正是介绍如何使用Delta Lake 和Structed Streaming构建近实时数仓。 本文 PPT请关注过往记忆大数据微信公众号，并回复data_warehouse关键字获取。本分......
84 天前 / sjf0115
作者：李呈祥，花名司麟)，阿里巴巴计算平台事业部EMR团队的高级技术专家，Apache Hive Committer， Apache Flink Committer，深度参与了Hadoop，Hive，Spark，Flink等开源项目的研发工作，对于SQL引擎，分布式系统有较为深入的了解和实践，目前主要专注于EMR产品中开源计算引擎的优化工作。 背景Count Distinct是SQL查询中经常使用的聚合统计方式，用于计算非重复结果的数目。由于需要去除重复结果，Count Distinct的计算通常非常耗时。 以如下查询为例，Count Distinct的实现方式主要有两种： SELECT region, COUNT(DISTINCT userId) ......
92 天前 / 过往记忆大数据
2019年10月22日上午 Databricks 宣布，已经完成了由安德森-霍洛维茨基金(Andreessen Horowitz)牵头的4亿美元F轮融资，参与融资的有微软(Microsoft)、Alkeon Capital Management、贝莱德(BlackRock)、Coatue Management、Dragoneer Investment Group、Geodesic、Green Bay Ventures、New Enterprise Associates、T. Rowe Price和Tiger Global Management。经过这次融资，Databricks 的估值高达62亿美元，相比2月份的27.5亿美元（经过2.5亿美元的一轮融资）有所提高，估值反了一倍！2019年 Databricks 第三季度的收入营业额达到2亿美元，收入同比增长......
97 天前 / 懒人yp
前言 external-shuffle-service是Spark里一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在K8s上并不能很好的运行。让我们来看看，在K8s上实现这个external shuffle service特性的最新进展吧。 如果你想在Kubernetes集群中运行Spark任务，那么你可能会对：如何在K8s上运行external-shuffle-service感兴趣。把Driver和Executor都当做容器，丢到K8s上（K8s集群则把他们当做一般的容器，和其他业务类app一样对待），这种模式，可以使得集群资源池归一，避免Spark一个资源......
108 天前 / 程序员武功秘籍
前言Spark是目前主流的分布式计算框架之一，本文谈在使用Spark进行计算时与结果正确性相关的一些issue的场景以及分析。 计算可以分为三个过程，数据读取，数据计算，数据写入，本文就从这三个部分来阐述可能遇到的问题以及规避方案(如有错误，请指正)。 数据读取首先，Spark在生产中最常用的使用场景就是Spark-SQL。在Spark-SQL中，使用Hive的Metastore进行元数据存储，因此在使用中，往往是Spark DataSource表和Hive表共存。 表类型表的类型，可以分为以下几种。 Hive内部表: 表不用指定location，直接存储在数据库对应的目录下，如果进行......
118 天前 / 数据叔
MapReduce 就像一台又慢又稳的老爷车，虽然距离 MapReduce 面市到现在已经过去了十几年的时间，但它始终没有被淘汰，任由大数据技术日新月异、蓬蓬勃勃、花里胡哨地发展，这个生态圈始终有它的一席之地。不过 Spark 的到来确实给了 MapReduce 不小的冲击，它比 MapReduce 理论上要快两个数量级，所以近几年不断有人讨论 Spark 是否可以完全替代 MapReduce ，但是为什么说是不断有人讨论呢？因为这些年 Spark 始终是无法完全取代 MapReduce 。我们今天关注的问题是Spark为什么比 MapReduce 快？如果没有看文章的标题，你是不是会脱口而出： “......
119 天前 / openio
财务需要进行物流总公司同各子公司间的计费及结算，每月初完成核算入账，既要完成对海量数据计费，又要完成对下游系统的下发。经过调研，Spark 提供了比 MapReduce 编程模型更为灵活的 DAG 编程模型，且支持多源异构数据处理，在提升了开发效率的同时，更能够在短时间内完成错综复杂的计费任务。 在实践的过程中，研发团队整理了一些问题解决的经验，供大家参考。 业务概述 业务系统将计费所需生产单据中相关字段、报价数据、主数据等进行数据清洗、分配并存储，财务计费系统根据各业务类型特征，按照计费引擎中流程、公式，进行计......
145 天前 / 秦夏
搞大数据的都知道 Spark，照例，我不会讲怎么用，也不打算讲怎么优化，而是想从 Spark 的核心数据结构的演进，来看看其中的一些设计和考虑，有什么是值得我们借鉴的。我想这些思想和理念才是更持久和通用的东西。 RDD和很多流行的开源项目一样，Spark 脱胎于一篇论文（文末阅读原文），而这篇论文的题目就是《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》。光从这点就能看出来 RDD 在 Spark 中所处的核心位置。这很正常，正如你在无数场合听到人说数据结构和算法是最基础核心的东西。 ......