2 天前 / 花括号MC
花括号MC(huakuohao-mc)：关注JAVA基础编程及大数据，注重经验分享及个人成长。 Spark整体介绍 Spark是一个快速的，多用途的计算系统。这是来自Spark官网的自我介绍。一般敢自称系统的都是有两把刷子的，况且还是多用途的计算系统。Spark计算系统包含如下功能组件。 Spark Core:Spark的核心功能模块。 Spark SQL: 用于处理结构化数据。 MLlib：用于机器学习。 GraphX：用于图像处理。 Spark Streaming：用于处理实时数据流。 包含如此多的功能，自称多功能计算系统也是可以的。
4 天前 / 数据时光者
点击关注“OPPO 互联网技术”，阅读更多技术干货 一 、特征处理的意义 通常情况下，我们得到的数据中包含脏数据或者噪声。在模型训练前，需要对这些数据进行预处理，否则再好的模型也只能“garbage in，garbage out”。 数据预处理主要包括三部分，特征提取、特征转换和特征选择。 二、特征提取特征提取一般指从原始数据中抽取特征的过程。 1. 计数向量器 (Countvectorizer)(1) 定义及用途：计数向量器将所有的文本词语进行编号，并统计该词语在文档中的词频作为特征向量。
28 天前 / 过往记忆大数据
背景相信经常使用 Spark 的同学肯定知道 Spark 支持将作业的 event log 保存到持久化设备。默认这个功能是关闭的，不过我们可以通过 spark.eventLog.enabled 参数来启用这个功能，并且通过 spark.eventLog.dir 参数来指定 event log 保存的地方，可以是本地目录或者 HDFS 上的目录，不过一般我们都会将它设置成 HDFS 上的一个目录。 但是这个功能有个问题，就是这个 Spark Job 运行的过程中产生的所有 event log 都是写到单个文件中，这就导致了 event log 文件的大小和这个 Spark Job 的并行度、复杂度以及运行的时间有很大关系。
77 天前 / Linx___
Spark Streaming 对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理； 流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模； 由于流处理的数据流特征，使之数据流具有不可预测性，而且数据处理的速率还与硬件、网络等资源有关，在这种情况下如不对源源不断进来的数据流速率进行限制，那当 Spark 节点故障、网络故障或数据处理吞吐量下来时还有数据不断流进来，那将有可能将出现 OOM 进而导致 Spark Streaming 程序崩溃； 在 Spark Streaming 中不同的数据源...
97 天前 / xF0rk
基于Spark的SOC ML检测平台是为企业安全运营人员打造的一站式机器学习检测服务平台，为用户提供从数据预处理、特征转换、特征提取、模型训练、模型预测、异常结果可视化到用户实时反馈的全流程可配置（无需编写代码）可直接运用于生产环境的智能威胁检测服务。SOC ML检测平台内置了多种适用于企业安全环境的数据预处理/特征提取方法和算法组件，同时检测平台融入了最新的行为分析检测思想，满足用户直接在生产环境实验及部署安全检测场景发现未知威胁的需求。拖拽式任务流设计及提供的默认模型参数（沉淀了安全分析经验）让安全运营人员能轻松快速上手。
106 天前 / RyanJo
众所周知，Spark 框架主要是由 Scala 语言实现，同时也包含少量 Java 代码。Spark 面向用户的编程接口，也是Scala。然而，在数据科学领域，Python 一直占据比较重要的地位，仍然有大量的数据工程师在使用各类 Python数据处理和科学计算的库，例如 numpy、Pandas、scikit-learn 等。同时，Python 语言的入门门槛也显著低于Scala。为此，Spark 推出了 PySpark，在 Spark 框架上提供一套 Python 的接口，方便广大数据科学家使用。
106 天前 / sjf0115
编译：诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。 原文链接：http://blog.madhukaraphatak.com/data-modeling-spark-part-2/ 数据建模是数据分析重要的组成之一，正确的建立模型有助于用户更好地解答业务相关的问题。在过去几十年中，数据建模技术也一直是SQL数据仓库的基础。 Apache Spark作为新一代的数仓技术的代表，我们能够在 Spark 中使用早期的数据建模技术。这使得Spark data pineline 更加有效。 在本系列文章中，我将讨论spark中不同的数据建模。
136 天前 / 开发者头条
福利手慢无廖雪峰的大数据开发必备教程-Spark视频资料终于免费了！限额领取~ 今年不少人觉得职场晋升不那么顺畅，说是大环境所致，这也没错。但身边有些人，却能在如此“艰难”的环境下，顺利跳槽升值。究其原因，无非就是未雨绸缪，顺势而上。 拿当下火热的大数据来说，伴随人工智能的火热，据且未来3到5年大数据人才缺口将达到150万之多（数据来自《大数据人才报告》数据）。人才的高度稀缺意味着高额回报，因此在相同工作年限的情况下，大数据工程师的薪资普遍更高，待遇涨幅也会超过其他岗位。现在入局大数据，会是一个不错的时机。
141 天前 / 过往记忆大数据
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。以下是字节跳动数据仓库架构负责人郭俊的分享主题沉淀，《字节跳动在Spark SQL上的核心优化实践》。 团队介绍 数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如 Spark SQL / Druid 的二次开发和优化。
142 天前 / sjf0115
作者：周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。 背景介绍SparkSQL的优越性能背后有两大技术支柱：Optimizer和Runtime。前者致力于寻找最优的执行计划，后者则致力于把既定的执行计划尽可能快地执行出来。Runtime的多种优化可概括为两个层面： 1. 全局优化。从提升全局资源利用率、消除数据倾斜、降低IO等角度做优化，包括自适应执行(Adaptive Execution), Shuffle Removal等。 2. 局部优化。
156 天前 / 过往记忆大数据
本文来自于2019年10月15日-17日荷兰首都阿姆斯特丹举行的 SPARK + AI SUMMIT Europe 2019 会议，议题名为《Near Real Time Data Warehousing with Apache Spark and Delta Lake》，分享者 Jasper Groot。 今年数砖开源的重量级项目 Delta Lake（重磅 | Apache Spark 社区期待的 Delta Lake 开源了）已经被越来越多的公司使用，官方一直宣传 Delta Lake & Structed Streaming 是最好的搭配，本文正是介绍如何使用Delta Lake 和Structed Streaming构建近实时数仓。 本文 PPT请关注过往记忆大数据微信公众号，并回复data_warehouse关键字获取。
160 天前 / sjf0115
作者：李呈祥，花名司麟)，阿里巴巴计算平台事业部EMR团队的高级技术专家，Apache Hive Committer， Apache Flink Committer，深度参与了Hadoop，Hive，Spark，Flink等开源项目的研发工作，对于SQL引擎，分布式系统有较为深入的了解和实践，目前主要专注于EMR产品中开源计算引擎的优化工作。 背景Count Distinct是SQL查询中经常使用的聚合统计方式，用于计算非重复结果的数目。由于需要去除重复结果，Count Distinct的计算通常非常耗时。
168 天前 / 过往记忆大数据
2019年10月22日上午 Databricks 宣布，已经完成了由安德森-霍洛维茨基金(Andreessen Horowitz)牵头的4亿美元F轮融资，参与融资的有微软(Microsoft)、Alkeon Capital Management、贝莱德(BlackRock)、Coatue Management、Dragoneer Investment Group、Geodesic、Green Bay Ventures、New Enterprise Associates、T. Rowe Price和Tiger Global Management。经过这次融资，Databricks 的估值高达62亿美元，相比2月份的27.5亿美元（经过2.5亿美元的一轮融资）有所提高，估值反了一倍！2019年 Databricks 第三季度的收入营业额达到2亿美元...
173 天前 / 懒人yp
前言 external-shuffle-service是Spark里一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在K8s上并不能很好的运行。让我们来看看，在K8s上实现这个external shuffle service特性的最新进展吧。 如果你想在Kubernetes集群中运行Spark任务，那么你可能会对：如何在K8s上运行external-shuffle-service感兴趣。
184 天前 / 程序员武功秘籍
前言Spark是目前主流的分布式计算框架之一，本文谈在使用Spark进行计算时与结果正确性相关的一些issue的场景以及分析。 计算可以分为三个过程，数据读取，数据计算，数据写入，本文就从这三个部分来阐述可能遇到的问题以及规避方案(如有错误，请指正)。 数据读取首先，Spark在生产中最常用的使用场景就是Spark-SQL。在Spark-SQL中，使用Hive的Metastore进行元数据存储，因此在使用中，往往是Spark DataSource表和Hive表共存。 表类型表的类型，可以分为以下几种。