15 天前 / sjf0115
本文来自6月16日上海 Spark+AI 16th Meetup，参见 https://www.slidestalk.com/m/35。分享者白泉，字节跳动数据平台工程师，专注于Spark/Hive在企业内的平台化服务化建设以及Spark SQL引擎的优化。 面对大量复杂的数据分析需求，提供一套稳定、高效、便捷的企业级查询分析服务具有重大意义。本次演讲介绍了字节跳动基于SparkSQL建设大数据查询统一服务TQS（Toutiao Query Service）的一些实践以及在执行计划调优、数据读取剪枝、SQL兼容性等方面对SparkSQL引擎的一些优化。 本文 PPT 下载：https://www.slidestalk.com/s/SparkSQL_in_ByteDance ......
20 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 本文重点参考文章《Scala vs. Python for Apache Spark》， 链接传送门：https://www.dezyre.com/article/scala-vs-python-for-apache-/213， 在部分内容翻译的基础上融入了笔者的些许理解，有兴趣的同学也可以看看原文。 2015年前后，互联网行业中的“大数据”概念掀起一股热潮。 而Apache Spark作为类Hadoop MapReduce的通用并行框架，一款专为大规模数据处理而设计的分布式计算引擎，以其优越的性能，较为完善的生态，受到了大数据从业人......
22 天前 / 浪尖
有人说spark的代码不优雅，这个浪尖就忍不了了。实际上，说spark代码不优雅的主要是对scala不熟悉，spark代码我觉得还是很赞的，最值得阅读的大数据框架之一。 今天这篇文章不是为了争辩Spark 代码优雅与否，主要是讲一下理解了spark源码之后我们能使用的一些小技巧吧。 spark 使用的时候，总有些需求比较另类吧，比如有球友问过这样一个需求： 浪尖，我想要在driver端获取executor执行task返回的结果，比如task是个规则引擎，我想知道每条规则命中了几条数据，请问这个怎么做呢？ 这个是不是很骚气，也很常见，按理说你输出之后，在mysql......
22 天前 / sjf0115
在大数据分析中，窗口函数最常见的应用场景就是对数据进行分组后，求组内数据topN的需求，如果没有窗口函数，实现这样一个需求还是比较复杂的，不过现在大多数标准SQL中都支持这样的功能，今天我们就来学习下如何在spark sql使用窗口函数来完成一个分组求TopN的需求。 思路分析： 在spark sql中有两种方式可以实现： （1）使用纯spark sql的方式。 （2）spark的编程api来实现。 虽然有两种形式，但底层原理都一样，借助了spark里面的window算子，我们先来看下纯sql的实现方式，其代码如下： def main(args: Array[String]): Unit = { ......
23 天前 / gongyouliu
本文为《大数据分析师入门课程》系列的第9篇，在本系列的第8篇-Spark基础中，已经对Spark做了一个入门介绍，在此基础上本篇拎出Spark SQL，主要站在使用者的角度来进行讲解，需要注意的是本文中的例子的代码均使用Scala语言。 主要包括以下内容： 你该了解的Spark SQL 简单入门操作 不得不说的数据源 一 你该了解的Spark SQL 1.什么是Spark SQL？ Spark SQL是Spark专门用来处理结构化数据的模块，是Spark的核心组件，在1.0时发布。 SparkSQL替代的是HIVE的查询引擎，HIVE的默认引擎查询效率低......
26 天前 / 个推技术学院
作者：个推数据研发工程师 学长 1业务背景随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处理，不仅可以实现用户行为分析，还能在金融、舆情分析、网络监控等方面发挥作用。个推开发者服务——消息推送“应景推送”正是应用了Spark Streaming技术，基于大数据分析人群属性，同时利用LBS地理围栏技术，实时触发精准消息推送，实现用户的精细......
27 天前 / 过往记忆大数据
登录欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号：iteblog_hadoop。 文章总数：1034 浏览总数：13,381,549 评论：4084 分类目录：108 个 注册用户数：6788 最后更新：2019年6月18日 欢迎关注微信公众号： iteblog_hadoop Hadoop技术博文： bigdata_ai 一条 SQL 在 Apache Spark 之旅（中）Spark2019-06-18 08:15:05 0评论下载为PDF为什么无法评论和登录在 《一条 SQL 在 Apache Spark 之旅（上）》文章中我们介绍了一条 SQL 在 Apache Spark之旅的 Parser 和 Analyzer 两个过程，本文接上文继续介......
27 天前 / u534291
我们在编写Spark Application或者是阅读源码的时候，我们很想知道代码的运行情况，比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式，但是，logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。 本文以调试Spark Application为例进行说明，本文用到的IDE是IntelliJ IDEA。步骤如下： 设置调试相关参数 JAVA自身支持调试功能，我们仅仅需要在程序启动之前，在JVM里面设置以下参数： 因为 Spark 应用程序是分布式的，所有调试的时候有点......
28 天前 / gongyouliu
本文为《大数据分析师入门课程》系列的第8篇，主要讲解大数据分析师必须了解的Spark基础知识，前7篇分别是JAVA基础、SCALA基础、SQL基础、SQL进阶、HIVE基础、HIVE进阶、HDFS&YARN基础。 依照惯例，首先，我们就以下三个问题进行简单说明。 为什么讲Spark？ 本文的主要目标是什么？ 本文的讲解思路是什么？ 为什么讲Spark？ 随着并行数据分析变得越来越流行，各行各业的使用者们迫切需要更好的数据分析工具，Spark 应运而生。作为MapReduce的继任者，Spark具备以下优势特性。 1.高效性 内存计算下，Spar......
33 天前 / u534291
现象 大家在使用 ApacheSpark2.x 的时候可能会遇到这种现象：虽然我们的SparkJobs 已经全部完成了，但是我们的程序却还在执行。比如我们使用SparkSQL 去执行一些 SQL，这个 SQL 在最后生成了大量的文件。然后我们可以看到，这个 SQL 所有的 Spark Jobs 其实已经运行完成了，但是这个查询语句还在运行。通过日志，我们可以看到 driver 节点正在一个一个地将 tasks 生成的文件移动到最终表的目录下面，当我们作业生成的文件很多的情况下，就很容易产生这种现象。本文将给大家介绍一种方法来解决这个问题。 为什么会造成这个现象 Spark 2......
33 天前 / sjf0115
也可以到我个人博客阅读（点击下面阅读原文即可） https://www.iteblog.com/archives/2561.html。昨天又写到凌晨12点啦，大家一定要点在看呀！朋友圈多多分享。 SparkSQL 是Spark众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、SparkML、Spark Graph 以及 Structured Streaming 都是运行在 Catalyst Optimization & Tungsten Execution 之上的，如下图所示： 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：it......
34 天前 / 浪尖
很多用Spark Streaming 的朋友应该使用过broadcast，大多数情况下广播变量都是以单例模式声明的有没有粉丝想过为什么？浪尖在这里帮大家分析一下，有以下几个原因： 广播变量大多数情况下是不会变更的，使用单例模式可以减少spark streaming每次job生成执行，重复生成广播变量带来的开销。 单例模式也要做同步。这个对于很多新手来说可以不用考虑同步问题，原因很简单因为新手不会调整spark 程序task的调度模式，而默认采用FIFO的调度模式，基本不会产生并发问题。1).假如你配置了Fair调度模式，同时修改了Spark Streaming运行的并行执行的job数......
38 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
39 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......