23 小时前 / sjf0115
本文原文（点击下面阅读原文即可进入）https://www.iteblog.com/archives/2551.html Airbnb 日志事件获取 日志事件从客户端（例如移动应用程序和 Web 浏览器）和在线服务发出，其中包含行为或操作的关键信息。每个事件都有一个特定的信息。例如，当客人在 Airbnb.com 上搜索马里布的海滨别墅时，将生成包含位置，登记和结账日期等的搜索事件。 在 Airbnb，事件记录对于我们理解客人和房东，然后为他们提供更好的体验至关重要。它为业务决策提供信息，并推动工程功能（如搜索，实验，付款等）中的产品开发。例如，日志事件是训练机器学习模型以进......
2 天前 / 哈尔的数据城堡
Hadoop 说起hadoop，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是[hdu:p]。 Hadoop这个名字是Hadoop项目创建者DougCutting的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为Hadoop。这刚好满足Cutting的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是Hadoop就诞生了。 Zookeeper关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。 时任研究院的......
2 天前 / 哈尔的数据城堡
Hadoop 说起hadoop，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是[hdu:p]。 Hadoop这个名字是Hadoop项目创建者DougCutting的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为Hadoop。这刚好满足Cutting的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是Hadoop就诞生了。 Zookeeper关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。 时任研究院的......
3 天前 / Thinkgamer
“【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和他们在Spark中的应用实现，本篇文章主要介绍LR算法。 ” 【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和他们在Spark中的应用实现，本篇文章主要介绍LR算法。 本系列还包括（持续更新）： Spark排序算法系列之GBDT（梯度提升决策树） Spark排序算法系列之LR（逻辑回归） Spark排序算法系列之XGBoost Spark排序算法系列之FTRL（Follow-the-regularized-Leader） Spark排序算法系列之FM与FFM 背景......
3 天前 / Thinkgamer
“【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和他们在Spark中的应用实现，本篇文章主要介绍LR算法。 ” 【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和他们在Spark中的应用实现，本篇文章主要介绍LR算法。 本系列还包括（持续更新）： Spark排序算法系列之GBDT（梯度提升决策树） Spark排序算法系列之LR（逻辑回归） Spark排序算法系列之XGBoost Spark排序算法系列之FTRL（Follow-the-regularized-Leader） Spark排序算法系列之FM与FFM 背景......
8 天前 / Thinkgamer
“【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和他们在Spark中的应用实现，本篇文章主要介绍LR算法。 ” 【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法，和他们在Spark中的应用实现，本篇文章主要介绍LR算法。 本系列还包括（持续更新）： Spark排序算法系列之GBDT（梯度提升决策树） Spark排序算法系列之模型融合（GBDT+LR） Spark排序算法系列之XGBoost Spark排序算法系列之FTRL（Follow-the-regularized-Leader） Spark排序算法系列之FM与FFM ......
12 天前 / 逗逗
云湖湖导读： 之前我们揭秘了华为云DLI背后的核心技术引擎Spark，了解了Spark的核心概念与架构。那么，究竟是什么让Spark既提供了通用优雅的接口，同时又具备强大的计算能力呢？要回答这个问题，就需要了解Spark SQL及其运行流程。今天，我们主要通过以下两点来解析： 1、Spark SQL是什么 2、Spark SQL核心——Catalyst查询编译器 更多优质内容请关注微信公众号“智能数据湖” 作者：王振华 责编：云湖湖 Spark SQL是什么 Spark SQL是Spark系统的核心组件，为来自不同数据源、不同格式的数据提供了结构化的视角，让用户可以使用SQL轻......
19 天前 / 大数据技术博客
本文原文（点击下面阅读原文即可进入）https://www.iteblog.com/archives/2549.html 今年的 Spark + AI Summit 2019 databricks 开源了几个重磅的项目，比如 Delta Lake，Koalas 等，Koalas 是一个新的开源项目，它增强了 PySpark 的 DataFrame API，使其与 pandas 兼容。 Python 数据科学在过去几年中爆炸式增长，pandas 已成为生态系统的关键。 当数据科学家拿到一个数据集时，他们会使用 pandas 进行探索。 它是数据清洗和分析的终极工具。 事实上，pandas 的 read_csv 函数通常是学生在数据科学旅程中的第一个命令。 那么这么用的问题是什么......
21 天前 / 大数据技术博客
本文原文（点击下面阅读原文即可进入）https://www.iteblog.com/archives/2544.html 2019年4月25日，微软的 Rahul Potharaju、Terry Kim 以及 Tyson Condie 在 Spark + AI Summit 2019 会议上为我们带来主题为 《Introducing .NET Bindings for Apache Spark 》的分享，并宣布 .NET for Apache Spark 预览版正式发布。 .NET 框架是由微软开发，一个致力于敏捷软件开发、快速应用开发、平台无关性和网络透明化的免费软件框架，用于构建许多不同类型的应用程序。就当前的编程语言排名可以看出，.NET 也是世界上使用人数最多的编程语言之一。其旗舰......
23 天前 / 浪尖
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对parquet文件的schema可以自动解析。当Spark SQL需要写成Parquet文件时，处于兼容的原因所有的列都被自动转化为了nullable。 1读写Parquet文件// Encoders for most common types are automatically provided by importing spark.implicits._import spark.implicits._ val peopleDF = spark.read.json("examples/src/main/resources/people.json")// DataFrames can be saved as Parquet files, maintain......
24 天前 / 大数据技术博客
登录欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号：iteblog_hadoop。 文章总数：1024 浏览总数：12,945,526 评论：4041 分类目录：107 个 注册用户数：6652 最后更新：2019年4月28日 欢迎关注微信公众号： iteblog_hadoop 大数据猿： bigdata_ai Apache Spark 社区期待的 Delta Lake 开源了Spark2019-04-25 23:16:40 0评论下载为PDF为什么无法评论和登录本文英文原文：Open Sourcing Delta Lake 2019年4月24日在美国旧金山召开的 Spark+AI Summit 2019 会上，Databricks 的联合创始人及 CEO Ali G......
29 天前 / usedlife
前言 Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎，能够提供基于数据流的有状态计算，被定义为下一代大数据处理引擎，发展十分迅速并且在行业内已有很多最佳实践。 两者都是优秀的框架，究竟有何不同，Spark还没学好现在又来了一个Flink，程序猿攻城狮们能接住招吗！本文主要从部分功能上聊一聊这两款......
29 天前 / 崴～～～
云湖湖导读： Spark与HBase是当今非常火的两个大数据开源项目，一个负责数据的分析处理，一个负责数据的存储。 近年来，Spark on HBase尤其是Spark SQL on HBase成为许多企业云上大数据与AI解决方案的首选。两者的结合，不仅兼顾了计算与存储，还兼顾了易用与性能。本文将会通过以下几点来分享： 1、什么是HBase 2、华为云DLI在Spark SQL on HBase的项目实践 3、查询性能优化思路 4、深度优化：Rowkey的区间范围分析 更多优质内容请关注微信公众号“智能数据湖” 作者：William 责编：云湖湖 1、什么是HBase Apache HBase是一个开......
29 天前 / 逗逗
使用sparkstreaming时，如果实时计算结果要写入到HDFS，那么不可避免的会遇到一个问题，那就是在默认情况下会产生非常多的小文件，这是由sparkstreaming的微批处理模式和DStream(RDD)的分布式(partition)特性导致的，sparkstreaming为每个partition启动一个独立的线程来处理数据，一旦文件输出到HDFS，那么这个文件流就关闭了，再来一个batch的parttition任务，就再使用一个新的文件流，那么假设，一个batch为10s，每个输出的DStream有32个partition，那么一个小时产生的文件数将会达到(3600/10)*32=11520个之多。众多小文件带来的结果是有大量的......
29 天前 / usedlife
前言 Apache Spark 是一个统一的、快速的分布式计算引擎，能够同时支持批处理与流计算，充分利用内存做并行计算，官方给出Spark内存计算的速度比MapReduce快100倍。因此可以说作为当下最流行的计算框架，Spark已经足够优秀了。 Apache Flink 是一个分布式大数据计算引擎，能够提供基于数据流的有状态计算，被定义为下一代大数据处理引擎，发展十分迅速并且在行业内已有很多最佳实践。 两者都是优秀的框架，究竟有何不同，Spark还没学好现在又来了一个Flink，程序猿攻城狮们能接住招吗！本文主要从部分功能上聊一聊这两款......