22 天前 / sjf0115
动手点关注 干货不迷路 1. 背景火山引擎增长分析 DataFinder 基于 ClickHouse 来进行行为日志的分析，ClickHouse 的主要版本是基于社区版改进开发的字节内部版本。主要的表结构： 事件表：存储用户行为数据，以用户 ID分 shard 存储。-- 列出了主要的字段信息 CREATETABLEtob_apps_all ( `tea_app_id`UInt32,-- 应用 ID `device_id`StringDEFAULT'',-- 设备 ID `time`UInt64,-- 事件日志接受时间 `event`String,-- 事件名称 `user_unique_id`String,-- 用户 ID `event_date`Date,-- 事件日志日期...
52 天前 / sjf0115
前言 Join（连接）操作是大数据分析领域必不可少的操作，本文将从原理层面介绍 SparkSQL 支持的五大连接策略及其适用场景。通过本文的学习，你将会了解 Spark SQL 中五大连接策略的连接原理，并且学会根据不同的影响因素和不同的需求场景，选择合适的连接策略，从而更好地完成你的工作。五大连接策略 Spark SQL 内置了五种连接策略，分别如下所示：Broadcast Hash JoinShuffle Hash JoinShuffle Sort Merge JoinCartesian Product JoinBroadcast Nested Loop Join 这五种连接策略分别对应 SparkSQL 中五个物理操作符：BroadcastHashJoinExecShuffledHashJo...
53 天前 / sjf0115
供稿 |eBayCarmelTeam 作者 | 王刚 编辑 | 顾欣怡本文 5499 字，预计阅读时间 17 分钟更多干货请关注“eBay 技术荟”公众号 导读 Carmel 是 eBay 内部基于 Apache Spark 打造的一款 SQL-on-Hadoop 查询引擎。我们通过对 Apache Spark 的改进，为用户提供了一套高可用高性能的服务，用以满足 eBay 内部大量的分析型查询需求，如今单日查询量已接近 25 万。在生产中，我们发现制约查询执行性能的一个重要因素是 data skew（数据倾斜），Spark 在 3.0 的版本中引入了 skew join，用来解决在 join 过程中出现的 data skew 问题。
54 天前 / sjf0115
关联形式（Join Types）都有哪些我个人习惯还是从源码里面定义入手，一方面如果有调整，大家知道怎么去查，另一方面来说，没有什么比起源码的更加官方的定义了。SparkSQL 中的关于 JOIN 的定义位于 org.apache.spark.sql.catalyst.plans.JoinType,按照包的划分，JOIN 其实是执行计划的一部分。 具体的定义可以在 JoinType 的伴生对象中 apply 方法有构造。 objectJoinType{ defapply(typ:String):JoinType=typ.toLowerCase(Locale.ROOT).replace("_","")match{ case"inner"=>Inner case"outer"|"full"|"fullouter"=>FullOuter case"leftouter"|"left"=>Lef...
94 天前 / 逗逗
大家好，我是老兵。 今天和大家聊聊 Flink 双流 Join 问题。这是一个高频面试点，也是工作中常遇到的一种真实场景。 如何保证 Flink 双流 Join 准确性和及时性、除了窗口 join 还存在哪些实现方式、究竟如何回答才能完全打动面试官呢。你将在文中找到答案。 1 引子 1.1 数据库 SQL 中的 JOIN 我们先来看看数据库 SQL 中的 JOIN 操作。如下所示的订单查询 SQL，通过将订单表的 id 和订单详情表 order_id 关联，获取所有订单下的商品信息。
107 天前 / u561252
在实际的开发中，JOIN 操作是我们经常使用的。JOIN 的本质是数据拼接，由于我们无法将所有的数据都存储到一张表中，所以也就有了 JOIN 操作，JOIN 操作可以很方便地根据需要将不同表的数据拼接在一起。本文总结了 Flink 双流 JOIN 的常见面试题，希望对你有所帮助。 1、双流 JOIN 与传统数据库 JOIN 之间的区别是什么数据集合：传统数据库左右两个表的数据集合是有限的，双流 JOIN 的数据会源源不断的流入结果更新：传统数据库表 JOIN 是一次执行产生最终结果后退出...
122 天前 / sjf0115
作者：龙逸尘，腾讯 CSIG 高级工程师背景介绍维表（Dimension Table）是来自数仓建模的概念。在数仓模型中，事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记录等，而维表是与事实表相对应的一种表，它保存了事实表中指定属性的相关详细信息，可以跟事实表做关联；相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。 在实际生产中，我们经常会有这样的需求，以原始数据流作为基础，关联大量的外部表来补充一些属性。例如，在订单数据中希望能获取订单收货人所在市区的名称。
163 天前 / sjf0115
作者：董伟柯，腾讯 CSIG 高级工程师综述 Flink 作为流式数据处理框架的领跑者，在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面，它为用户提供了较底层的 DataStream API，也推出了 Table API 和 SQL 等编程接口。特别来看，SQL 以其易用、易迁移的特点，深受广大用户的欢迎。 在常见的数据分析场景中，JOIN（关联）操作是一项很有挑战性的工作，因为它涉及到左右两个表（流）的状态匹配，对内存的压力较大；而相比恒定的批数据而言，流数据更加难以预测，例如数据可能乱序、可能晚到，甚至可能丢失，因此需要缓存的状态量更加庞大...
167 天前 / 逗逗
1.前言 本文主要是整理博主收集的 Flink 高频面试题。如果本文对你有所帮助，请点个喜欢 + 在看吧。 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： Join 的应用场景 为什么流式计算中提到 Join 小伙伴萌就怕呢？ 带大家看一遍本文思路 Flink Join 解决方案：Flink Window Join Flink Join 解决方案：Flink Interval Join Flink Join 解决方案：Flink Regular Join 上述 3 种解决方案各有优劣...
167 天前 / 趣编程
作者：vivo 互联网服务器团队 -Shuai Guangying 在《探究 Presto SQL 引擎 (1)- 巧用 Antlr》中，我们介绍了 Antlr 的基本用法以及如何使用 Antlr4 实现解析 SQL 查询 CSV 数据，更加深入理解 Presto 查询引擎支持的 SQL 语法以及实现思路。 本次带来的是系列文章的第 2 篇，本文梳理了 Join 的原理，以及 Join 算法在 Presto 中的实现思路。通过理论和实践的结合，可以在理解原理的基础上，更加深入理解 Join 算法在 OLAP 场景下的工程落地技巧，比如火山模型，列式存储，批量处理等思想的应用。
179 天前 / u561252
1.前言 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： Join 的应用场景 为什么流式计算中提到 Join 小伙伴萌就怕呢？ 带大家看一遍本文思路 Flink Join 解决方案：Flink Window Join Flink Join 解决方案：Flink Interval Join Flink Join 解决方案：Flink Regular Join 上述 3 种解决方案各有优劣，有没有什么共性的问题可以优化？ Flink Join 优化方案：同 key 共享 State Flink Join 优化方案：外存 State 之 Redis 下面的答案都是博主收集小伙伴萌的答案 + ...
271 天前 / HueiFeng
提示：公众号展示代码会自动折行，建议横屏阅读 「前言」连接操作是一种数据库中最基本的操作，连接算法的执行效率直接影响到整个数据库的效率、吞吐和资源。通常商业数据库系统一般有三种主流的连接实现：Nested Loop Join、Hash Join 和 Sort Merge Join。本文概述目前主流的 Hash Join 实现方式，以及分析 MySQL 中 Hash Join 的实现方式。 MySQL 8.0.18 版本增加了对 Hash Join 算法的支持，在此之前，连接算法仅支持嵌套循环连接 Nested Loop Join。
308 天前 / sjf0115
我们在 《Presto 中支持的七种 Join 类型》这篇文章中介绍了 Presto 可用的 JOIN 操作的基础知识，以及如何在 SQL 查询中使用它们。有了这些知识，我们现在可以了解 Presto 的内部结构以及它如何在内部执行 JOIN 操作。本文将介绍 Presto 如何执行 JOIN 操作以及用于 JOIN 的算法。 JOIN 的实现几乎所有的数据库引擎一次只 JOIN 两个表。即使在 SQL 查询中有两个以上的表要联接，数据库也会联接前两个表并将输出与第三个表联接起来，然后对其余表继续这样做。数据库工程师将连接操作中涉及的这两个表称为构建表（Build Table）和探测表（Probe Table）。
1144 天前 / 尹千觞
《零基础学Flink》这个系列已经做了不少篇了，接下来几章会更加贴近案例来说明一些功能，今天我们先来说说如何将两个流join起来。这次我们以实时汇率和订单流合并为最后牌价为案例，进行说明。 案例代码存放在https://github.com/dafei1288/flink_casestudy 原理介绍 首先流和流的Join的基本原理和表之间join是一样的，但是由于窗口本身性质的原因，流和流Join还是分为以下几个类型。 下图是滚动窗口合并，每个窗口内，数据独立合并，没有重叠。 下图是滑动窗口合并，每个窗口内，数据独立合并，由于滑动窗口，有数据重叠。
1163 天前 / 公众号_肥朝
前言我们先来看一下阿里开发手册的描述 手册上写着【强制】，但是肥朝相信很多同学项目里面的代码都不满足这个要求。但是关键问题是，不用join，这SQL究竟要怎么写啊！ 高性能MySQL高性能MySQL这本书相信大家都看过，在分解大的查询这部分提到。 分解关联查询，即对每个要关联的表进行单表查询，然后将结果在应用程序中进行关联。下面的这个查询： SELECT*FROMtag JOINtag_postONtag_post.tag_id=tag.id JOINpostONtag_post.post_id=post.id WHEREtag.tag='mysql'; 可以分解成下面这些查询来代替： SELECT*FROMtagWHEREtag='mysql'; SELECT*FR...