2 天前 / 逗逗
大家好，我是老兵。 今天和大家聊聊 Flink 双流 Join 问题。这是一个高频面试点，也是工作中常遇到的一种真实场景。 如何保证 Flink 双流 Join 准确性和及时性、除了窗口 join 还存在哪些实现方式、究竟如何回答才能完全打动面试官呢。你将在文中找到答案。 1 引子 1.1 数据库 SQL 中的 JOIN 我们先来看看数据库 SQL 中的 JOIN 操作。如下所示的订单查询 SQL，通过将订单表的 id 和订单详情表 order_id 关联，获取所有订单下的商品信息。
15 天前 / u561252
在实际的开发中，JOIN 操作是我们经常使用的。JOIN 的本质是数据拼接，由于我们无法将所有的数据都存储到一张表中，所以也就有了 JOIN 操作，JOIN 操作可以很方便地根据需要将不同表的数据拼接在一起。本文总结了 Flink 双流 JOIN 的常见面试题，希望对你有所帮助。 1、双流 JOIN 与传统数据库 JOIN 之间的区别是什么数据集合：传统数据库左右两个表的数据集合是有限的，双流 JOIN 的数据会源源不断的流入结果更新：传统数据库表 JOIN 是一次执行产生最终结果后退出...
30 天前 / sjf0115
作者：龙逸尘，腾讯 CSIG 高级工程师背景介绍维表（Dimension Table）是来自数仓建模的概念。在数仓模型中，事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记录等，而维表是与事实表相对应的一种表，它保存了事实表中指定属性的相关详细信息，可以跟事实表做关联；相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行管理。 在实际生产中，我们经常会有这样的需求，以原始数据流作为基础，关联大量的外部表来补充一些属性。例如，在订单数据中希望能获取订单收货人所在市区的名称。
71 天前 / sjf0115
作者：董伟柯，腾讯 CSIG 高级工程师综述 Flink 作为流式数据处理框架的领跑者，在吞吐量、时延、准确型、容错性等方面都有优异的表现。在 API 方面，它为用户提供了较底层的 DataStream API，也推出了 Table API 和 SQL 等编程接口。特别来看，SQL 以其易用、易迁移的特点，深受广大用户的欢迎。 在常见的数据分析场景中，JOIN（关联）操作是一项很有挑战性的工作，因为它涉及到左右两个表（流）的状态匹配，对内存的压力较大；而相比恒定的批数据而言，流数据更加难以预测，例如数据可能乱序、可能晚到，甚至可能丢失，因此需要缓存的状态量更加庞大...
75 天前 / 逗逗
1.前言 本文主要是整理博主收集的 Flink 高频面试题。如果本文对你有所帮助，请点个喜欢 + 在看吧。 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： Join 的应用场景 为什么流式计算中提到 Join 小伙伴萌就怕呢？ 带大家看一遍本文思路 Flink Join 解决方案：Flink Window Join Flink Join 解决方案：Flink Interval Join Flink Join 解决方案：Flink Regular Join 上述 3 种解决方案各有优劣...
75 天前 / 趣编程
作者：vivo 互联网服务器团队 -Shuai Guangying 在《探究 Presto SQL 引擎 (1)- 巧用 Antlr》中，我们介绍了 Antlr 的基本用法以及如何使用 Antlr4 实现解析 SQL 查询 CSV 数据，更加深入理解 Presto 查询引擎支持的 SQL 语法以及实现思路。 本次带来的是系列文章的第 2 篇，本文梳理了 Join 的原理，以及 Join 算法在 Presto 中的实现思路。通过理论和实践的结合，可以在理解原理的基础上，更加深入理解 Join 算法在 OLAP 场景下的工程落地技巧，比如火山模型，列式存储，批量处理等思想的应用。
87 天前 / u561252
1.前言 这一期的面试题主要是介绍 Flink 面试中的高频面试题，Flink 流 Join 相关内容，相信大家在面试中遇到的太多了，本节包含的主要内容如下： Join 的应用场景 为什么流式计算中提到 Join 小伙伴萌就怕呢？ 带大家看一遍本文思路 Flink Join 解决方案：Flink Window Join Flink Join 解决方案：Flink Interval Join Flink Join 解决方案：Flink Regular Join 上述 3 种解决方案各有优劣，有没有什么共性的问题可以优化？ Flink Join 优化方案：同 key 共享 State Flink Join 优化方案：外存 State 之 Redis 下面的答案都是博主收集小伙伴萌的答案 + ...
179 天前 / HueiFeng
提示：公众号展示代码会自动折行，建议横屏阅读 「前言」连接操作是一种数据库中最基本的操作，连接算法的执行效率直接影响到整个数据库的效率、吞吐和资源。通常商业数据库系统一般有三种主流的连接实现：Nested Loop Join、Hash Join 和 Sort Merge Join。本文概述目前主流的 Hash Join 实现方式，以及分析 MySQL 中 Hash Join 的实现方式。 MySQL 8.0.18 版本增加了对 Hash Join 算法的支持，在此之前，连接算法仅支持嵌套循环连接 Nested Loop Join。
216 天前 / sjf0115
我们在 《Presto 中支持的七种 Join 类型》这篇文章中介绍了 Presto 可用的 JOIN 操作的基础知识，以及如何在 SQL 查询中使用它们。有了这些知识，我们现在可以了解 Presto 的内部结构以及它如何在内部执行 JOIN 操作。本文将介绍 Presto 如何执行 JOIN 操作以及用于 JOIN 的算法。 JOIN 的实现几乎所有的数据库引擎一次只 JOIN 两个表。即使在 SQL 查询中有两个以上的表要联接，数据库也会联接前两个表并将输出与第三个表联接起来，然后对其余表继续这样做。数据库工程师将连接操作中涉及的这两个表称为构建表（Build Table）和探测表（Probe Table）。
1052 天前 / 尹千觞
《零基础学Flink》这个系列已经做了不少篇了，接下来几章会更加贴近案例来说明一些功能，今天我们先来说说如何将两个流join起来。这次我们以实时汇率和订单流合并为最后牌价为案例，进行说明。 案例代码存放在https://github.com/dafei1288/flink_casestudy 原理介绍 首先流和流的Join的基本原理和表之间join是一样的，但是由于窗口本身性质的原因，流和流Join还是分为以下几个类型。 下图是滚动窗口合并，每个窗口内，数据独立合并，没有重叠。 下图是滑动窗口合并，每个窗口内，数据独立合并，由于滑动窗口，有数据重叠。
1071 天前 / 公众号_肥朝
前言我们先来看一下阿里开发手册的描述 手册上写着【强制】，但是肥朝相信很多同学项目里面的代码都不满足这个要求。但是关键问题是，不用join，这SQL究竟要怎么写啊！ 高性能MySQL高性能MySQL这本书相信大家都看过，在分解大的查询这部分提到。 分解关联查询，即对每个要关联的表进行单表查询，然后将结果在应用程序中进行关联。下面的这个查询： SELECT*FROMtag JOINtag_postONtag_post.tag_id=tag.id JOINpostONtag_post.post_id=post.id WHEREtag.tag='mysql'; 可以分解成下面这些查询来代替： SELECT*FROMtagWHEREtag='mysql'; SELECT*FR...
1194 天前 / jonsonle
背景 Join在spark 项目里比较常见，相信很多同学在spark项目中都会用到，包括在58用户画像项目代码里也有一些应用，如果没有用好，将会造成程序运行得很慢或者挂掉。一提到join，很多人会认为其中必定有shuffle过程，其实这并不一定。通过一些操作，我们可以减少shuffle数据量甚至避免shuffle过程，从而减少网络传输，提高spark job的效率。下面将从spark core和spark sql两部分谈谈join。 Spark core中的join 先谈谈spark core中的join。
1549 天前 / laoyang360
0、ES6.X 一对多、多对多的数据该如何存储和实现呢？ 引出问题： “某头条新闻APP”新闻内容和新闻评论是1对多的关系？ 在ES6.X该如何存储、如何进行高效检索、聚合操作呢？ 相信阅读本文，你就能得到答案！ 1、ES6.X 新类型Join 产生背景 Mysql中多表关联，我们可以通过left join 或者Join等实现； ES5.X版本...