7 天前 / 尹千觞
之前已经浅谈 ( 浅析构建 SQL-to-SQL 的翻译器)，再谈 ( 再谈 SQL-to-SQL 翻译器)过两次 SQL-to-SQL 了，这次就只能又谈了，希望这个系列，还能再谈下去，我想做个 102 年的公众号。.. 这次从一张图说起，就是下面这幅图，当我画完他的时候，我就感觉无比的舒爽。让整个执行流程，可控，并且可扩展。还记得当初上学的时候，数学建模课上，老师为了“求证一张四条腿的椅子，四条腿处在一个平面上的概率”，写了满满四黑板板书，然后心满意足的，跟一脸蒙的我们说，“看，多美啊！”。我现在有点理解他当时的状态了。
18 天前 / 楼外青山
本文主要介绍什么是关联子查询以及如何将关联子查询改写为普通语义的 sql 查询。 在背景介绍中我们将讲讲常见的关联子查询的语义，关联子查询语法的好处以及其执行时对数据库系统的挑战。第二章中我们将主要介绍如何将关联子查询改写为普通的查询的形式，也就是解关联。第三章中我们会介绍解关联中的优化方法。 一 背景介绍 关联子查询是指和外部查询有关联的子查询，具体来说就是在这个子查询里使用了外部查询包含的列。 因为这种可以使用关联列的灵活性，将 sql 查询写成子查询的形式往往可以极大的简化 sql 以及使得 sql 查询的语义更加方便理解。
27 天前 / 捉虫大师
背景介绍 Cobar 简介 Cobar 是阿里开源的一款数据库中间件产品。 在业务高速增长的情况下，数据库往往成为整个业务系统的瓶颈，数据库中间件的出现就是为了解决数据库瓶颈而产生的一种中间层产品。 在软件工程中，没有什么问题是加一层中间层解决不了的，如果有，再加一层。 一款 proxy 类型（本文不讨论 client SDK 类型的数据库中间件）的数据库中间件具备以下能力： 支持数据库的透明代理，做到用户无感知能够水平、垂直拆分数据库和表，横向扩展数据库的容量和性能读和写的分离，降低主库压力复用数据库连接...
71 天前 / 逗逗
文|汪细勖小米云平台工程师、负责小米 Apache Doris 项目的开发和运维、专注于 OLAP 计算引擎的 SQL 解析和优化 导读 本文主要介绍了 Doris SQL 解析的原理。 重点讲述了生成单机逻辑计划，生成分布式逻辑计划，生成分布式物理计划的过程。对应于代码实现是 Analyze，SinglePlan，DistributedPlan，Schedule 四个部分。 Analyze 负责对 AST 进行前期的一些处理，SinglePlan 根据 AST 进行优化生成单机查询计划，DistributedPlan 将单机的查询计划拆成分布式的查询计划，Schedule 阶段负责决定查询计划下发到哪些机器上执行。
72 天前 / sjf0115
整理：戴季国（Flink社区志愿者）校对：苗文婷（Flink 社区志愿者）摘要：本文由腾讯高级工程师杜立分享，主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化，内容包括： Flink SQL 现状 窗口功能的扩展 回撤流的优化 未来的规划 Tips：点击文末「阅读原文」即可回顾作者原版分享视频～ 一、背景及现状 1.三种模式的分析 Flink 作业目前有三种创建方式：JAR 模式、画布模式和 SQL 模式。不同的提交作业的方式针对的人群也是不一样的。 ■ Jar 模式 Jar 模式基于 DataStream/DataSet API 开发，主要针对的是底层的开发人员。
82 天前 / 訢亮
前言为了便于精准排查问题，需要将当前的请求信息与当前执行的 SQL 信息设置对应关系记录下来，记录的 SQL 信息包括： 执行 SQL 的当前时间；执行 SQL 的文件地址和行号；执行 SQL 的花费时长；执行 SQL 的影响行数；执行的 SQL 语句；数据库组件使用的是 GORM。 思路 1、在执行 SQL 前，设置开始执行时间（计算执行时长会用到）；2、在执行 SQL 后，第一，获取当前请求的上下文，为什么获取上下文，因为需要从上下文中获取本次请求信息，第二，获取 SQL 执行前的时间，用来计算执行时长，第三，获取执行的 SQL 信息，然后将数据设置到 Trace 中...
106 天前 / 尹千觞
在前一篇文章中《浅析构建 SQL-to-SQL 的翻译器》，我简单的阐述整体的思想。很高兴借此认识了一些新的小伙伴，并且进行了深入的探讨。 今天我们再来做一些进一步的思考，然后再加入一点想象力，看看是否可以将深度学习引入到这个过程中来呢？接下来，我们就来说说吧。 常规 显而易见的，我们有几条路可以选， 解析阶段转换 即在源 SQL 输入进行语法解析的时候，同时构建目标 SQL 的 AST。 遍历阶段转换 即在遍历源 AST 的时候，构建目标 SQL 的 AST。 直接转换 即直接将源 AST 硬转成目标 AST。
129 天前 / 尹千觞
如果你爱一个人，就让他写 SQL，因为那是天堂。 如果你恨一个人，就让他写 SQL，因为那是地狱。 天堂，是因为他如此简单，又功能强大，可以极大简化你的程序。 地狱，是因为他如此纷繁，复杂，还有各种方言标准，而且不通用，当你试图切换数据库产品的时候，什么叫生不如死 ...... 那我们就不能构建一个统一的数据库语言么？这个真不能，不是技术上不能，而是利益趋势，大家坚守自己的方言堡垒，而且越建越高。
130 天前 / 宜信技术学院
一、场景描述 假设有两张表：一张商品表、一张订单表，具体表的字段如下： 商品表和订单表是一对多的关系，一个商品可以有多个订单。现有如下需求： 1、 发送通知需求：某一特定类别的商品，购买成功后需要发送通知给下单的客户，下单后默认通知状态为未发送，发送成功标记已发送。 2、 查询需求：查询某一用户的订单列表，列出订单信息和订单的商品信息。供给用户购买记录页面呈现使用。 二、发送通知需求 （传统 mybatis 写法 和 mybatis plus 对比） 传统的 mybatis 做 ORM 映射工具并手写 sql 的时代...
136 天前 / sjf0115
本文主要介绍 HBase 和 Flink SQL 的结合使用。HBase 作为 Google 发表 Big Table 论文的开源实现版本，是一种分布式列式存储的数据库，构建在 HDFS 之上的 NoSQL 数据库，非常适合大规模实时查询，因此 HBase 在实时计算领域使用非常广泛。可以实时写 HBase，也可以利用 buckload 一把把离线 Job 生成 HFile Load 到 HBase 表中。而当下 Flink SQL 的火热程度不用多说，Flink SQL 也为 HBase 提供了 connector，因此 HBase 与 Flink SQL 的结合非常有必要实践实践。
143 天前 / 过往记忆大数据
本文来自上周（2020-11-17 至 2020-11-19）举办的Data + AI Summit 2020（原 Spark+AI Summit），主题为《Spark SQL Beyond Official Documentation》的分享，作者 David Vrba，是 Socialbakers 的高级机器学习工程师。 实现高效的 Spark 应用程序并获得最大的性能为目标，通常需要官方文档之外的知识。理解 Spark 的内部流程和特性有助于根据内部优化设计查询，从而在执行期间实现高效率。在这次演讲中，我们将重点讨论 Spark SQL 的一些官方文档中没有很好描述的内部特性，重点在一些基本示例上解释这些特性，同时分享一些性能技巧。
174 天前 / tengzhangchao
本文是团队成员 N0b1e6 的原创技术文章！ 正文开始 ------------------------------------------------- 本期分享最新的 bypass 安全狗 技术 环境配置 安全狗 apache 版，网马版本 2020-02-19 windows2008 apache2.4 + php5.4 + mysql 5.5.53 测试脚本 SQL 注入：https://github.com/GEIGEI123/TestScript/blob/master/sqltest.php XSS：https://github.com/GEIGEI123/TestScript/blob/master/xsstest.php 一、bypass SQL 注入 先搭建测试脚本，此处使用网上大佬的脚本，里面利用了 dvwa 的数据库...
178 天前 / sjf0115
本文来自IBM 东京研究院的高级技术人员 Kazuaki Ishizaki 博士在 Spark Summit North America 2020 的 《SQL Performance Improvements at a Glance in Apache Spark 3.0》议题的分享，本文视频参见今天的推文第三条。PPT请关注过往记忆大数据并后台回复 sparksql3获取。 Spark 3.0正式版在上个月已经发布了，其中更新了很多功能，参见过往记忆大数据的Apache Spark 3.0.0 正式版终于发布了，重要特性全面解析。本文将介绍 Spark 3.0 在 SQL 方面的优化。
178 天前 / hyper0x
文末扫海报二维码领【30 份 Excel 可视化数据看板】 磊哥| 作者 Java 中文社群|来源 https://mp.weixin.qq.com/s/ZosZWVeME3V652uO1yrdoA 全文内容预览： 当然，本篇是关于性能优化的，那性能优化就应该一把梭子吗？还是要符合一些规范和原则呢？ 所以，在开始之前（MySQL 优化），咱们先来聊聊性能优化的一些原则。 1 性能优化分类和原则 性能优化一般可以分为： 主动优化 被动优化 所谓的主动优化是指不需要外力的推动而自发进行的一种行为，比如当服务没有明显的卡顿、宕机或者硬件指标异常的情况下，自我出发去优化的行为，就可以称之为主动优化。
189 天前 / 高飞
大家在学习 entityframework 的时候，都知道那 linq 写的叫一个爽，再也不用区分不同 RDMS 的 sql 版本差异了，但是呢，高效率带来了差灵活性，我们无法控制 sql 的生成策略，所以必须不要让自己缺乏好的工具去监控 sql，本篇给大家介绍的三种监控手段 Log 和 SqlServer profile，ef profile...... 一：Log 监控 这个属于 entity framework 自带的一个 Action 方法，它给大家带来了不错的用户体验，我们可以将其输出放到控制台，又或者写入到记事本中......这里我就通过 EDM 来生成 codefirst，可以看到如下的 Database 的 Log 定义...