8 天前 / 大数据架构师
Apache ShardingSphere 5.0.0-beta 深度解析的第一篇文章和大家一起重温了 ShardingSphere 的内核原理，并详细阐述了此版本在内核层面，特别是 SQL 能力方面的优化和提升。强大稳定的内核是 ShardingSphere 持续发展的基础，与此同时，ShardingSphere 在研发分布式数据库生态特性上也在努力摸索。本次 5.0.0-beta 版本发布的 DistSQL，用于搭配整个 ShardingSphere 分布式数据库体系，在提供更标准化的分布式数据库管理方式的同时，兼具灵活、便捷和优雅的特性。
9 天前 / BloomingRose
今天和大家聊一个常见的问题：慢 SQL。 通过本文你将了解到以下内容： 慢 SQL 的危害 SQL 语句的执行过程存储引擎和索引的那些事儿慢 SQL 解决之道后续均以 MySQL 默认存储引擎 InnoDB 为例进行展开，话不多说，开搞！ 1.慢 SQL 的危害慢 SQL，就是跑得很慢的 SQL 语句，你可能会问慢 SQL 会有啥问题吗？ 试想一个场景： 大白和小黑端午出去玩，机票太贵于是买了高铁，火车站的人真是乌央乌央的。 马上检票了，大白和小黑准备去厕所清理下库存，坑位不多，排队的人还真不少。
13 天前 / HelloGitHub
原文地址：SQL queries don't start with SELECT 原文作者：Julia Evans（已授权） 译者 & 校正：HelloGitHub- 小熊熊 & 卤蛋 日常使用中写 SQL 查询命令都是以 SELECT 开始的（注意：本文仅探讨 SELECT 查询，不涵盖 insert 或其他 SQL 命令）。 昨天我想到一个问题：可以用 WHERE、HAVING 或者其他方式来过滤窗口函数执行结果吗？ 经过一番探索，我得出的最终结论是否定的，因为窗口函数必须在 WHERE 和 GROUP BY 之后才能运行。
28 天前 / 微观技术
大家好，我是 Tom 哥~ 我们都知道，业务开发涉及到数据库的 SQL 操作时，一定要 review 是否命中索引。否则，会走 全表扫描，如果表数据量很大时，会慢的要死。 假如命中了索引呢？是不是就不会有慢查询？ 殊不知，我们习以为常的常识有时也会误导我们！ 人生好难！ 聊这个话题，要有一定技术基础，需了解 B+ 树的存储结构 如果不是很清楚的话，先看下之前一篇文章，有详细介绍 面试题：mysql 一棵 B+ 树可以存多少条数据？ 1、工作准备：建表，造数据 首先创建一张 user 表，并创建一个 id 的主键索引，和一个 user_name 的普通索引。
34 天前 / sjf0115
摘要：本文由社区志愿者陈政羽整理，Apache Flink 社区在 5 月份发布了 1.13 版本，带来了很多新的变化。文章整理自徐榜江 ( 雪尽)5 月 22 日在北京的 Flink Meetup 分享的《深入解读 Flink SQL 1.13》，内容包括： Flink SQL 1.13 概览核心 feature 解读重要改进解读 FlinkSQL 1.14未来规划 总结 Tips：点击文末「阅读原文」即可查看更多技术干货～ GitHub 地址 https://github.com/apache/flink 欢迎大家给Flink点赞送 star~ 一、Flink SQL 1.13 概览 Flink 1.13 是一个社区大版本，解决的 issue 在 1000 个以上，通过上图我们可以看到...
44 天前 / 码匠赵铁柱
今天和大家聊一个常见的问题：慢 SQL。 通过本文你将了解到以下内容： 慢 SQL 的危害 SQL 语句的执行过程存储引擎和索引的那些事儿慢 SQL 解决之道后续均以 MySQL 默认存储引擎 InnoDB 为例进行展开，话不多说，开搞！ 1.慢 SQL 的危害慢 SQL，就是跑得很慢的 SQL 语句，你可能会问慢 SQL 会有啥问题吗？ 试想一个场景： 大白和小黑端午出去玩，机票太贵于是买了高铁，火车站的人真是乌央乌央的。 马上检票了，大白和小黑准备去厕所清理下库存，坑位不多，排队的人还真不少。
44 天前 / Yourtion
SQL（Structured Query Language）作为一种领域语言（编程语言），最早用于关系型数据库，方便管理结构化数据；SQL 由多种不同的类型的语言组成，包括数据定义语言，数据控制语言、数据操作语言；各数据库产品都有不同的声明和实现；用户可以很方便的使用 SQL 操作数据，数据库系统中的词法语法分析器负责分析和理解 SQL 文本的含义，包括词法分析、语法分析、语义分析 3 部分。经过词法语法分析器生成 AST（Abstract Syntax Tree），会被优化器处理生成生成执行计划，再由执行引擎执行，下图以 MySQL 架构为例展示词法语法分析器所处的位置。
48 天前 / reesunhuang
“经常看到由于慢查询引起生产故障的文章，在高并发的业务场景，一条慢 SQL 可能导致上百万甚至更高的资损。开发带来的慢 SQL 主要来源于三个方面：”已有业务运行中的 SQL、新增业务增加的 SQL、日常业务查询的 SQL“。针对已有业务运行中的 SQL 可以通过细化的监控、慢查询分析、事物分析等手段防止它们对业务带来影响；针对新上线的 SQL 可以通过给开发提管控要求，平台对 bad SQL 进行自动预判；这篇聊聊如何保证日常业务查询 SQL 对生产的影响，即构建稳定健壮的统一查询平台。
48 天前 / HueiFeng
源宝导读：在企业建设信息化的过程中，客户通常会使用一些数仓工具来构建数据资产，随着用户的要求越来越高，传统的 ETL 技术已经无法满足客户的实时性诉求，本文将分享“天际 - 数据平台”如何基于 SQL Server 来实现数仓数据的实时更新。一、实现思路为了提升数据的时效性，最简单的方法是将 ETL 的频率设置为每分钟一次或更短，以达到数据及时更新的目的。很显然，这种方案会给服务器造成很大的压力，有些 ETL 的执行时长甚至超过了调度周期，并不是一个可行的方案。
49 天前 / 逗逗
对于我们数据仓库工程师来说，写 SQL 就是家常便饭。但 SQL 如果写的不好，就很容易引起性能问题。那我们如何去定位我们的 SQL 会不会有性能问题呢？ 在 Spark SQL 中，其实也不止 Spark SQL，所有的 SQL 执行引擎都会提供执行计划给我们，让我们能直观看到我们的 SQL 到底是如何被执行的，是否按照我们的预期执行，然后我们可以针对性的进行优化。 但是，对于不熟悉执行计划的人来说，特别是没有很深入用过 Spark Core 的人来说，执行计划看起来可能特别难懂。 在这篇文章中，我会详细介绍执行计划中的每个点。
51 天前 / 尹千觞
Spark SQL 的 Catalyst ，这部分真的很有意思，值得去仔细研究一番，今天先来说说 Spark 的一些扩展机制吧，上一次写 Spark，对其 SQL 的解析进行了一定的魔改，今天我们按套路来，使用砖厂为我们提供的机制，来扩展 Spark... 首先我们先来了解一下 Spark SQL 的整体执行流程，输入的查询先被解析成未关联元数据的逻辑计划，然后根据元数据和解析规则，生成逻辑计划，再经过优化规则，形成优化过的逻辑计划（RBO），将逻辑计划转换成物理计划在经过代价模型（CBO），输出真正的物理执行计划。 我们今天举三个扩展的例子，来进行说明。
56 天前 / vivo互联网技术
作者：vivo 互联网服务器团队 -Li Lei 一、背景 1.1 传统 Mybatis 的弊端 1.1.1 场景描述 假设有两张表：一张商品表、一张订单表，具体表的字段如下： 现有如下需求： 分别根据 id 查询商品表和订单表所有信息根据支付状态和通知状态查询订单表信息对订单表增加一个订单状态，根据订单状态查询订单信息 1.1.2 需求 需求 a：根据 id 查询商品表：@Select(" SELECT p.id ,p.name ,p.picture ,p.type ,p.price, p.type, p.time FROM product p where id = #{id} ")List getProductsBYId(@Param("id") Integer id); 根据 id 查询订单表所有信息：@Se...
61 天前 / cqlaywin
背景是这样的，笔者到了一家新公司，拿到了一个老项目，通过交接和粗略的view发现项目有点乱，二话不说，先把工程跑起来……看到了一块涉及到库操作的业务逻辑，发现控制台没打印sql，还是二话不说，加上了如下配置：
1mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl很显然sql日志会输出到控制台.后来同事反馈给我说sql文件没sql输出了，问是不是这个添加导致的，然后笔者就开启了debug.
首先看到日志配置文件，发现本身有mapper的日志配置，如下：
123
65 天前 / 过往记忆大数据
在几乎所有处理复杂数据的领域，Spark 已经迅速成为数据和分析生命周期团队的事实上的分布式计算框架。Spark 3.0 最受期待的特性之一是新的自适应查询执行框架 (Adaptive Query Execution，AQE)，该框架解决了许多 Spark SQL 工作负载遇到的问题。AQE 在 2018 年初由英特尔和百度组成的团队最早实现。AQE 最初是在 Spark 2.4 中引入的， Spark 3.0 做了大量的完善和优化。另外，Spark 3.0 的动态分区修剪（Dynamic Partition Pruning， DPP）也为一些工作负载带来了性能提升。本文将详细介绍这两种优化的原理。
97 天前 / 铭毅天下001
1、由两个线上问题说开去问题 1：用 Elasticsearch 做宽表的报表查询，我们打算用 jdbc 的方式访问，方便开发（使用 sql），这种方式还是用 JAVA 封装的方法好。有没有坑？ 问题 2：Elasticsearch 可以用脚本写 sql ，像执行 hive 脚本一样吗？ 2、问题解读问题 1 涉及选型问题，我们会条分缕析解读。 问题 2 涉及 Elasticsearch 是否支持 SQL 功能。 3、Elasticsearch SQL 到底指什么？一句话：能像关系型数据库如 Mysql 中使用 SQL 方式一样方便的实现 Elasticsearch 增、删、改、查（尤其是检索、聚合）等的操作。