9 天前 / 张张
●【Nacos 源码分析】- 02 获取配置流程 ●【Nacos 源码分析】- 01 ConfigService 创建流程 ●【Java 并发编程】- 03 MESI、内存屏障 ●【Spring 源码】- 11 Spring AOP 之编程式事务 ●【编程开发】- 01 日志框架 概述 SQL 路由是 Sharding-jdbc 数据分片核心流程中非常重要的一个流程 ( 见下图)，通过 SQL 路由决定了 SQL 具体会在哪些库上触发，以及具体对应的物理表是哪些等等，这节就来分析下 SQL 路由的流程。
15 天前 / sjf0115
实时计算平台，是贝壳内部统一承接实时需求和管理实时任务的平台。目前支持了公司埋点、商机、交易、商业化等若干部门的业务，目前总共运行了 570 多个实时计算任务，日志流量单日吞吐 1041 亿。 随着实时数仓等业务的推进，越来越多的任务接入到我们平台，使我们开发和运维实时任务的成本急剧升高。于是我们迫切希望能有一种快速开发和容易维护的方法，最终我们把希望的目光投向了 SQL。 我们都知道，SQL 作为一种通用的描述数据处理的语言，有着统一的标准和广泛的使用。它的学习成本低，开发效率高，行业内有着完整的生态，成熟的优化规则。
28 天前 / 过往记忆大数据
多年以来，社区一直在努力改进 Spark SQL 的查询优化器和规划器，以生成高质量的查询执行计划。最大的改进之一是基于成本的优化（CBO，cost-based optimization）框架，该框架收集并利用各种数据统计信息（如行数，不同值的数量，NULL 值，最大 / 最小值等）来帮助 Spark 选择更好的计划。这些基于成本的优化技术很好的例子就是选择正确的 Join 类型（broadcast hash join vs. sort merge join），在 hash join 的时候选择正确的连接顺序，或在多个 join 中调整 join 顺序。然而，过时的统计信息和不完善的基数估计可能导致次优查询计划。
32 天前 / 钟子敬07
一、前言最近小农在找工作，因为今年疫情的特殊原因，导致工作不是特别好找，所以一旦有面试电话，如果可以，都会去试一试，刚好接到一个面试邀请，感觉公司还不错，于是就确定了面试时间，准备了一下就去面试了。 第一轮面试是小组组长面试，通过。第二轮是经理面试也是通过了。第三轮总监面试，前面都还有模有样，突然画风一转，面试官说：“问你最后一个问题” 面试官：10W 条数据，我要从其中查出 100 条不连续的数据，给你 id，来查 name 和 password 进行展示，如何才能高性能的去使用？ 我：在 id 上建立聚簇索引，然后用 in id 来缩小表搜索范围...
38 天前 / 程序员内点事
点击“程序员内点事”关注，选择“设置星标” 坚持学习，好文每日送达！ 昨天中午在食堂，和部门的技术大牛们坐在一桌吃饭，作为一个卑微技术渣仔默默的吃着饭，听大佬们高谈阔论，研究各种高端技术，我 TM 也想说话可实在插不上嘴。 聊着聊着突然说到他上午面试了一个工作 6 年的程序员，表情挺复杂，他说：我看他简历写着熟悉 SQL 语句调优，就问了下 Explain 执行计划怎么看？结果这老哥一问三不知，工作 6 年这么基础的东西都不了解！ 感受到了大佬的王之鄙视，回到工位我就开始默默写这个，哎~ 我 TM 也不太懂 Explain ...
38 天前 / 一猿小讲
项目开发中，经常会对耗时较长的SQL进行针对性优化，而在搭建项目雏形时，统计 SQL 耗时的能力，是项目中必不可少的基础服务能力。 那么，大家平时在项目中，都是怎么实现 SQL 耗时监控的呢？ 本次结合实际项目，去看看如何实现 SQL 耗时监控？当下的绝大多数项目还是主要基于 MyBatis 技术栈完成 CRUD，接下来主要基于 MyBatis 技术栈去谈实现。1 关键位置，横插一刀，学名：拦截器。 倘若要统计 Mybatis 数据库操作的耗时，那么需要人为指定拦截 Executor 类，因为在 Mybatis 中 SQL 的操作都是从 Executor 类开始的。
50 天前 / 开发者头条
大家好，我是头条菌。我爱程序员！我的微信号：toutiaoio007，欢迎加我好友，拉你入群～ “删库跑路” 本是程序员之间的玩笑话，可一旦成为现实，上至公司老板下至员工客户，绝对笑不出来。 今天头条菌要推荐的这款神器，让 “删库跑路” 不再可能！它致力于帮助开发者快速完成 SQL 语句的审核、检测、执行、回滚等操作，使日常的 SQL 变动得以更加规范化、标准化。此外，还支持对不同操作人员进行权限划分，独立搭配任务。使用它，可以极大解放 DBA 人员的生产力，免去很多繁琐的人工审核流程，让他们可以更加专注于产品业务的细节实现。
51 天前 / 浪尖
本文整理自 Flink Forward 全球在线会议，演讲者云邪，由浪尖整理。 1. Flink table/sql 架构演变 flink 1.9 之前的版本，对于 Table API 和 SQL 的底层实现结构如下图，可以看处流处理和批处理有各自独立的 api ( 流处理 DataStream，批处理 DataSet)。而且有不同的执行计划解析过程，codegen 过程也完全不一样，完全没有流批一体的概念，面向用户不太友好。 自 flink 1.9 之后的版本，在 Flink Planner 基础上，增加了 Blink Planner，架构图如下： 自 flink 1.9 版本为了兼容老版本 Table 及 SQL 模块，插件化实现了 Planner...
63 天前 / 程序猿石头
( 请原谅我， 标题党一回， 花几分钟看看， 或许对你有帮助)背景最近工作上遇到一个”神奇”的问题， 或许对大家有帮助， 因此形成本文。 问题大概是， 我有两个表 TableA, TableB, 其中 TableA 表大概百万行级别 ( 存量业务数据), TableB 表几行 ( 新业务场景， 数据还未膨胀起来), 语义上 TableA.columnA = TableB.columnA, 其中 columnA 上建立了索引， 但查询的时候确巨慢无比， 基本上到 5-6 秒， 明显跟预期不符合。 下面我以一个具体的例子来说明吧， 模拟其中的 SQL 查询场景。
78 天前 / 唐磊
背景最近工作上遇到一个”神奇”的问题， 或许对大家有帮助， 因此形成本文。 问题大概是， 我有两个表 TableA, TableB, 其中 TableA 表大概百万行级别 ( 存量业务数据), TableB 表几行 ( 新业务场景， 数据还未膨胀起来), 语义上 TableA.columnA = TableB.columnA, 其中 columnA 上建立了索引， 但查询的时候确巨慢无比， 基本上到 5-6 秒， 明显跟预期不符合。 下面我以一个具体的例子来说明吧， 模拟其中的 SQL 查询场景。 场景重现 user_info 表， 为了场景尽量简单， 我只 mock 了其中的三列数据。 user_score表， 其中uid和user_info.uid语义一致。
86 天前 / PerfMa
控制台登录注册文章》JDK 的 sql 设计不合理导致的驱动类初始化死锁问题》JDK 的 sql 设计不合理导致的驱动类初始化死锁问题你假笨 java1 周前 问题描述当我们一个系统既需要 mysql 驱动，也需要 oracle 驱动的时候，在并发加载初始化这些驱动类的过程中产生死锁的可能性非常大，下面是一个模拟的例子，对于 Thread2 的实现其实是 jdk 里 java.sql.DriverService 的逻辑，也是我们第一次调用 java.sql.DriverManager.registerDriver 注册一个驱动实例要走的逻辑 (jdk1.6 下)...
91 天前 / wenber
SQL，一些有意思的 TIPS，希望大家有收获。一、一些常见的 SQL 实践（1）负向条件查询不能使用索引。select * from order where status!=0 andstauts!=1not in/not exists 都不是好习惯。 可以优化为 in 查询：select * from order where status in(2,3)（2）前导模糊查询不能使用索引。select * from order where desc like '%XX'而非前导模糊查询则可以：select * from order where desc like 'XX%'（3）数据区分度不大的字段不宜使用索引。select * from user where sex=1 原因：性别只有男，女，每次过滤掉的数据很少，不宜使用索引。
93 天前 / Jeffrey1029
有时候我们会遇到这样的事情：项目上线了，一切顺利，就等产品验收完毕回家睡觉了，但是产品突然来找你了： 产品：首页为什么加载这么慢 开发：数据量太大了，没办法 产品：不行，必须优化 开发：.... 这种情况，很大概率是 sql 出现慢查询了，此时我们就需要把查询 sql 拉出来优化优化了，那我们就需要使用到本文要说的 explain 命令了。 本文目的 1. 帮助大家认识 explain,遇到上述问题的时候可以到此来查阅执行计划中每个字段的意思 2.能根据慢查询的执行计划快速找到问题所在 3.提供常见的问题原因以及解决方案 explain 能干嘛 在了解 explain 之前...
98 天前 / Fundebug
前言本文将结合实例 demo，阐述 30 条有关于优化 SQL 的建议，多数是实际开发中总结出来的，希望对大家有帮助。 1、查询 SQL 尽量不要使用 select *，而是 select 具体字段。反例子： select * from employee;正例子： select id，name from employee;理由： 只取需要的字段，节省资源、减少网络开销。select * 进行查询时，很可能就不会使用到覆盖索引了，就会造成回表查询。2、如果知道查询结果只有一条或者只要最大 / 最小一条记录，建议用 limit 1 假设现在有 employee 员工表，要找出一个名字叫 jay 的人。