17 天前 / ye1s
注入点位置 增 - insert 中 查 - where 后 查 - limit 注入 查 - order by 注入 改 - update 注入 删 - delete 注入方法 union 注入 布尔盲注 时间盲注 报错注入 堆叠注入 二次注入 绕过过滤的骚操作 注释符绕过（waf） 字符串变换 过滤等号绕过 过滤空格绕过 过滤括号绕过 过滤引号绕过 过滤逗号绕过 过滤数字绕过 过滤关键字 and、or 过滤关键字 select 过滤关键字 information_schema 等 过滤其他关键字 无列名注入 分辨大小写 其他类型的注入 读写文件 写文件功能 读文件功能 Rogue-MySql-Server 任意文件读取 .mysql.history 记录了本人遇到的有关 S...
31 天前 / OPPO互联网技术
Spark SQL 小文件是指文件大小显著小于 hdfs block 块大小的的文件。过于繁多的小文件会给 HDFS 带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑战。 一般来说，通过 Hive 调度的 MR 任务都可以简单设置如下几个小文件合并的参数来解决任务产生的小文件问题： sethive.merge.mapfiles=true; sethive.merge.mapredfiles=true; sethive.merge.size.per.task=xxxx; sethive.merge.smallfiles.avgsize=xxx; 然而在我们将离线调度任务逐步从 Hive 迁移到 Spark 的过程中，由于 Spark 本身并不支持小文件合并功能，小文件问题日益突出...
44 天前 / 张张
●【Nacos 源码分析】- 02 获取配置流程 ●【Nacos 源码分析】- 01 ConfigService 创建流程 ●【Java 并发编程】- 03 MESI、内存屏障 ●【Spring 源码】- 11 Spring AOP 之编程式事务 ●【编程开发】- 01 日志框架 概述 SQL 路由是 Sharding-jdbc 数据分片核心流程中非常重要的一个流程 ( 见下图)，通过 SQL 路由决定了 SQL 具体会在哪些库上触发，以及具体对应的物理表是哪些等等，这节就来分析下 SQL 路由的流程。
50 天前 / sjf0115
实时计算平台，是贝壳内部统一承接实时需求和管理实时任务的平台。目前支持了公司埋点、商机、交易、商业化等若干部门的业务，目前总共运行了 570 多个实时计算任务，日志流量单日吞吐 1041 亿。 随着实时数仓等业务的推进，越来越多的任务接入到我们平台，使我们开发和运维实时任务的成本急剧升高。于是我们迫切希望能有一种快速开发和容易维护的方法，最终我们把希望的目光投向了 SQL。 我们都知道，SQL 作为一种通用的描述数据处理的语言，有着统一的标准和广泛的使用。它的学习成本低，开发效率高，行业内有着完整的生态，成熟的优化规则。
64 天前 / 过往记忆大数据
多年以来，社区一直在努力改进 Spark SQL 的查询优化器和规划器，以生成高质量的查询执行计划。最大的改进之一是基于成本的优化（CBO，cost-based optimization）框架，该框架收集并利用各种数据统计信息（如行数，不同值的数量，NULL 值，最大 / 最小值等）来帮助 Spark 选择更好的计划。这些基于成本的优化技术很好的例子就是选择正确的 Join 类型（broadcast hash join vs. sort merge join），在 hash join 的时候选择正确的连接顺序，或在多个 join 中调整 join 顺序。然而，过时的统计信息和不完善的基数估计可能导致次优查询计划。
67 天前 / 钟子敬07
一、前言最近小农在找工作，因为今年疫情的特殊原因，导致工作不是特别好找，所以一旦有面试电话，如果可以，都会去试一试，刚好接到一个面试邀请，感觉公司还不错，于是就确定了面试时间，准备了一下就去面试了。 第一轮面试是小组组长面试，通过。第二轮是经理面试也是通过了。第三轮总监面试，前面都还有模有样，突然画风一转，面试官说：“问你最后一个问题” 面试官：10W 条数据，我要从其中查出 100 条不连续的数据，给你 id，来查 name 和 password 进行展示，如何才能高性能的去使用？ 我：在 id 上建立聚簇索引，然后用 in id 来缩小表搜索范围...
73 天前 / 程序员内点事
点击“程序员内点事”关注，选择“设置星标” 坚持学习，好文每日送达！ 昨天中午在食堂，和部门的技术大牛们坐在一桌吃饭，作为一个卑微技术渣仔默默的吃着饭，听大佬们高谈阔论，研究各种高端技术，我 TM 也想说话可实在插不上嘴。 聊着聊着突然说到他上午面试了一个工作 6 年的程序员，表情挺复杂，他说：我看他简历写着熟悉 SQL 语句调优，就问了下 Explain 执行计划怎么看？结果这老哥一问三不知，工作 6 年这么基础的东西都不了解！ 感受到了大佬的王之鄙视，回到工位我就开始默默写这个，哎~ 我 TM 也不太懂 Explain ...
74 天前 / 一猿小讲
项目开发中，经常会对耗时较长的SQL进行针对性优化，而在搭建项目雏形时，统计 SQL 耗时的能力，是项目中必不可少的基础服务能力。 那么，大家平时在项目中，都是怎么实现 SQL 耗时监控的呢？ 本次结合实际项目，去看看如何实现 SQL 耗时监控？当下的绝大多数项目还是主要基于 MyBatis 技术栈完成 CRUD，接下来主要基于 MyBatis 技术栈去谈实现。1 关键位置，横插一刀，学名：拦截器。 倘若要统计 Mybatis 数据库操作的耗时，那么需要人为指定拦截 Executor 类，因为在 Mybatis 中 SQL 的操作都是从 Executor 类开始的。
86 天前 / 开发者头条
大家好，我是头条菌。我爱程序员！我的微信号：toutiaoio007，欢迎加我好友，拉你入群～ “删库跑路” 本是程序员之间的玩笑话，可一旦成为现实，上至公司老板下至员工客户，绝对笑不出来。 今天头条菌要推荐的这款神器，让 “删库跑路” 不再可能！它致力于帮助开发者快速完成 SQL 语句的审核、检测、执行、回滚等操作，使日常的 SQL 变动得以更加规范化、标准化。此外，还支持对不同操作人员进行权限划分，独立搭配任务。使用它，可以极大解放 DBA 人员的生产力，免去很多繁琐的人工审核流程，让他们可以更加专注于产品业务的细节实现。
87 天前 / 浪尖
本文整理自 Flink Forward 全球在线会议，演讲者云邪，由浪尖整理。 1. Flink table/sql 架构演变 flink 1.9 之前的版本，对于 Table API 和 SQL 的底层实现结构如下图，可以看处流处理和批处理有各自独立的 api ( 流处理 DataStream，批处理 DataSet)。而且有不同的执行计划解析过程，codegen 过程也完全不一样，完全没有流批一体的概念，面向用户不太友好。 自 flink 1.9 之后的版本，在 Flink Planner 基础上，增加了 Blink Planner，架构图如下： 自 flink 1.9 版本为了兼容老版本 Table 及 SQL 模块，插件化实现了 Planner...
99 天前 / 程序猿石头
( 请原谅我， 标题党一回， 花几分钟看看， 或许对你有帮助)背景最近工作上遇到一个”神奇”的问题， 或许对大家有帮助， 因此形成本文。 问题大概是， 我有两个表 TableA, TableB, 其中 TableA 表大概百万行级别 ( 存量业务数据), TableB 表几行 ( 新业务场景， 数据还未膨胀起来), 语义上 TableA.columnA = TableB.columnA, 其中 columnA 上建立了索引， 但查询的时候确巨慢无比， 基本上到 5-6 秒， 明显跟预期不符合。 下面我以一个具体的例子来说明吧， 模拟其中的 SQL 查询场景。
113 天前 / 唐磊
背景最近工作上遇到一个”神奇”的问题， 或许对大家有帮助， 因此形成本文。 问题大概是， 我有两个表 TableA, TableB, 其中 TableA 表大概百万行级别 ( 存量业务数据), TableB 表几行 ( 新业务场景， 数据还未膨胀起来), 语义上 TableA.columnA = TableB.columnA, 其中 columnA 上建立了索引， 但查询的时候确巨慢无比， 基本上到 5-6 秒， 明显跟预期不符合。 下面我以一个具体的例子来说明吧， 模拟其中的 SQL 查询场景。 场景重现 user_info 表， 为了场景尽量简单， 我只 mock 了其中的三列数据。 user_score表， 其中uid和user_info.uid语义一致。
122 天前 / PerfMa
控制台登录注册文章》JDK 的 sql 设计不合理导致的驱动类初始化死锁问题》JDK 的 sql 设计不合理导致的驱动类初始化死锁问题你假笨 java1 周前 问题描述当我们一个系统既需要 mysql 驱动，也需要 oracle 驱动的时候，在并发加载初始化这些驱动类的过程中产生死锁的可能性非常大，下面是一个模拟的例子，对于 Thread2 的实现其实是 jdk 里 java.sql.DriverService 的逻辑，也是我们第一次调用 java.sql.DriverManager.registerDriver 注册一个驱动实例要走的逻辑 (jdk1.6 下)...
127 天前 / wenber
SQL，一些有意思的 TIPS，希望大家有收获。一、一些常见的 SQL 实践（1）负向条件查询不能使用索引。select * from order where status!=0 andstauts!=1not in/not exists 都不是好习惯。 可以优化为 in 查询：select * from order where status in(2,3)（2）前导模糊查询不能使用索引。select * from order where desc like '%XX'而非前导模糊查询则可以：select * from order where desc like 'XX%'（3）数据区分度不大的字段不宜使用索引。select * from user where sex=1 原因：性别只有男，女，每次过滤掉的数据很少，不宜使用索引。