2 天前 / Bloomingroses
大量 SQL 的解决方案——sdmap 最近看到群里面经常讨论大型应用中SQL 的管理办法，有人说用EF/EFCore，但很多人不信任它生成SQL 的语句；有人说用Dapper，但将SQL 写到代码中有些人觉得不合适；有人提出用存储过程，但现在舆论纷纷反对这种做法；有人提出了iBatis.NET，它可以配置确保高灵活性高性能，也提供动态SQL 的功能，但已经多年没有维护。 在几年前，我们某项目中就有总共4MB 以上的SQL 语句文本，我也注意到产品做大后会，一定出现这个问题，所以我就依照MyBatis 的核心思想，支持可配置、动态SQL，但去除了臃肿的xml，自己实现了一套简单......
7 天前 / 编程技术宇宙
前情回顾： 经过黑衣人和老周的合作，终于清除了入侵Linux帝国的网页病毒，并修复了漏洞。不曾想激怒了幕后的黑手，一场新的风雨即将来临。详情参见：一条SQL注入引出的惊天大案 1 风云再起 小Q是Linux帝国网络部负责TCP连接的公务员。 一直以来工作都很轻松，加班也少，但自从小马哥到Linux帝国开设了nginx公司，小Q的工作量一下就大了起来，经常加班，为此小Q背后没少抱怨。 一大早，nginx按时启动，绑定了80端口监听，开始了今天的营生。 没过多久，今天的第一个客户来了。 小Q还是如往常一样，收到这个带有SYN标记的数据包......
20 天前 / 平头哥的技术博文
点击上方“平头哥的技术博文”，选择“关注公众号” 技术文章第一时间送达！ 作为一名 Java开发人员，写 SQL 语句是常有的事，但是你知道 SQL 语句背后的处理逻辑吗？比如下面这条 SQL 语句： select * from user where id=1 执行完这条语句后，我们就会得到 id 为 1 的用户信息。那么对于这一条 SQL 语句，MySQL服务器做了哪些处理呢？这篇文章我们就一起打卡 MySQL 数据库中对 SQL 语句的处理逻辑。 了解 MySQL 数据库的 SQL 语句内部处理逻辑有什么好处？当我们碰到 MySQL 的一些异常或者问题时，就能够直戳本质，更为快速地......
22 天前 / 阿甘_paul
点击上方蓝 字关注~ 在Flink去重第一弹:MapState去重中介绍了使用编码方式完成去重，但是这种方式开发周期比较长，我们可能需要针对不同的业务逻辑实现不同的编码，对于业务开发来说也需要熟悉Flink编码，也会增加相应的成本，我们更多希望能够以sql的方式提供给业务开发完成自己的去重逻辑。本篇介绍如何使用sql方式完成去重。 为了与离线分析保持一致的分析语义，Flink SQL 中提供了distinct去重方式，使用方式：SELECT DISTINCT devId FROM pv 表示对设备ID进行去重，得到一个明细结果，那么我们在使用distinct来统计去重结果通常有两种方......
27 天前 / 高飞
为什么需要动态SQL在使用EF或者写SQL语句时，查询条件往往是这样一种非常常见的逻辑：如果客户填了查询信息，则查询该条件；如果客户没填，则返回所有数据。 我常常看到很多人解决这类问题时使用了错误的静态SQL的解决办法，使得数据库无法利用索引，导致性能急剧下降。 介绍数据这次我将使用我的某客户的真实数据来演示（已确认不涉及信息安全），有一个订单表FoodOrder，结构如下： 我在Id、FoodMenuId、OrderUserId上创建了非聚集索引，在OrderTime上创建了聚集索引。该表有51652条数据。 静态SQL在这种逻辑中如果想用一条SQL语句搞定所......
43 天前 / OPPO互联网技术
本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。本文主要内容如下： - OPPO 实时数仓的演进思路； - 基于 Flink SQL 的扩展工作； - 构建实时数仓的应用案例； - 未来工作的思考和展望。 一.OPPO 实时数仓的演进思路1.1.OPPO 业务与数据规模大家都知道 OPPO 是做智能手机的，但并不知道 OPPO 与互联网以及大数据有什么关系，下图概要介绍了 OPPO 的业务与数据情况： OPPO 作为手机厂商，基于 Android 定制了自己的 ColorOS ......
52 天前 / 阿甘_paul
点击上方蓝 字关注~ 本篇幅介绍Flink Table/SQL中如何自定义一个表函数(TableFunction)，介绍其基本用法以及与源码结合分析其调用流程。 基本使用表函数TableFunction相对标量函数ScalarFunction一对一，它是一个一对多的情况，通常使用TableFunction来完成列转行的一个操作。先通过一个实际案例了解其用法：终端设备上报数据，数据类型包含温度、耗电量等，上报方式是以多条方式上报，例如： 现在希望得到如下数据格式： 这是一个典型的列转行或者一行转多行的场景，需要将data列进行拆分成为多行多列，先看下代码实现： public cla......
56 天前 / 阿甘_paul
点击上方蓝 字关注~ 本篇幅介绍Flink Table/SQL中如何自定义一个聚合函数，介绍其基本用法、撤回定义以及与源码结合分析每个方法的调用位置。 基本使用Flink Table/SQL Api中自带了一些常见的聚合函数，例如sum、min、max等，但是在实际开发中需要自定义符合业务需求的聚合函数，先从一个实际案例入手：设备随时上报状态，现在需要求出设备的当前最新状态。分析：设备上报状态会产生多条数据，现在只需要最新的状态数据即可，很明显这是多对一的聚合类型的操作，聚合逻辑是每次保留设备的最新状态与时间，下次设备上报数据时间与保留的数据......
62 天前 / 算法与编程之美
欢迎点击「算法与编程之美」↑关注我们！ 本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。 问题描述 前些时日，在玩手机的时候，偶然看到了一个博主的推文。文章的题目中，提到了“竟然连SQL都不会”。由于这段时间在学习数据库，所以对于SQL等字眼特别敏感。所以，对于这篇文章，我自然要读一读。 文章中讲到的其他方面这里不再过多的赘述。我从里面copy出了一道求职相关岗位时，会遇到的一道基础笔试题。我将在本文中对该题进行详细的解答。 题目如下： 这里有一个成绩信息表info_table，每条记录是学生的......
62 天前 / 过往记忆大数据
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。以下是字节跳动数据仓库架构负责人郭俊的分享主题沉淀，《字节跳动在Spark SQL上的核心优化实践》。 团队介绍 数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如 Spark SQL / Druid 的二次开发和优化。 概括今......
68 天前 / hyper0x
点击上方蓝色“Go语言中文网”关注我们，领全套Go资料，每天学习Go语言 摘要本文旨在对如何用 Go 语言构建LL(1) 文法的解析器[1]——此例用来解析 SQL 请求——作出简要的介绍。只需要读者具有极少的编程能力（函数、结构体、条件语句和 for 循环）。 如果你想直接跳过文章直接看结果，这里是完成后的解析器代码仓库： https://github.com/marianogappa/sqlparser 为了简化而放弃的内容我们不会实现一些 SQL 中的复杂特性，包括子选择、函数、复杂的嵌套表达式等。但是这些特性都可以很快使用我们的策略来实现。 简要的理论介绍一个语法分析器......
80 天前 / php-v
作者介绍 罗瑞星，易果集团数据架构专家，TiDB User Group (TUG) 上海区 Leader。 TiDB的应用 易果集团的实时数仓其实很早就已经存在了，在业务量还没有那么大的时候，当时我们只用了一台SQL Server就能够满足需求了，因为数据量不大，所以存储过程一般也就1-2分钟就能跑完，同时也能够保证实时和T+1数据的一致性。 回过头来看，这样做的好处也显而易见，一台机器比较好维护，在数据量不大的时候还是非常适合的，但是一旦碰到大促或者搞活动的时候一些存储过程就非常容易装死了，有时候可能碰到30-40分钟才能跑完的情况。 ......
80 天前 / 软件工程师涨薪姿势
在面试的环节中，面试官问到：你是如何设计你的表结构的，画一下E-R图？接着又继续深挖，如果有慢查询，你是如何优化你的sql的？ 今天，我就来和大家讲讲要怎么回答这道问题。首先，我们要稳住不要慌，自己是自己亲手做的项目，第一个问题应该都不大，第二个问题就需要在面试之前做好充分的准备啦… 在回答问题之前先要了解查询的流程：查询是由一系列的子任务组成的，包括从客户端，到服务器，然后在服务器上进行解析，生成执行计划，执行，并返回结果给客户端。其中“执行”可以认为是整个生命周期中最重要的阶段，这其中包括了大量为了检......
87 天前 / 尹千觞
这本应该是《我也能写数据库》系列文章中的一篇，但是最近一直在反思这个系列标题是不是有点不亲民，所以，暂时放弃这个系列标题了。 本文会介绍如何扩展Calcite的SQL解析器使之更符合你的业务需求，或是特殊的语法需求，以前的文章里我们介绍过如何撰写UDF，其实这些都是对SQL进行扩展，只是我们今天会对SQL的结构进行扩展。用一句简单的话说，就是如何定义属于你自己的SQL语法。 Calcite 使用 javacc作为语法解析器，并且使用freemarker作为模板引擎，在编译的时候，freemarker会将配置文件与模板语法文件以及附加文件整体生成最终......