20 小时前 / 算法与编程之美
欢迎点击「算法与编程之美」↑关注我们！ 本文首发于微信公众号："算法与编程之美"，欢迎关注，及时了解更多此系列文章。 问题描述 前些时日，在玩手机的时候，偶然看到了一个博主的推文。文章的题目中，提到了“竟然连SQL都不会”。由于这段时间在学习数据库，所以对于SQL等字眼特别敏感。所以，对于这篇文章，我自然要读一读。 文章中讲到的其他方面这里不再过多的赘述。我从里面copy出了一道求职相关岗位时，会遇到的一道基础笔试题。我将在本文中对该题进行详细的解答。 题目如下： 这里有一个成绩信息表info_table，每条记录是学生的......
20 小时前 / 过往记忆大数据
10月26日，字节跳动技术沙龙| 大数据架构专场在上海字节跳动总部圆满结束。我们邀请到字节跳动数据仓库架构负责人郭俊，Kyligence 大数据研发工程师陶加涛，字节跳动存储工程师徐明敏，阿里云高级技术专家白宸和大家进行分享交流。以下是字节跳动数据仓库架构负责人郭俊的分享主题沉淀，《字节跳动在Spark SQL上的核心优化实践》。 团队介绍 数据仓库架构团队负责数据仓库领域架构设计，支持字节跳动几乎所有产品线（包含但不限于抖音、今日头条、西瓜视频、火山视频）数据仓库方向的需求，如 Spark SQL / Druid 的二次开发和优化。 概括今......
7 天前 / hyper0x
点击上方蓝色“Go语言中文网”关注我们，领全套Go资料，每天学习Go语言 摘要本文旨在对如何用 Go 语言构建LL(1) 文法的解析器[1]——此例用来解析 SQL 请求——作出简要的介绍。只需要读者具有极少的编程能力（函数、结构体、条件语句和 for 循环）。 如果你想直接跳过文章直接看结果，这里是完成后的解析器代码仓库： https://github.com/marianogappa/sqlparser 为了简化而放弃的内容我们不会实现一些 SQL 中的复杂特性，包括子选择、函数、复杂的嵌套表达式等。但是这些特性都可以很快使用我们的策略来实现。 简要的理论介绍一个语法分析器......
18 天前 / php-v
作者介绍 罗瑞星，易果集团数据架构专家，TiDB User Group (TUG) 上海区 Leader。 TiDB的应用 易果集团的实时数仓其实很早就已经存在了，在业务量还没有那么大的时候，当时我们只用了一台SQL Server就能够满足需求了，因为数据量不大，所以存储过程一般也就1-2分钟就能跑完，同时也能够保证实时和T+1数据的一致性。 回过头来看，这样做的好处也显而易见，一台机器比较好维护，在数据量不大的时候还是非常适合的，但是一旦碰到大促或者搞活动的时候一些存储过程就非常容易装死了，有时候可能碰到30-40分钟才能跑完的情况。 ......
19 天前 / 软件工程师涨薪姿势
在面试的环节中，面试官问到：你是如何设计你的表结构的，画一下E-R图？接着又继续深挖，如果有慢查询，你是如何优化你的sql的？ 今天，我就来和大家讲讲要怎么回答这道问题。首先，我们要稳住不要慌，自己是自己亲手做的项目，第一个问题应该都不大，第二个问题就需要在面试之前做好充分的准备啦… 在回答问题之前先要了解查询的流程：查询是由一系列的子任务组成的，包括从客户端，到服务器，然后在服务器上进行解析，生成执行计划，执行，并返回结果给客户端。其中“执行”可以认为是整个生命周期中最重要的阶段，这其中包括了大量为了检......
25 天前 / 尹千觞
这本应该是《我也能写数据库》系列文章中的一篇，但是最近一直在反思这个系列标题是不是有点不亲民，所以，暂时放弃这个系列标题了。 本文会介绍如何扩展Calcite的SQL解析器使之更符合你的业务需求，或是特殊的语法需求，以前的文章里我们介绍过如何撰写UDF，其实这些都是对SQL进行扩展，只是我们今天会对SQL的结构进行扩展。用一句简单的话说，就是如何定义属于你自己的SQL语法。 Calcite 使用 javacc作为语法解析器，并且使用freemarker作为模板引擎，在编译的时候，freemarker会将配置文件与模板语法文件以及附加文件整体生成最终......
51 天前 / sjf0115
徐榜江（雪尽），Apache Flink Contributor，阿里巴巴计算平台事业部高级开发工程师，目前专注于 Flink SQL 模块的开发。 本文为Flink SQL 系列文章的第二篇，前面对 Flink 1.9 Table 新架构及 Planner的使用进行了详细说明，本文详细讲解 5 个 TableEnvironment 及其适用场景，并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下： 1. TableEnvironment 简介2. 5 个 TableEnvironment 梳理3. 如何使用 TableEnvironment4. 社区未来规划 1. TableEnvironment 简介 TableEnvironment 是用来创建 Table & SQL 程序的上下文......
53 天前 / CainGao0
“Apache Flink的Table API与SQL API实现对接外部数据源的方式是Table connector直连外部数据源，Tabel connector将外部的数据源读取到Flink中进行计算或者把Apache Flink的结果写入到外部数据源之中。” Apache Flink的Table API与SQL API在前一篇中 已经提到了Table Source与Table Sink的方式对实现数据源的注册于结果的写入等。Apache Flink已经基本实现了对于的数据源的注册于写入的需求，但是仍然不够灵活，用户更加希望的可能是通过配置的方式实现对于不同数据源的选择，并且实现数据的写入。所以Apache Flink又提供了Table connec......
56 天前 / 猿天地
前言 你是否在为系统的数据库来一波大流量就几乎打满CPU，日常CPU居高不下烦恼？你是否在各种NoSql间纠结不定，到底该选用那种最好？今天的你就是昨天的我，这也是写这篇文章的初衷。 这篇文章是我好几个月来一直想写的一篇文章，也是一直想学习的一个内容，作为互联网从业人员，我们要知道关系型数据库（MySql、Oracle）无法满足我们对存储的所有要求，因此对底层存储的选型，对每种存储引擎的理解非常重要。同时也由于过去一段时间的工作经历，对这块有了一些更多的思考，想通过自己的总结把这块写出来分享给大家。 结构化数据、非结构化......
76 天前 / 360技术
奇技指南 XSQL是由360统一计算团队开源的一款低门槛、更稳定、多数据源的分布式查询引擎。它允许你快速、近实时地查询大量数据。 背景 近年，大数据领域涌现出了多种多样的数据存储、数据计算的框架或工具，但是却没有统一的标准，外加大数据技术之间的层层壁垒，导致了门槛高和不够稳定两个问题。 第一个问题实际上包括了学习曲线陡峭、可维护性低、部署不可控等。 各种数据源从存储格式到执行引擎，都有非常大的差别。由于SQL是目前被广泛接受的行业标准，且门槛很低，所以部分数据源或者计算引擎提供了对SQL的支持。尽管如此，各种......
83 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 不啰嗦，直接入正题。问题是这样的。请问下面的sql语句，要想加快查询速度，该怎么创建索引？以下，以mysql数据库为准。 select * from test where a= and b> order by c limit 0,100结果可能会出乎你的意料。我们首先准备一下运行环境，然后按照最左前缀原则和explain关键字来进行验证。结果真是颠覆了xjjdog多年的认知。 准备阶段为了进行验证，我们创建一个简单的数据表。里面有a、b、c三个简单的int字段。 CREATE TABLE `test` ( `id` int(11) NOT NULL, `a......
89 天前 / bug9004
首发于Presto 源码阅读写文章Presto 源码阅读： Overviewqw qw蒟蒻2 人赞同了该文章Presto 是 Facebook 搞的一个分布式 SQL 执行引擎。它自身不存数据，通过 Connector 从 Hive，Cassandra 等数据源拉数据到 worker 上进行 join，aggregate 等操作。一个 Presto 集群一般长这样： 其中Presto CLI 是客户端的工具，Coordinator 就是一般说的 master，Coordinator 通过 Hive 等数据源的接口拿到 metadata，对 query 进行处理之后分发到若干 worker 上干事。 一个 query 变成执行计划需要经过这些步骤： 一条query会先被parse成AST，Logica......
100 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 为什么考察SQL？ 大数据分析工程师80%的时间都在与SQL打交道，通过SQL完成业务方的各种临时性需求分析和常规性报表统计。熟练的SQL技能能够大大提高工作效率。本文将SQL/SparkSql/HiveQL放在一起来梳理一份常见题型的面试题库。 面试题库 01SQL基础知识考察 对于面试初级数据分析师来说，SQL的面试重点会放在基础知识的考察，如果最基本的基础概念和语法都不能熟练回答出来的话，通过面试的几率就会很低。下面两张图是SQL基础概念......