8 天前 / 360技术
奇技指南 XSQL是由360统一计算团队开源的一款低门槛、更稳定、多数据源的分布式查询引擎。它允许你快速、近实时地查询大量数据。 背景 近年，大数据领域涌现出了多种多样的数据存储、数据计算的框架或工具，但是却没有统一的标准，外加大数据技术之间的层层壁垒，导致了门槛高和不够稳定两个问题。 第一个问题实际上包括了学习曲线陡峭、可维护性低、部署不可控等。 各种数据源从存储格式到执行引擎，都有非常大的差别。由于SQL是目前被广泛接受的行业标准，且门槛很低，所以部分数据源或者计算引擎提供了对SQL的支持。尽管如此，各种......
15 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 不啰嗦，直接入正题。问题是这样的。请问下面的sql语句，要想加快查询速度，该怎么创建索引？以下，以mysql数据库为准。 select * from test where a= and b> order by c limit 0,100结果可能会出乎你的意料。我们首先准备一下运行环境，然后按照最左前缀原则和explain关键字来进行验证。结果真是颠覆了xjjdog多年的认知。 准备阶段为了进行验证，我们创建一个简单的数据表。里面有a、b、c三个简单的int字段。 CREATE TABLE `test` ( `id` int(11) NOT NULL, `a......
21 天前 / bug9004
首发于Presto 源码阅读写文章Presto 源码阅读： Overviewqw qw蒟蒻2 人赞同了该文章Presto 是 Facebook 搞的一个分布式 SQL 执行引擎。它自身不存数据，通过 Connector 从 Hive，Cassandra 等数据源拉数据到 worker 上进行 join，aggregate 等操作。一个 Presto 集群一般长这样： 其中Presto CLI 是客户端的工具，Coordinator 就是一般说的 master，Coordinator 通过 Hive 等数据源的接口拿到 metadata，对 query 进行处理之后分发到若干 worker 上干事。 一个 query 变成执行计划需要经过这些步骤： 一条query会先被parse成AST，Logica......
32 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 为什么考察SQL？ 大数据分析工程师80%的时间都在与SQL打交道，通过SQL完成业务方的各种临时性需求分析和常规性报表统计。熟练的SQL技能能够大大提高工作效率。本文将SQL/SparkSql/HiveQL放在一起来梳理一份常见题型的面试题库。 面试题库 01SQL基础知识考察 对于面试初级数据分析师来说，SQL的面试重点会放在基础知识的考察，如果最基本的基础概念和语法都不能熟练回答出来的话，通过面试的几率就会很低。下面两张图是SQL基础概念......
55 天前 / 公众号_肥朝
前言我们先来看一下阿里开发手册的描述 手册上写着【强制】，但是肥朝相信很多同学项目里面的代码都不满足这个要求。但是关键问题是，不用join，这SQL究竟要怎么写啊！ 高性能MySQL高性能MySQL这本书相信大家都看过，在分解大的查询这部分提到。 分解关联查询，即对每个要关联的表进行单表查询，然后将结果在应用程序中进行关联。下面的这个查询： SELECT*FROMtag JOINtag_postONtag_post.tag_id=tag.id JOINpostONtag_post.post_id=post.id WHEREtag.tag='mysql'; 可以分解成下面这些查询来代替： SELECT*FROMtagWHEREtag='mysql'; SE......
59 天前 / yaya
女主宣言 今天我们简要概述我们尚未讨论的SQL优化的其他几个方面。以及对我们SQL性能和优化的四个部分文章进行总结。希望对大家在SQL性能优化方面有所帮助。 PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！ SQL性能第1篇：关系优化 SQL性能第2篇：查询分析和访问路径制定 SQL性能第3篇：多表访问方法 今天的文章总结了我们对SQL性能和优化的四个部分。 第一部分介绍并解释了关系优化；第二部分回顾了查询分析，介绍了单表访问路径的制定方法；第三部分介绍了多表SQL优化……今天我们简要概述了我们尚未讨......
60 天前 / 大叔据
不可否认的是 SQL 是一个伟大的发明，它让增删改查的操作更加地便捷化，而且 SQL 的学习成本相对其他编程语言来说较低，被逼到会写 SQL 的运营和产品我都见过不少。。。 大数据行业跟 SQL 更是有不解之缘，可谓“万物皆可 SQL 化”，从Hive/SparkSQL等最原始的最普及的 SQL 查询引擎，到 Impala/Presto/ClickHouse/Kylin/Phoenix 等等 OLAP 引擎，再到流式的 Structured Streaming/Flink SQL/Kafka SQL，可见想彻底摆脱 SQL 是不可能的了，相比各式各样的接口，复杂的规则，SQL 化成了一个简单化的标志，因为默认IT界人人都会 SQL，那就......
77 天前 / sjf0115
本文来自6月16日上海 Spark+AI 16th Meetup，参见 https://www.slidestalk.com/m/35。分享者白泉，字节跳动数据平台工程师，专注于Spark/Hive在企业内的平台化服务化建设以及Spark SQL引擎的优化。 面对大量复杂的数据分析需求，提供一套稳定、高效、便捷的企业级查询分析服务具有重大意义。本次演讲介绍了字节跳动基于SparkSQL建设大数据查询统一服务TQS（Toutiao Query Service）的一些实践以及在执行计划调优、数据读取剪枝、SQL兼容性等方面对SparkSQL引擎的一些优化。 本文 PPT 下载：https://www.slidestalk.com/s/SparkSQL_in_ByteDance ......
85 天前 / hyper0x
女主宣言 在本文中，小编将向大家简单介绍如何在 Go 中构造 LL(1) 解析器，并应用于解析SQL查询。希望大家能用 Go 对简单的解析器算法有一个了解和简单应用。 PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！ 摘要 本文旨在简单介绍如何在 Go 中构造 LL(1) 解析器，在本例中用于解析SQL查询。 为了简单起见，我们将处理子选择、函数、复杂嵌套表达式和所有 SQL 风格都支持的其他特性。这些特性与我们将要使用的策略紧密相关。 1分钟理论 一个解析器包含两个部分： 词法分析：也就是“Tokeniser” 语法分析：A......
89 天前 / 过往记忆大数据
登录欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号：iteblog_hadoop。 文章总数：1034 浏览总数：13,381,549 评论：4084 分类目录：108 个 注册用户数：6788 最后更新：2019年6月18日 欢迎关注微信公众号： iteblog_hadoop Hadoop技术博文： bigdata_ai 一条 SQL 在 Apache Spark 之旅（中）Spark2019-06-18 08:15:05 0评论下载为PDF为什么无法评论和登录在 《一条 SQL 在 Apache Spark 之旅（上）》文章中我们介绍了一条 SQL 在 Apache Spark之旅的 Parser 和 Analyzer 两个过程，本文接上文继续介......
90 天前 / 方丈的寺院
摘要IN 一定走索引吗？那当然了，不走索引还能全部扫描吗？好像之前有看到过什么Exist,IN走不走索引的讨论。但是好像看的太久了，又忘记了。哈哈，如果你也忘记了MySQL中IN是如何查询的，就来复习下吧。
问题问题要从之前的统计 店铺数关注人数说起
SELECT shop_id, count(user_Id) as attentionNumber
FROM shop_attention
WHERE shop_id IN
95 天前 / sjf0115
也可以到我个人博客阅读（点击下面阅读原文即可） https://www.iteblog.com/archives/2561.html。昨天又写到凌晨12点啦，大家一定要点在看呀！朋友圈多多分享。 SparkSQL 是Spark众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、SparkML、Spark Graph 以及 Structured Streaming 都是运行在 Catalyst Optimization & Tungsten Execution 之上的，如下图所示： 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：it......
104 天前 / gongyouliu
上篇《大数据分析工程师入门3--SQL基础》以近1万字的篇幅给大家将SQL的基础内容系统性的讲解了一遍。 本文将在其基础之上稍作补充，主要讲讲数据分析工作中可能会用到的SQL进阶知识点。 主要讲解思路如下： 第1部分：DDL。主要讲解MySQL中针对库、表、表字段的创建、修改和删除等相关操作。 第2部分：索引。内容包括为何要建立索引，如何建立不同的索引，索引的查看和删除，以及索引的注意事项和建立原则。 第3部分：explain。内容包括explain的作用，和对其所返回信息的讲解。 第4部分：主从同步。主要讲一......