4 天前 / yaya
女主宣言 今天我们简要概述我们尚未讨论的SQL优化的其他几个方面。以及对我们SQL性能和优化的四个部分文章进行总结。希望对大家在SQL性能优化方面有所帮助。 PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！ SQL性能第1篇：关系优化 SQL性能第2篇：查询分析和访问路径制定 SQL性能第3篇：多表访问方法 今天的文章总结了我们对SQL性能和优化的四个部分。 第一部分介绍并解释了关系优化；第二部分回顾了查询分析，介绍了单表访问路径的制定方法；第三部分介绍了多表SQL优化……今天我们简要概述了我们尚未讨......
6 天前 / 大叔据
不可否认的是 SQL 是一个伟大的发明，它让增删改查的操作更加地便捷化，而且 SQL 的学习成本相对其他编程语言来说较低，被逼到会写 SQL 的运营和产品我都见过不少。。。 大数据行业跟 SQL 更是有不解之缘，可谓“万物皆可 SQL 化”，从Hive/SparkSQL等最原始的最普及的 SQL 查询引擎，到 Impala/Presto/ClickHouse/Kylin/Phoenix 等等 OLAP 引擎，再到流式的 Structured Streaming/Flink SQL/Kafka SQL，可见想彻底摆脱 SQL 是不可能的了，相比各式各样的接口，复杂的规则，SQL 化成了一个简单化的标志，因为默认IT界人人都会 SQL，那就......
22 天前 / sjf0115
本文来自6月16日上海 Spark+AI 16th Meetup，参见 https://www.slidestalk.com/m/35。分享者白泉，字节跳动数据平台工程师，专注于Spark/Hive在企业内的平台化服务化建设以及Spark SQL引擎的优化。 面对大量复杂的数据分析需求，提供一套稳定、高效、便捷的企业级查询分析服务具有重大意义。本次演讲介绍了字节跳动基于SparkSQL建设大数据查询统一服务TQS（Toutiao Query Service）的一些实践以及在执行计划调优、数据读取剪枝、SQL兼容性等方面对SparkSQL引擎的一些优化。 本文 PPT 下载：https://www.slidestalk.com/s/SparkSQL_in_ByteDance ......
30 天前 / hyper0x
女主宣言 在本文中，小编将向大家简单介绍如何在 Go 中构造 LL(1) 解析器，并应用于解析SQL查询。希望大家能用 Go 对简单的解析器算法有一个了解和简单应用。 PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！ 摘要 本文旨在简单介绍如何在 Go 中构造 LL(1) 解析器，在本例中用于解析SQL查询。 为了简单起见，我们将处理子选择、函数、复杂嵌套表达式和所有 SQL 风格都支持的其他特性。这些特性与我们将要使用的策略紧密相关。 1分钟理论 一个解析器包含两个部分： 词法分析：也就是“Tokeniser” 语法分析：A......
34 天前 / 过往记忆大数据
登录欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号：iteblog_hadoop。 文章总数：1034 浏览总数：13,381,549 评论：4084 分类目录：108 个 注册用户数：6788 最后更新：2019年6月18日 欢迎关注微信公众号： iteblog_hadoop Hadoop技术博文： bigdata_ai 一条 SQL 在 Apache Spark 之旅（中）Spark2019-06-18 08:15:05 0评论下载为PDF为什么无法评论和登录在 《一条 SQL 在 Apache Spark 之旅（上）》文章中我们介绍了一条 SQL 在 Apache Spark之旅的 Parser 和 Analyzer 两个过程，本文接上文继续介......
35 天前 / 方丈的寺院
摘要IN 一定走索引吗？那当然了，不走索引还能全部扫描吗？好像之前有看到过什么Exist,IN走不走索引的讨论。但是好像看的太久了，又忘记了。哈哈，如果你也忘记了MySQL中IN是如何查询的，就来复习下吧。
问题问题要从之前的统计 店铺数关注人数说起
SELECT shop_id, count(user_Id) as attentionNumber
FROM shop_attention
WHERE shop_id IN
40 天前 / sjf0115
也可以到我个人博客阅读（点击下面阅读原文即可） https://www.iteblog.com/archives/2561.html。昨天又写到凌晨12点啦，大家一定要点在看呀！朋友圈多多分享。 SparkSQL 是Spark众多组件中技术最复杂的组件之一，它同时支持 SQL 查询和 DataFrame DSL。通过引入了 SQL 的支持，大大降低了开发人员的学习和使用成本。目前，整个 SQL 、SparkML、Spark Graph 以及 Structured Streaming 都是运行在 Catalyst Optimization & Tungsten Execution 之上的，如下图所示： 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：it......
49 天前 / gongyouliu
上篇《大数据分析工程师入门3--SQL基础》以近1万字的篇幅给大家将SQL的基础内容系统性的讲解了一遍。 本文将在其基础之上稍作补充，主要讲讲数据分析工作中可能会用到的SQL进阶知识点。 主要讲解思路如下： 第1部分：DDL。主要讲解MySQL中针对库、表、表字段的创建、修改和删除等相关操作。 第2部分：索引。内容包括为何要建立索引，如何建立不同的索引，索引的查看和删除，以及索引的注意事项和建立原则。 第3部分：explain。内容包括explain的作用，和对其所返回信息的讲解。 第4部分：主从同步。主要讲一......
63 天前 / buildupchao
0.简介Analyze，分析表（也称为计算统计信息）是一种内置的Hive操作，可以执行该操作来收集表上的元数据信息。这可以极大的改善表上的查询时间，因为它收集构成表中数据的行计数，文件计数和文件大小（字节），并在执行之前将其提供给查询计划程序。 1.如何分析表？基础分析语句1ANALYZE TABLE my_database_name.my_table_name COMPUTE STATISTICS;这是一个基础分析语句，不限制是否存在表分区，如果你是分区表更应该定期执行。 分析特定分区1ANALYZE TABLE my_database_name.my_table_name PARTITION (YEAR=2019, MONTH=5, DAY=12) COMPUTE STAT......
74 天前 / 宜信技术
为什么引入Hint Hint是Oracle数据库中很有特色的一个功能，是很多DBA优化中经常采用的一个手段。那为什么Oracle会考虑引入优化器呢？基于代价的优化器是很聪明的，在绝大多数情况下它会选择正确的优化器，减轻DBA的负担。 但有时它也聪明反被聪明误，选择了很差的执行计划，使某个语句的执行变得奇慢无比。此时就需要DBA进行人为的干预，告诉优化器使用指定的存取路径或连接类型生成执行计划，从而使语句高效地运行。Hint就是Oracle提供的一种机制，用来告诉优化器按照告诉它的方式生成执行计划。
79 天前 / 零售云技术
最近我们部门业务扩张需要大批量招人，我也参与面试环节（在此打个广告，若想跳槽的请关注 加V ），发现IT大佬都是"理论强，实践弱"。为什么这么讲，前几天是大版本发布日，连续遇到几个SQL索引引起的低级错误，也是开发人员轻视的一点。所以我在面试结束后会有这样的面试评语“无生产排查经验”，”无定位生产问题经验”~~ 那为什么我会写这样的批语，分析下前几天的生产问题。 开发人员都知道查询数据库若不带索引查询速度会很慢，要合理利用索引加快查询效率，那么怎么使用索引是对的呢？ 举个例子以下sql是mysql数据库，若其它数据......
89 天前 / 恒生技术君
大部分开发人员都熟悉SQL，无论用什么语言开发系统，只要用到了关系型数据库，都会涉及到SQL的使用。 在某些系统中，主要的程序逻辑都体现一个个存储过程里，例如数据中心产品，这时候，大家都认为该产品主要的开发语言是SQL，于是我们把SQL当作程序本身来看待。但是在更多的业务系统中，我们通常只需要进行普通的增删改查，SQL更多只是插入在Java或者XML文件里的一些查询语句，这个时候，开发人员只把SQL当作查询分析的工具，而不是程序来看待。 接下来为大家讲述一个工作中发生的关于SQL优化的真实故事。 这是一个用户行为分析的......
90 天前 / 小姐姐味道
真的很危险，有人因此进了局子；也有公司因此损失上亿。 想象一下你在一个月黑风高的夜晚，大概是10点多钟的样子，加班归来，打算到小卖部弄盒烟抽。 夜凉风急，你用力裹了下被风鼓起的外套。 那里有你暗恋的收银姑娘。 没日没夜的工作，只有这十几分钟，能让你感到些许生活的意义。 从羞涩的钱包里翻出仅存的一张百元大钞，结账。然后用颤抖的双手接过收银员的找零。 不是因为轻触到了她的指尖。 也并非因她如花的笑靥。 只因为，脑海里竟然不争气的浮现出这样的过程。 balance = dao.getBalance(userid) balance = balance - cost......
97 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨斌迪 这是作者的第3篇文章 SQL技能是数据分析师的必备技能，作者在之前的文章《你不知道的数据分析师》中也提到了，数据分析师50%的时间都在写SQL。 本文将从一道数据分析师的SQL面试题开始分析讲解，期间，会涉及到SQL的基础操作和分析函数的使用等知识点，然后为大家总结出了一份快速掌握SQL基础的指南，希望能够帮助到SQL初学者。 一道SQL面试题 这是一道来自百度数据部门的面试题，主要考察row_number的使用。 ......