2 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨斌迪 这是作者的第3篇文章 SQL技能是数据分析师的必备技能，作者在之前的文章《你不知道的数据分析师》中也提到了，数据分析师50%的时间都在写SQL。 本文将从一道数据分析师的SQL面试题开始分析讲解，期间，会涉及到SQL的基础操作和分析函数的使用等知识点，然后为大家总结出了一份快速掌握SQL基础的指南，希望能够帮助到SQL初学者。 一道SQL面试题 这是一道来自百度数据部门的面试题，主要考察row_number的使用。 ......
10 天前 / 孤独键客
阅读本文大概需要 6.6 分钟。 SELECT COUNT( * ) FROM t是个再常见不过的 SQL 需求了。在 MySQL 的使用规范中，我们一般使用事务引擎 InnoDB 作为(一般业务)表的存储引擎，在此前提下，COUNT( * )操作的时间复杂度为O(N)，其中 N 为表的行数。 而MyISAM表中可以快速取到表的行数。这些实践经验的背后是怎样的机制，以及为什么需要/可以是这样，就是此文想要探讨的。 先来看一下概况:MySQL COUNT( * )在 2 种存储引擎中的部分问题： 下面就带着这些问题，以InnoDB存储引擎为主来进行讨论。 一、InnoDB 全表 COUNT( * )主要问题:执行过程......
33 天前 / sjf0115
大数据时代，数据的价值越来越被重视，企业从海量大数据中挖掘所需要的信息，用来驱动业务决策以获得更大的商业价值。 与此同时，出现了越来越多的大数据技术帮助企业进行大数据分析，例如 Apache Hadoop，Hive，Spark，Presto，Drill，以及今天我们即将介绍的 Apache Kylin 和 Apache Phoenix 项目等，都是使用 SQL 语言就可以分析大数据，极大地降低了大数据的使用门槛。 这些大数据技术提供 SQL 查询接口，不只是因为 SQL 学习成本低，同时也和 SQL 拥有丰富而强大的表达能力、能满足绝大多数的分析需求的特性有关系。 了解 Apache......
35 天前 / superTerrorist
IF NOT EXISTS是可选的，但推荐使用，它会先检查是否有有同名表，如果没有则创建。storage_engine MySql 支持多种存储引擎: MyISAM、InnoDB、MERGE、MEMORY (HEAP)、ARCHIVE、CSV、FEDERATED，如果没有指定，默认值是InnoDB在创建表的时候需要给定字段（或列名），格式如下： column_name data_type(length) [NOT NULL] [DEFAULT value] [AUTO_INCREMENT]如果需要使用主键，可以使用以下语法： PRIMARY KEY (col1,col2,...)例子CREATE TABLE IF NOT EXISTS tasks (task_id INT AUTO_INCREMENT,title VARCHAR(255) NOT NULL,start_date DATE,due_d......
39 天前 / wlxwolves
公众号代码阅读体验不好，可以点击“阅读原文”查看。 本文基于 Flink 1.7。 随着 Hadoop 的发展，有了Hive，使用HQL 即可完成原来繁琐的Map Reduce 程序。 随着 Spark的发展，引入了 Spark SQL。 随着 Flink 版本的更迭，Flink 也提供了Flink SQL，以及 Table APIs。 注意：截止 Flink 1.7，Table API 和 SQL 还没有完成，有些操作还不支持。 1. 基本概念1.1 Why那么，为什么要推出Table APIs和SQL？ 首先，来看下Flink 的编程模型。如下图所示（图片来源于官网），DataStream API 和 DataSet API 是分开的，但是对于应用开发者来说，为什......
39 天前 / 码一丶
介绍此文为 SQL to Pandas 系列第二篇 可先阅读 【Python】SQL to Pandas 速查表（一） 补充上篇 JOIN 内容本篇将解构下面的SQL查询句式, 使用Pandas进行实现 SQL 查询句式 SELECTDISTINCT[字段] FROM[表]JOIN[bin]ON[连接条件] WHERE[过滤条件] GROUPBY[字段] HAVING[条件] ORDERBY[字段]DESC LIMIT[个数]OFFSET[个数] 读取评论数据df_comments=pd.read_sql(sql="select*fromcomments",con=conn) 数据预览 df_comments idstudent_idcontent011测试评论1125测试评论5232测试评论2343测试评论3451测试评论11569测试评论9JOIN(INN......
45 天前 / 码一丶
介绍SQL是用于访问和处理数据库的标准的计算机语言。 常用于数据库管理系统（RDBMS）中， 这类数据库包括MySQL、SQL Server、Oracle等。 Pandas是一个开源的，为Python提供高性能的，数据结构以及数据分析工具。 在熟练地使用SQL的同时，为满足一些的业务需求，常常需要我们将数据提取后，再对数据进行统计分析，那应该如何使用Pandas达到和SQL一样的效果呢？ 下面的速查表将会逐一使用Pandas对常见的SQL语句进行映射。 本篇内容本篇将解构下面的SQL查询句式, 使用Pandas进行实现 SQL 查询句式 SELECTDISTINCT[字段] FROM[表]JOIN[bin]O......
59 天前 / RyuGou
很多时候，我们的程序出现的“性能问题”，其实是我们自己写的那"坨"代码的问题，是自己Coding的问题，是Mysql的DML语句使用的问题。以下是我总结的关于MySQL DML语句的使用中需要注意的点。 对于select*要时刻保持谨慎的态度绝大多数情况，是不需要 select*的。一旦使用了这种语句，便会让优化器无法完成索引覆盖扫描这类优化，而且还会增加额外的I/O、内存和CPU的消耗。当然，使用 select*也并不是全是坏处，合理的使用 select*可以简化开发，提高相同代码的复用性。 是否扫描的太多额外的记录有时候会发现某些查询可能需要读取几千行数据，但......
61 天前 / 杀死那个程序员
昔日庖丁解牛，未见全牛，所赖者是其对牛内部骨架结构的了解，对于MySQL亦是如此，只有更加全面地了解SQL语句执行的每个过程，才能更好的进行SQL的设计和优化。 当希望MySQL能够以更高的性能运行查询时，最好的办法就是弄清楚MySQL是如何优化和执行查询的。一旦理解了这一点，很多查询优化工作实际上就是遵循一些原则能够按照预想的合理的方式运行。 如下图所示，当向MySQL发送一个请求的时候，MySQL到底做了什么： 客户端发送一条查询给服务器。 服务器先检查查询缓存，如果命中了缓存，则立刻返回存储在缓存中的结果。否则进入下一阶段。 服......
69 天前 / 雷语
自动化＋一些原则让测试更有效、发布周期更短，而且商业风险更低。 by Thomas A.Limoncelli 原文地址：(https://queue.acm.org/detail.cfmid=3300018) 译者按：DevOps 实践火遍大江南北，从一线大厂扩展推行至传统软件企业，但涉及数据库时都多少有些为难。顾介绍相关实践，以供大家借鉴。 有朋友最近告诉笔者，“我们做不了 DevOps，我们使用了关系数据库。“笔者听罢，差点从椅子上摔倒。这个观点在很多层面都是错误的。“你不了解我的处境！”他拒绝道。“DevOps 意味着我们需要更高频率的部署我们软件的发布版本！现在我们不能控制部署，我......
84 天前 / yangyidba
本文讲述调整sql逻辑达到优化目的案例 一前言前面一篇文章说过在有赞的数据库运维体系里面，每个实例会部署相应的sql-killer工具，实时处理耗时比较长的查询。 业务方报执行某个功能时，系统报错Query execution was interrupted，显然sql被kill了。和开发沟通业务逻辑如下: 系统会获取满足参加特定活动且满足一定次数的商家,然后做其他相关操作。二 分析前文<业务优化案例一则>分析过sql变慢的原因大概有如下几种: sql 语句本身索引不合理，导致执行缓慢。 使用合理的索引但是获取的数据量非常多，依然会慢查。 网络丢包重传导致sql变......
110 天前 / 小姐姐味道
在《“分库分表” ？选型和流程要慎重，否则会失控》中，我们谈到处于驱动层的sharding-jdbc。开源做到这个水平，已经超棒了，不像tddl成了个太监。但还是有坑。 不过不能怪框架，毕竟有些sql，只有程序和鬼能懂。 不......
121 天前 / 头条机器人
前言MLSQL-Cluster 在v1.1.6版本中发布。随着MLSQL部署的实例愈发的增多，有给各条业务线部署的MLSQL instances group,也有给算法组，研发组等等部署的单独MLSQL instances group. 我们希望所有这些MLSQL 实例能够被： 统一的管理组内的负载均衡不同组之间互相借用资源同组内的MLSQL 实例数动态调整MLSQL-Cluster 实现了相关功能。架构图如下： WX20181205-105228@2x.png构建MLSQL-Cluster配置数据库。 在MySQL中创建名为streamingpro-cluster的DB,拷贝db.sql文件并运行创建相关表。打包mlsql-cluster:mvn -Pcluster-shade -am -pl streamingpro-......
125 天前 / 小米运维
本文详细介绍了不同版本中Elasticsearch SQL的使用方法，总结了实际中常用的方法和操作，并给出了几个具体例子。 上篇文章回顾：看示例学awk 一、5.x中ES-SQL用法Elasticsearch 5.x版本中，SQL功能还没有集成到Elasticsearch源码中，需要下载第三方插件后才能使用，配置过程如下： 1.安装ES-SQL依赖node npm ES-SQL 5.x版本以后，安装需要依赖node和npm，先安装node和npm，安装后在检查node及npm的安装，命令如下： yum -y install nodejs npmnode -vnpm -v 2.下载ES-SQL并安装 然后切换到ES的根目录下，执行如下命令，下载并安ES-SQL......
176 天前 / 小米运维
本文简述了SOAR的下载安装和使用方法，并介绍了SOAR的基础设置和应用的四个场景。 上篇文章回顾：基于线性回归的故障恢复时间预测 在10月20日的开源先锋日（OSCAR）上，小米开源了自研的SOAR（SQL Optimizer And Rewriter）。这是一款智能SQL优化和改写工具，开发人员可以直接通过此工具快速的对自己的SQL进行质量检查，生成评...