12 天前 / BloomingRose
《Ten Advanced SQL Concepts You Should Know for Data Science Interviews》 原文链接：https://towardsdatascience.com/ten-advanced-sql-concepts-you-should-know-for-data-science-interviews-4d7015ec74b0 随着数据量持续增长，对合格数据专业人员的需求也会增长。具体而言，对 SQL 流利的专业人士的需求日益增长，而不仅仅是在初级层面。 因此，Stratascratch 的创始人 Nathan Rosidi 以及我觉得我认为 10 个最重要和相关的中级到高级 SQL 概念。
14 天前 / linyb极客之路
点击上方蓝字关注我们 01 前言 1、p6spy 简介 P6Spy 是一个框架，无需对现有应用程序进行任何代码更改，即可无缝拦截和记录数据库数据。通过 P6Spy 我们可以对 SQL 语句进行拦截，相当于一个 SQL 语句的记录器，这样我们可以用它来作相关的分析，比如性能分析 2、实现原理 p6spy 将应用的数据源给劫持了，应用操作数据库其实在调用 p6spy 的数据源，p6spy 劫持到需要执行的 sql 或者 hql 之类的语句之后，他自己去调用一个 realDatasource，再去操作数据库 3、相关官方文档 github：https://github.com/p6spy/p6spy 官网：https://p6spy.readthedocs.io/en...
15 天前 / 路强
↓推荐关注↓ 对于当前数据库的监控方式有很多，分为数据库自带、商用、开源三大类，每一种都有各自的特色；而对于 mysql 数据库由于其有很高的社区活跃度，监控方式更是多种多样，不管哪种监控方式最核心的就是监控数据，获取得到全面的监控数据后就是灵活的展示部分。那我们今天就介绍一下完全采用 mysql 自有方式采集获取监控数据，在单体下达到最快速、方便、损耗最小。本次文章完全使用 mysql 自带的 show 命令实现获取，从 connects、buffercache、lock、SQL、statement、Database throughputs、serverconfig7 大方面全面获取监控数据。
20 天前 / BloomingRose
1 前言 在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多 SQL 语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的 SQL 就是整个系统性能的瓶颈。 2 SQL 优化一般步骤 1、通过慢查日志等定位那些执行效率较低的 SQL 语句 2、explain 分析 SQL 的执行计划 需要重点关注 type、rows、filtered、extra。 type 由上至下，效率越来越高 ALL 全表扫描 index 索引全扫描 range 索引范围扫描，常用语 =,between,in 等操作 ref 使用非唯一索引扫描或唯一索引前缀扫描，返回单条记录...
24 天前 / 逗逗
导读：Spark SQL 是字节跳动内部最重要的查询引擎之一，它每天处理百万亿级数据，单任务 Shuffle 数据量可超过 200TB。不过因为 Spark 与其它系统混合部署，因此性能与稳定性问题 都是需要重点解决的。本文由字节跳动数据仓库架构负责人郭俊在 QCon 全球软件开发大会（上海站）2019 的演讲整理而成，主要分为四个部分：第一个部分是 Spark SQL 架构简介；第二部分介绍字节跳动在 Spark SQL 引擎上的优化实践；第三部分是字节跳动在 Spark Shuffle 稳定性提升与性能优化；第四部分是 Spark SQL 未来规划与展望。
37 天前 / sjf0115
FlinkSQL 字段血缘解决方案及源码序号作者版本时间备注 1HamaWhite1.0.02022-08-09 增加文档和源码 作者邮箱： [email protected] 一、基础知识 1.1 Apache Calcite 简介 Apache Calcite 是一款开源的动态数据管理框架，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，但不包括数据存储、处理数据的算法和存储元数据的存储库。Calcite 采用的是业界大数据查询框架的一种通用思路，它的目标是“one size fits all”，希望能为不同计算平台和数据源提供统一的查询引擎。
46 天前 / 公众号Python集中营
这是我经常在编程中用到的一个报文格式的在线转换在线平台，自己拼装的报文格式总是在不经意间出现格式错误的问题。 立即前往微信小程序【知识星球】提问》>> 支持将 json 格式的报文转换为 xml 格式，输入数据库表名将 json 格式转换成 sql 语句直接插入数据库，json 对象转实体类对象等等。 json 格式检验 将 json 数据直接 copy 到编辑框中，可直接完成 json 格式的校验。 json 转 xml 格式 输入需要转换的 json 字符串，进行 json 数据到 xml 数据的直接转换。 xml 转 json 格式 输入需要转换的 xml 字符串，进行 json 数据到 json 数据的直接转换。
47 天前 / BloomingRose
MyBatis 封装了 JDBC 通过 Mapper 代理的方式，以前繁琐的操作通过“属性与字段映射”就简单化解，MyBatis 的动态 SQL 完美展现了 DBMS 的独特魅力 一、多条件查询基于 Mybatis 的多条件查询，是在 Mapper 代理的映射文件中写上原有的 SQL，然后接口中写一个带参的方法即可，就像这样： 相比于原生的 JDBC 那一套，通过 MyBatis 确实解决了不少硬编码的问题 但是用户的查询永远是动态的操作，他可能在多个条件中选择其中少量条件进行查询，我们的 SQL 是死的，而用户需求对应的 SQL 却是活的，这样就会造成不匹配而形成语法错误 比如，根据这张表...
48 天前 / ywp
如何定位不合理的 SQL 引言在应用的开发过程中，由于初期数据量小，开发人员写 SQL 语句时更重视功能上的实现，但是当应用系统正式上线后，随着生产数据量的急剧增长，很多 SQL 语句开始逐渐显露出性能问题，对生产的影响也越来越大，此时这些有问题的 SQL 语句就成为整个系统性能的瓶颈，因此我们必须要对它们进行优化，本章将详细介绍在 MySQL 中优化 SQL 语句的方法。当面对一个有 SQL 性能问题的数据库时，我们应该从何处入手来进行系统的分析，使得能够尽快定位问题 SQL 并尽快解决问题。
49 天前 / rainNight
数据是互联网的灵魂、没有数据互联网就是一个无用的空壳子，像人工智能、大数据、智能算法等。都是需要基础数据来验证模型是否是可用的，来进行调参矫正算法的可用性、帮助算法的落地，对算法起到最关键的作用。所以数据的获取以及对数据的处理就是非常重要的。 通常的数据格式是 txt、sql、excel 以及 word，其中最重要的还是 SQL 中的数据、SQL 数据包括 MySQL、SQLServer、SQLite、Oracle 等，导出的数据格式。常用的数据处理语言是 Python、因为 Python 是个胶水语言，没有 Python 搞不定的事。
52 天前 / sjf0115
前言 Join（连接）操作是大数据分析领域必不可少的操作，本文将从原理层面介绍 SparkSQL 支持的五大连接策略及其适用场景。通过本文的学习，你将会了解 Spark SQL 中五大连接策略的连接原理，并且学会根据不同的影响因素和不同的需求场景，选择合适的连接策略，从而更好地完成你的工作。五大连接策略 Spark SQL 内置了五种连接策略，分别如下所示：Broadcast Hash JoinShuffle Hash JoinShuffle Sort Merge JoinCartesian Product JoinBroadcast Nested Loop Join 这五种连接策略分别对应 SparkSQL 中五个物理操作符：BroadcastHashJoinExecShuffledHashJo...
62 天前 / yoyobill
↓推荐关注↓ 分享一篇关于 SQL 优化的硬核文章，全文有点长，建议收藏后慢慢看。 很多朋友在做数据分析时，分析两分钟，跑数两小时？ 在使用 SQL 过程中不仅要关注数据结果，同样要注意 SQL 语句的执行效率。 本文涉及三部分： SQL 介绍 SQL 优化方法 SQL 优化实例 1、MySQL 的基本架构 1）MySQL 的基础架构图 左边的 client 可以看成是客户端，客户端有很多，像我们经常你使用的 CMD 黑窗口，像我们经常用于学习的 WorkBench，像企业经常使用的 Navicat 工具，它们都是一个客户端。
65 天前 / yybbb
（点击上方快速关注并设置为星标，一起学 Python） 来源丨网络 随着数据量持续增长，对合格数据专业人员的需求也会增长。具体而言，对 SQL 流利的专业人士的需求日益增长，而不仅仅是在初级层面。 因此，Stratascratch 的创始人 Nathan Rosidi 以及我觉得我认为 10 个最重要和相关的中级到高级 SQL 概念。 1.常见表表达式（CTEs）如果您想要查询子查询，那就是 CTEs 施展身手的时候 - CTEs 基本上创建了一个临时表。 使用常用表表达式（CTEs）是模块化和分解代码的好方法，与您将文章分解为几个段落的方式相同。 请在 Where 子句中使用子查询进行以下查询。
69 天前 / BloomingRose
今天的数据驱动型企业不仅需要针对实时数据作出快速响应要，而且还必须执行复杂的查询以解决复杂的业务问题。 例如，客户个性化系统需要将历史数据集与实时数据流结合起来，以便立即向客户提供最相关的产品建议。提供关键任务的实时业务观察能力的运营分析系统也必须如此，例如，在线支付供应商需要监测其全球范围内的交易，以发现可能预示金融欺诈的异常情况。 或者想象一个网上学习平台需要为学区客户和内部客户团队提供关于学生和教师使用情况的最新洞察力。
71 天前 / 逗逗
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自网易游戏资深开发工程师林小铂在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 网易游戏 Flink SQL 发展历程基于模板 jar 的 StreamflySQL v1 基于 SQL Gateway 的 StreamflySQL v2 未来工作 Tips：点击「阅读原文」查看原文视频 &PPT～ 01 网易游戏 Flink SQL 发展历程 网易游戏实时计算平台叫做 Streamfly，这个名字取名自电影《驯龙高手》中的 Stormfly。由于我们已经在从 Storm 迁移到 Flink，所以将 Stormfly 中的 Storm 替换成了更为通用的 Stream。