5 天前 / HueiFeng
1 什么是数据倾斜 数据倾斜即指在大数据计算任务中某个处理任务的进程（通常是一个 JVM 进程）被分配到的任务量过多，导致任务运行时间超长甚至最终失败，进而导致整个大任务超长时间运行或者失败。外部表现的话，在 HiveSQL 任务里看到 map 或者 reduce 的进度一直是 99% 持续数小时没有变化；在 SparkSQL 里则是某个 stage 里，正在运行的任务数量长时间是 1 或者 2 不变。总之如果任务进度信息一直在输出，但内容长时间没有任何变化的时候，大概率是出现数据倾斜了。
12 天前 / u128287
本文根据魏亚东老师在〖2021 DAMS 中国数据智能管理峰会〗现场演讲内容整理而成。 （点击文末“阅读原文”可获取完整 PPT） 讲师介绍 魏亚东，中国工商银行 软件开发中心三级经理，资深架构师，杭州研发部数据库专家团队牵头人和开发中心安全团队成员，负责技术管理、数据库、安全相关工作，目前负责 SaaS 云产品建设。2009 年加入中国工商银行软件开发中心，致力于推动管理创新、效能提升，提供全面技术管控，推动自动化实施，实现业务价值的高质量快速交付；同时作为技术专家，为生产安全提供技术支持。
27 天前 / sjf0115
作者简介：马阳阳 达达集团数据平台高级开发工程师，负责达达集团计算引擎相关的维护和开发工作 本文主要介绍了达达集团使用基于开源的 Flink Stream SQL 开发的 Dada Flink SQL 进行实时计算任务 SQL 化过程中的实践经验 01 背景 时间回到 2018 年，在数据平台和数据团队的共同努力下，我们已经有了完整的离线计算流程，完善的离线数仓模型，也上线了很多的数据产品和大量的数据报表。随着业务的发展，我们也逐渐面临着越来越多的实时计算方面的需求。随着 Flink 在国内的逐渐流行，实时计算也越来越多地进入我们的视野。
34 天前 / 逗逗
点击上方卡片进入五分钟学大数据主页 然后点击右上角 “设为星标” 比别人更快接收好文章 本套 SQL 题的答案是由许多大佬共同贡献，1+1 的力量是远远大于 2 的，有不少题目都采用了非常巧妙的解法，也有不少题目有多种解法。本套大数据 SQL 题不仅题目丰富多样，答案更是精彩绝伦！ 非常感谢五分钟学大数据读者群以下大佬的贡献：Mr.S、后会无期、我就是我、涛声依旧、徐明、 蛋白、只争朝夕、魏明、十六画生、John.Xiong、南无、。
52 天前 / 一日思考
在 SQL 语句中，SELECT 语句是必须要重点掌握的语句之一。这里我们学习一下查询语句。 SELECT 语法我们以 PostgreSQL 中的 SELECT 语法为例，其他数据库基本相同，只有少数地方不同（比如 limit 等，oracle 有 rownum），使用时请注意。 SELECT[ALL|DISTINCT[ON(expression[,...])]]-- ALL:查询结果是表的全部， DISTINCT：查询结果是不包含重复行的记录集 [*|expression[[AS]output_name][,...]]--*：所有列 [FROMfrom_item[,...]]--查询的数据来源 [WHEREcondition]--where 子句...
53 天前 / 一日思考
对于数据库内核开发者或者使用者，必须要熟悉 SQL，可以从《SQL 必知必会》入门，讲解了 SQL 较为基础的内容，快速对 SQL 建立全貌的认识。另外通过这本书，你可以了解到不同数据库语法的不同（不同的地方不多，但需要注意）。注意，这里是阅读本书所做的笔记，所以不像写文章那样较有逻辑性。可能里面的内容是较为零散的。 主要涉及到的数据库： IBM DB2OracleMySQL、MariaDBPostgreSQLSQL ServerSQLite 第 1 课 了解 SQLSQL 结构化查询语言（Structure Query Language）。
56 天前 / 编程一生
优化的必要性和急迫性分析 真的有必要优化吗？ 在《容易引起雪崩的两个处理》里，我提到一个慢查询问题。因为一个慢查询造成了联调环境的数据库挂掉，我们进行了点线面的梳理，排查了所有数据库相关的隐患，研究了优化方案。在研究优化方案过程中，重点讨论的是哪些该做、哪些不做。因为在进行一个已经立项的新项目时，自然是在工期允许的范围内，尽量采用高效的方法；但是一旦已经上线到生产，再进行优化需要考虑风险的代价和收益是否成正比。 举个具体的例子，做优化方案时，我们整理了所有的数据库表、DML 语句。
71 天前 / 编程一生
引子 在《容易引起雪崩的两个处理》里，我提到一个慢查询的问题。本文先从整洁架构的角度讲讲慢查询 sql 完成的功能以及设计，再介绍对 sql 进行的实施测试现象以及思考。 设计讲解 一见杨过误终身，有多少萌妹子败给了一个痴字。金庸笔下的痴儿怨女数量之多就需要单独申请服务器，用独立存储单元进行存储。 先说神雕侠侣的杨过，陆无双和程英两姐妹苦等他 16 年最终等来了他和小龙女撒了一波狗粮而去；郭芙含怨 20 多年；完颜萍一生为杨过梦绕魂牵；郭襄做了尼姑；最惨公孙绿萼，为救他而死，用生命换来的解药杨过转身扔进绝情谷底...
75 天前 / 苏三说技术
大家好，我是苏三，又跟大家见面了。前言 sql 优化是一个大家都比较关注的热门话题，无论你在面试，还是工作中，都很有可能会遇到。 如果某天你负责的某个线上接口，出现了性能问题，需要做优化。那么你首先想到的很有可能是优化 sql 语句，因为它的改造成本相对于代码来说也要小得多。 那么，如何优化 sql 语句呢？ 这篇文章从 15 个方面，分享了 sql 优化的一些小技巧，希望对你有所帮助。 1 避免使用 select * 很多时候，我们写 sql 语句时，为了方便，喜欢直接使用 select *，一次性查出表中所有列的数据。
95 天前 / sjf0115
引言：把基于 mapreduce 的离线 hiveSQL 任务迁移到 sparkSQL，不但能大幅缩短任务运行时间，还能节省不少计算资源。最近我们也把组内 2000 左右的 hivesql 任务迁移到了 sparkSQL，这里做个简单的记录和分享，本文偏重于具体条件下的方案选择。 迁移背景 SQL 任务运行慢 Hive SQL 处理任务虽然较为稳定，但是其时效性已经达瓶颈，无法再进一步提升，同一个 SQL，Hive 比 Spark 执行的时间更长。 Spark SQL 的发展远超 HSQL 随着 Spark 以及其社区的不断发展，Spark SQL 本身技术也在不断成熟，Spark 在技术架构和性能上都展示出 Hive 无法比拟的优势。
120 天前 / sjf0115
作者：潘彼得 本文为「心中有数」CDA 征文作品 无论是产品经理、产品运营还是数据分析师，在评估一个产品的用户使用情况时肯定离不开留存率、忠诚度等观测指标。这些指标可以反映用户对于产品的粘性、产品用户价值质量的高低，及时了解用户留存、流失趋势，有助于帮助产品做更好的功能迭代，也有助于运营及时进程运营策略的调整，比如：当新用户留存率低的时候，是不是需要调整新用户的活动策略，或者当老用户留存率低的时候，是不是某个产品功能的问题，或者活动对老用户不友好而导致流失等等…… 今天，就给大家分享下如何用 SQL 实现留存率的计算...
127 天前 / 臻大虾
求关注 求转发 1、sql 注入是什么 sql 注入就是用户通过输入的参数，拼接到原先的 sql 中，成为 sql 的一部分，从而影响 sql 的功能和执行结果 2、sql 注入破坏力 - 小兵破坏力比如原先 sql 如下 select*fromuserwherename='用户名'andpassword='密码'; 用户输入 name：臻大虾'--'注释 password：密码 那最终的结果猜猜是什么？ select*fromuserwherename='臻大虾'--'注释'andpassword='密码'; 两个 -- 代表注释，所以这条 sql 只需要输入用户名，就可以获取用户信息，跳过了密码的校验 - boss 破坏力来个厉害的...
160 天前 / sjf0115
原文发布时间：2017 年 越来越多的公司采用流处理，并将现有的批处理应用程序迁移到流处理，或者采用流处理实现的解决方案。其中许多应用程序专注于流数据分析，分析的数据流来自各种数据源，例如，数据库事务、点击、传感器测量或 IoT 设备等。 Apache Flink 非常适合流分析应用程序，因为它支持事件时间语义、有状态的 Exactly-Once 处理语义，并同时实现了高吞吐量和低延迟。由于这些特性，Flink 能够近乎实时地从大量输入流中计算出准确以及确定性的结果，并能在出现故障时提供 Exactly-Once 处理语义。
188 天前 / 大数据架构师
Apache ShardingSphere 5.0.0-beta 深度解析的第一篇文章和大家一起重温了 ShardingSphere 的内核原理，并详细阐述了此版本在内核层面，特别是 SQL 能力方面的优化和提升。强大稳定的内核是 ShardingSphere 持续发展的基础，与此同时，ShardingSphere 在研发分布式数据库生态特性上也在努力摸索。本次 5.0.0-beta 版本发布的 DistSQL，用于搭配整个 ShardingSphere 分布式数据库体系，在提供更标准化的分布式数据库管理方式的同时，兼具灵活、便捷和优雅的特性。
189 天前 / BloomingRose
今天和大家聊一个常见的问题：慢 SQL。 通过本文你将了解到以下内容： 慢 SQL 的危害 SQL 语句的执行过程存储引擎和索引的那些事儿慢 SQL 解决之道后续均以 MySQL 默认存储引擎 InnoDB 为例进行展开，话不多说，开搞！ 1.慢 SQL 的危害慢 SQL，就是跑得很慢的 SQL 语句，你可能会问慢 SQL 会有啥问题吗？ 试想一个场景： 大白和小黑端午出去玩，机票太贵于是买了高铁，火车站的人真是乌央乌央的。 马上检票了，大白和小黑准备去厕所清理下库存，坑位不多，排队的人还真不少。