9 天前 / 宜信技术
为什么引入Hint Hint是Oracle数据库中很有特色的一个功能，是很多DBA优化中经常采用的一个手段。那为什么Oracle会考虑引入优化器呢？基于代价的优化器是很聪明的，在绝大多数情况下它会选择正确的优化器，减轻DBA的负担。 但有时它也聪明反被聪明误，选择了很差的执行计划，使某个语句的执行变得奇慢无比。此时就需要DBA进行人为的干预，告诉优化器使用指定的存取路径或连接类型生成执行计划，从而使语句高效地运行。Hint就是Oracle提供的一种机制，用来告诉优化器按照告诉它的方式生成执行计划。
9 天前 / openio
关于作者姚延栋，山东大学本科，中科院软件所研究生。PostgreSQL中文社区委员，致力于Greenplum/PostgreSQL开源数据库产品、社区和生态的发展。 一、数据库内核揭秘Greenplum 是最成熟的开源分布式分析型数据库（今年6月份预计发布的 Greenplum 6 之OLTP性能大幅提升，将成为一款真正的HTAP数据库，评测数据将于近期发布），Gartner 2019 最新评测显示 Greenplum 在经典数据分析领域位列全球第三，在实时数据分析领域位列并列第四。两个领域中前十名中唯一一款开源数据库产品。这意味着如果选择一款基于开源的产品，前十名中别无选择，唯此一款。G......
10 天前 / 公众号_小哈学Java
点击蓝色“小哈学Java”关注我哟 加个“星标”，第一时间获取小哈推送的文章哦！ 文章翻译整理自: https://github.com/brettwooldridge/HikariCP/wiki/About-Pool-Sizing 目录一、笔者前言 二、正菜开始 三、假设你的服务有1万并发的访问 四、为啥有这种效果 五、其他应该考虑到的因素 六、连接数计算公式 七、结论：你需要的是一个小连接池，和一个等待连接的线程队列 八、额外需要注意的点 一、前言基本上来说，大部分项目都需要跟数据库做交互，那么，数据库连接池的大小设置成多大合适呢？ 一些开发老鸟可能还会告诉你：没关系，......
12 天前 / 宜信技术
韩锋，宜信技术研发中心数据库架构师。精通多种关系型数据库，曾任职于当当网、TOM在线等公司，曾任多家公司首席DBA、数据库架构师等职，多年一线数据库架构、设计、开发经验。著有《SQL优化最佳实践》一书。 Oracle中的AWR，全称为Automatic Workload Repository，自动负载信息库。它收集关于特定数据库的操作统计信息和其他统计信息，Oracle以固定的时间间隔(默认为1个小时)为其所有重要的统计信息和负载信息执行一次快照，并将快照存放入AWR中。这些信息在AWR中保留指定的时间(默认为1周)，然后执行删除。执行快照的频率和保持时间都是可以自......
12 天前 / sjf0115
一.概要在数据库中，执行计划就是表示一条SQL将要执行的步骤，这些步骤按照不同的数据库运算符号(算子)组成，具体的组成和执行方式由数据库中的查询优化器来决定。换而言之，执行计划决定SQL的执行效率。在数据库的使用中了解其查询计划的构成，是进行查询性能调优的必要条件。本文将详细介绍Phoenix的查询计划语法、组成结构，以及一些注意事项。 二.查询计划1. 基本说明在Phoenix中，查询计划能告诉我们如下的信息: 将要扫描的CHUNK数量 客户端并发线程数量 执行模式（并行或串行） 查询过滤字段或者扫描范围 将会查询的表名 估算扫描......
14 天前 / redmaple叶
接上次闹钟项目更改字符集之后，这几天又需要对线上数据做处理。背景是，同步闹钟的时候会把用户之前删除过的闹钟都同步下来，而删除的闹钟在客户端没有任何显示，也没有任何恢复的操作，对于用户来说其实是完全没有用的数据。当用户的无用历史闹钟增多到一定数量，同步的时候，客户端上报的数据body就特别大，已经超过了Nginx配置的request最大限制，这样就导致了部分老用户无法同步的情况。解决思路其实很简单，将客户端的上报策略修改成分批上传，服务端分批的返回，最后的结果客户端在本地做聚合，显示给用户。但是这需要客户端和服务端共同修......
15 天前 / 零售云技术
最近我们部门业务扩张需要大批量招人，我也参与面试环节（在此打个广告，若想跳槽的请关注 加V ），发现IT大佬都是"理论强，实践弱"。为什么这么讲，前几天是大版本发布日，连续遇到几个SQL索引引起的低级错误，也是开发人员轻视的一点。所以我在面试结束后会有这样的面试评语“无生产排查经验”，”无定位生产问题经验”~~ 那为什么我会写这样的批语，分析下前几天的生产问题。 开发人员都知道查询数据库若不带索引查询速度会很慢，要合理利用索引加快查询效率，那么怎么使用索引是对的呢？ 举个例子以下sql是mysql数据库，若其它数据......
18 天前 / 秦夏
这张图上列的，是直接使用 Apache Calcite 或者至少相关联的项目。大家肯定能在里面找到很多自己熟悉的项目。 那 Apache Calcite 究竟是干嘛的，又为什么能这么流行呢？ 首先，摆一个应该没多少人会反对的共识：SQL 是编程领域最流行的语言。 有 MySQL、Oracle 之类使用 SQL 作为交互语言的数据库 然后有 JDBC、ODBC 之类和各种数据库交互的标准接口 有大量数据科学家和数据分析师等不太会编程语言但又要使用数据的人 第一代大数据计算引擎 MapReduce 被 Hive SQL 很大程度上替代 新一代大数据计算引擎 Spark 很快就推出......
20 天前 / ThoughtWorks
“小光，今天那个诡异的生产环境问题找到原因了吗？” “还是数据问题！之前做的一个功能有一部分数据迁移工作没有做好，导致生产环境有脏数据，委托人的联系人已经不为该委托人服务了，应该移除掉的……” “又是脏数据……” “嗯，好在不是代码问题。” 这是在蓝鲸项目发生的真实对话。其中提到的脏数据（Dirty data），也叫坏数据（Bad data），通常是指跟期待的数据不一样、会影响系统正常行为的数据。 蓝鲸项目的QA会定期分析生产环境的缺陷，当定位某个缺陷为脏数据引起之后，往往就到此为止了。生产环境下的缺陷分析流程是这样的： ......
21 天前 / 田守枝
点击上方"田守枝的技术博客"，关注我 数据库是开发过程中最常用的组件，然而我们经常会遇到各种各样的超时异常，如： connecttimeout：建立数据库连接超时 sockettimeout：socket读取超时 statementtimeout：单个sql执行超时 transactiontimeout：事务执行超时，一个事务中可能包含多个sql getconnectiontimeout：从连接池中获取链接超时 读完此文，你将彻底掌握各种超时产生的根本原因，以及对应的解决方案。 1 connectTimeout与socketTimeoutconnecttimeout和sockettimeout都属于TCP层面的超时。 以mysql为例，我们可以在jdbcurl中指......
21 天前 / 恒生技术君
随着互联网的发展，之前企业级应用面对待处理的数据量越来越大，这对数据库资源的性能与成本提出了相当大的挑战，为之，业界便提出了分库分表的技术解决方案。 顾名思义，分库分表就是将原先集中在一张表或一个库的数据，按照一定规则进行拆分，然后将拆分后的数据通过分布式方式存储到多个表上。 这样，当数据量增加时，我们可以通过平行扩展分库和分表的数量来进行系统扩容。然而，任何一种技术都是一柄双刃剑，在给你带来某些便利的同时，也会为你捎上这里或那里的不便。分库分表在解决海量数据存储问题的背后，也引入了数据存储成本控制......
24 天前 / PingCAP
作者介绍 李振环，贝壳金服数据基础架构负责人，目前负责数据平台和企业级数据仓库开发。 公司介绍 贝壳金服总部位于北京，起步于 2006 年成立的链家金融。2017 年 5 月，贝壳正式独立运作，是国内领先的居住金融服务商。在租赁、家装、买卖、安居这四个居住的典型消费场景中为用户提供支付、贷款等定制化的消费金融服务。意旨通过“产品”、“技术”和“服务”让客户的美好生活来的更早一些。仅房屋交易一项，贝壳金服已经为 100 万用户提供过贝壳安心服务，其中，支付服务中的资金流转量达到 3750 亿元。贝壳金服目前全国有 1500 ......
24 天前 / 恒生技术君
大部分开发人员都熟悉SQL，无论用什么语言开发系统，只要用到了关系型数据库，都会涉及到SQL的使用。 在某些系统中，主要的程序逻辑都体现一个个存储过程里，例如数据中心产品，这时候，大家都认为该产品主要的开发语言是SQL，于是我们把SQL当作程序本身来看待。但是在更多的业务系统中，我们通常只需要进行普通的增删改查，SQL更多只是插入在Java或者XML文件里的一些查询语句，这个时候，开发人员只把SQL当作查询分析的工具，而不是程序来看待。 接下来为大家讲述一个工作中发生的关于SQL优化的真实故事。 这是一个用户行为分析的......
27 天前 / 田守枝
1 数据库拆分过程及挑战 互联网当下的数据库拆分过程基本遵循的顺序是：垂直拆分、读写分离、分库分表(水平拆分)。每个拆分过程都能解决业务上的一些问题，但同时也面临了一些挑战。 1.1 垂直拆分 对于一个刚上线的互联网项目来说，由于前期活跃用户数量并不多，并发量也相对较小，所以此时企业一般都会选择将所有数据存放在一个数据库 中进行访问操作。举例来说，对于一个电商系统，其用户模块和产品模块的表刚开始都是位于一个库中。其中：user、useraccount表属于用户模块，productcategory、product表属于产品模块 刚开始，可能公司的技......