7 小时前 / u128287
本文根据李中原老师在〖deeplus 直播：金融业数据库转型与国产化改造〗线上分享演讲内容整理而成。（文末有回放的方式，不要错过）李中原 平安银行 分布式数据库负责人 具有 10 多年数据库运维和项目实施经验，参与或主导过众多大型项目。目前是平安银行分布式数据库技术负责人，主要负责平安银行分布式数据库和国产数据库的推广，支持了平安银行信用卡 A+ 系统由大型机到分布式架构的转型，该项目是国内首个大型机到分布式架构的银行核心系统。
10 小时前 / 叶东富
大家好，很高兴到“Go 开源说”跟大家分享 DTM，我是叶东富，DTM 作者，github：https://github.com/yedf 内容提纲本次分享分为以下四个部分： DTM 是什么 产生的背景 可以解决什么问题 发展现状与未来 DTM 是什么我们按照开源项目的习惯，以一个类似 Quick Start 的例子来说明： 一个例子业务场景：A 跨行转给 B 30 元，A、B 分属不同银行 需求要点： 需要保证 A-30 和 B+30，都成功，或都失败 中间任何一个地方发生故障，不能影响最终的数据一致性 因数据保存在多个数据库实例...
4 天前 / Python集中营
【粉丝福利】回复任意消息，获取全套进阶资料，celery 是一个基于分布式消息传输的异步任务队列，它专注于实时处理，同时也支持任务调度。它的执行单元为任务（task），利用多线程，如 Eventlet，gevent 等，它们能被并发地执行在单个或多个职程服务器（worker servers）上。任务能异步执行（后台运行）或同步执行（等待任务成）。点'关注' ,不迷路，快来和我一起每天进步一点点吧！ Celery 的三个主要模块 1''' 2worker：用于执行队列中的工作任务 3beat：用于定时分配工作任务 4task：工作任务...
6 天前 / reesunhuang
引言 随着互联网数据的爆发式增长，互联网业务的发展速度已经明显高于计算机硬件的发展速度。在此背景下，我们可以看到仅靠单机系统能解决的问题越来越少，而越来越多的领域和应用场景需要构建分布式系统。C++ 作为 native 的编程语言，由于其高性能、轻量级的特点广泛应用于现代分布式系统中，如 Tensorflow、Caffe、XGboost、Redis 等都选择 C/C++ 作为主要的编程语言。 相比单机应用，想要构建一个功能完善、高可用、可应用于生产环境的 C++ 分布式系统并没有那么简单。通常我们需要做以下考虑： 解决通信问题。
6 天前 / 叶东富
随着微服务的大规模应用，跨数据源的分布式事务也越来越多，那么分布式事务的性能究竟怎么样？性能会下降多少？能否满足业务需求？这些指标关系到分布式事务能否顺利的引入到生产应用，是大家非常关心的问题。 本文尝试深入分析分布式事务带来的额外开销，应用中的哪些因素会影响最终的性能，瓶颈点在哪里，如何提升性能。本文以支持多语言的分布式事务 https://github.com/yedf/dtm 的 saga 事务作为性能测试的样本，对性能测试的结果，进行深度剖析。
8 天前 / 叶东富
什么是 TCC，TCC 是 Try、Confirm、Cancel 三个词语的缩写，最早是由 Pat Helland 于 2007 年发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文提出。 TCC 组成 TCC 分为 3 个阶段 Try 阶段：尝试执行，完成所有业务检查（一致性）, 预留必须业务资源（准隔离性） Confirm 阶段：如果所有分支的 Try 都成功了，则走到 Confirm 阶段。Confirm 真正执行业务，不作任何业务检查，只使用 Try 阶段预留的业务资源 Cancel 阶段：如果所有分支的 Try 有一个失败了，则走到 Cancel 阶段。Cancel 释放 Try 阶段预留的业务资源。
21 天前 / 知了一笑
一、背景简介在系统开发初期，很容易出现这样一种情况：不同业务线上开发人员，因为技术栈和版本时间的影响，在选型的时候会优先使用自己熟悉的，例如 MQ 中间件常用的：Kafka、Rocket、Rabbit 等，这样很容易忽略各个项目之间的组件差异问题； 在系统开发中后期，业务相对稳定之后，通常都会对资源占用较高的模块逐步重构，公共服务进行整合管理，从而使系统更具有整体性，在这个过程中，解决不同项目的中间件差异通常首当其冲，例如常见的缓存中心，MQ 消息管理等； 这种情况一般来说很难避免，系统初期为了快速支撑业务，埋下很多坑点...
21 天前 / 叶东富
银行跨行转账业务是一个典型分布式事务场景，假设 A 需要跨行转账给 B，那么就涉及两个银行的数据，无法通过一个数据库的本地事务保证转账的 ACID，只能够通过分布式事务来解决。 分布式事务 分布式事务在分布式环境下，为了满足可用性、性能与降级服务的需要，降低一致性与隔离性的要求，一方面遵循 BASE 理论： 基本业务可用性（Basic Availability） 柔性状态（Soft state） 最终一致性（Eventual consistency） 另一方面，分布式事务也部分遵循 ACID 规范： 原子性：严格遵循 一致性：事务完成后的一致性严格遵循；事务中的一致性可适当放宽 隔离性：并...
24 天前 / BloomingRose
前面我们讲了分布式事务的 2PC、3PC, TCC 的原理。这些事务其实都在尽力的模拟数据库的事务，我们可以简单的认为他们是一个同步行的事务。特别是 2PC,3PC 他们完全利用数据库的事务能力，在一阶段开始事务后不进提交会严重影响应用程序的并发性能。TCC 一阶段虽然不会阻塞数据库，但是它同样是在尽力追求同时成功同时失败的一致性要求。但是在很多时候，我们的应用程序的核心业务为了追求更高的性能、更高的可用性，可以允许在一段时间内的数据不一致性，只需要在最终时刻数据是一致就可以了。
24 天前 / SnailClimb
写文章为什么要分布式 id ？分布式 id 生成方案有哪些？| JavaGuideJavaGuide思特沃克软件技术（武汉）有限公司 软件工程师 7 人赞同了该文章本文已经收录进 Github 110k+ 点赞的 Java 知识点总结类开源项目 JavaGuide，【Java 学习 + 面试指南】 一份涵盖大部分 Java 程序员所需要掌握的核心知识。分享一道朋友去京东面试真实遇到的面试题：“为什么要分布式 ID？你项目中是怎么做的？”。 这篇文章我会说说自己的看法，详细介绍一下分布式 ID 相关的内容包括分布式 ID 的基本要求以及分布式 ID 常见的解决方案。
25 天前 / flyer0126
开发工作中对于分布式缓存高可用方案（搭建 Redis 缓存高可用方案），Redis 主从架构下是如何保证高可用的呢？ 我们知道 Redis Sentinel 是一个分布式系统，为 Redis 提供高可用性解决方案。那 Redis 服务部署的哨兵模式主要原理是什么，又解决了什么问题呢，于是利用时间将相关问题做了整理，相信看完这篇文章，你也可以去给别人做技术分享了。O(∩_∩)O 哈哈~ 0. 问题铺垫在讨论哨兵模式之前，我们先来看一个应用问题：Redis 服务主机宕机 实际使用过程中，会出现 master 宕机的情况（这样会导致没有写服务，只有读服务）。
27 天前 / 訢亮
文章目录： 前言 幂等性与重复提交比较 SQL 语句幂等性 SELECT UPDATE DELETE INSERT 实现方案 方案一 方案二 小结 推荐阅读 前言什么是幂等性？一次和多次请求某一个资源，对资源本身所产生的的影响均与一次执行的影响相同。 幂等性是系统服务对外的一种承诺，承诺只要调用接口成功了，多次调用对系统的影响是一致的。 幂等性与重复提交比较幂等性 更多使用的情况是第一次请求知道结果，但是由于网络抖动或连接超时等情况未进行正常返回，在这种情况下系统自动再次发起请求，其目的是确认第一次是否请求完成。
27 天前 / 大数据左右手
前言 分布式系统设计成主从节点主要是为了保障数据一致性，主从设计是一种最直观的数据一致性保障机制。 比如主从复制，主节点负责写，从节点负责读，提高读的性能。从节点定期通过心跳与主节点沟通，一旦主节点挂掉了，从节点马上接手主节点的任务。 但是主节点暂时失去响应，如瞬时负载过高，网络拥塞或者其他原因导致主节点暂时失去响应，超过响应超时时间，这个时候从节点启动，承担起 leader 的职责，但是原先的主节点又恢复了服务。
30 天前 / JuiceFS
解决方案下载文档定价博客GitHub加入我们首页归档标签分布式文件系统架构对比Davies, CEO & Founder2018.07.01本文源自 Juicedata 创始人 & CEO Davies 在上海 Linux 用户组（SHLUG）的月度分享（2018/6/23）。 什么是文件系统？文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化： 数据是以文件的形式存在，提供 Open、Read、Write、Seek、Close 等API 进行访问；文件以树形目录进行组织...
35 天前 / 叶东富
之前我有一篇文章，介绍了分布式事务最经典的七种解决方案，这里我们从业务需求的角度，根据不同的业务场景，给出最适合的解决方案。 当我们采用服务 / 微服务架构，对业务进行分拆解耦后，原先在一个单体内，使用本地数据库保证 ACID 的数据修改，因为跨了多个服务，就不再适用了，就需要引入分布式事务来保证新的原子性。 由于分布式事务方案，无法做到 ACID 的保证，没有一种完美的方案，能够解决掉所有业务问题。因此在实际应用中，会根据业务的不同特性，选择最适合的分布式事务方案。