1 天前 / mr7
本文链接： [https://blog.openacid.com/algo/quorum/] 前言 paxos 可以看做是 2 次 『多数派读写』 完成一次强一致读写。 多数派要求半数以上的参与者 (paxos 中的 Acceptor)接受某笔操作。 但 『多数派读写』 并不一定需要多于半数的参与者， 分布式系统中某些场合的优化， 可以通过减少参与者数量来完成的。 多数派读写：分布式系统的基础分布式系统中， 其中一个基础的问题是如何在不可靠硬件 ( 低可用性)基础上构建可靠 ( 高可用性)的服务， 要达成这个目标， 核心的手段就是复制 ( 例如一份数据存 3 个副本). 而复制过程中的一致性问题...
4 天前 / reesunhuang
作者：ypaapyyang，腾讯 WXG 后台开发工程师，个人公众号：码农课代表。 本文旨在分析分布式配置系统的必要性、可行性，及其关键约束，并介绍一款基于该系列分析，在微信研发体系下的实践尝试。 前言对很多的业务开发同学而言，对运营素材的处理不是一件轻松的事，通常需要定制化的进行数据的清理、格式的转换、工具的开发。笔者就曾过这样一段不愉快的回忆，为了导入一次性的近十种类型的配置数据，就耗去了两天的时间。如果说这段经历有何价值的话，那就是促使我思考分布式配置系统，并且在工作中实践，使自己避免再次陷入如此槽糕的过程中。
10 天前 / 爱笑的架构师
1 没有人能够熄灭满天星光华为开发者大会 2020 在广东东莞松山湖欧洲小镇举办，在主题演讲环节中，华为消费者业务总裁余承东宣布“鸿蒙”系统升级到 2.0 版本 (HarmonyOS 2.0)，余总表示，“鸿蒙”系统将在 12 月份推出手机版本，明年华为的手机将全面支持“鸿蒙”系统。 “没有人能够熄灭满天星光，每一位开发者，都是华为要汇聚的星星之火”，华为消费者业务 CEO 余承东说，华为将全面开放核心技术、软硬件能力，与开发者们共同驱动全场景智慧生态的蓬勃发展。
12 天前 / 高飞
Exceptionless 是一个开源的实时的日志收集框架，它可以应用在基于 ASP.NET，ASP.NET Core，Web Api，Web Forms，WPF，Console，MVC 等技术栈的应用程序中，并且提供了 Rest 接口可以应用在 Javascript，Node.js 中。它将日志收集变得简单易用并且不需要了解太多的相关技术细节及配置。 在以前，我们做日志收集大多使用 Log4net，Nlog 等框架，在应用程序变得复杂并且集群的时候，可能传统的方式已经不是很好的适用了，因为收集各个日志并且分析他们将变得麻烦而且浪费时间。 现在 Exceptionless 团队给我们提供了一个更好的框架来做这件事情。
15 天前 / 张铁蕾
当前这篇文章至少比计划拖后了两个月。在上一篇文章《条分缕析分布式：到底什么是一致性？》中，我们仔细辨析了「一致性」相关的几个容易混淆的概念。而在本文中，我们会沿着逐步深入的思路，跟大家继续讨论顺序一致性、线性一致性、最终一致性等几个概念。 为了避免产生歧义，我们先明确一下这几个概念的英文表达： 顺序一致性的英文是：sequential consistency。 线性一致性的英文是：linearizability。实际上，它就是 CAP 定理中的 C，我们在上一篇文章中已经提到过。 最终一致性的英文是：eventual consistency。
16 天前 / 猿天地
Google Chubby 的作者 Mike Burrows 说过：There is only one consensus protocol, and that's Paxos. 引言上文我们已经详细的阐述了共识问题并介绍了一些共识算法，其中 Paxos 算法是 Leslie Lamport 于 1990 年提出的共识算法，不幸的是采用希腊民主议会的比喻很明显失败了，Lamport 像写小说一样，把一个复杂的数学问题弄成了一篇带有考古色彩的历史小说。根据Lamport 自己的描述 [1]，三个审稿者都认为该论文尽管并不重要但还有些意思，只是应该把其中所有 Paxos 相关的故事背景删掉。
23 天前 / 知了一笑
一、分布式故障分布式系统的架构，业务开发，这些在良好的思路和设计文档规范之下，是相对来说好处理的，这里的相对是指比较分布式架构下生产环境的突然故障。 在实际的开发中，有这样一个很妖娆的情况：越是核心复杂的业务，越是担心出问题，越容易出问题。 所以当核心服务的链路出现故障时，如何快速定位问题就是一件很头疼的事情，尤其是一些特殊情况下，问题很模糊很难复现，外加客户或者领导催促，这种场景心里阴影是大部分开发都有的。
27 天前 / 知了一笑
一、基础环境 1、环境版本环境：centos7 hadoop 版本：2.7.2 jdk 版本：1.8 2、Hadoop 目录结构 bin 目录：存放对 Hadoop 的 HDFS,YARN 服务进行操作的脚本 etc 目录：Hadoop 的相关配置文件目录 lib 目录：存放 Hadoop 的本地库，提供数据压缩解压缩能力 sbin 目录：存放启动或停止 Hadoop 相关服务的脚本 share 目录：存放 Hadoop 的依赖 jar 包、文档、和相关案例 3、配置加载 vim/etc/profile #添加环境 exportJAVA_HOME=/opt/jdk1.8 exportPATH=$PATH:$JAVA_HOME/bin exportHADOOP_HOME=/opt/hadoop2.7 exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME...
27 天前 / 钟子敬07
这是我的第60篇原创文章 作者 | 悟空聊架构 来源 |悟空聊架构（ID：PassJava666） 转载请联系授权（微信 ID：PassJava）本篇主要内容如下： 主要内容前言我们都在讨论分布式，特别是面试的时候，不管是招初级软件工程师还是高级，都会要求懂分布式，甚至要求用过。传得沸沸扬扬的分布式到底是什么东东，有什么优势？ 借用火影忍术风遁·螺旋手里剑看过火影的同学肯定知道漩涡鸣人的招牌忍术：多重影分身之术。 这个术有一个特别厉害的地方，过程和心得：多个分身的感受和经历都是相通的。
30 天前 / FX_SKY
- 总述 - 咱们前面分别对分布式事务的几个分支：XA、2PC、3PC、TCC、Saga、事务消息、最大努力事务进行的详细介绍。本篇作为分布式事务设计的收尾篇，讲对前面的内容查缺补漏和总结，最后对市面的一些开源框架做一些介绍。 - 查缺补漏 -1.补偿型事务柔性事务分补偿型事务和通知型事务。但对补偿型事务没有进行详细介绍，那什么是补偿型事务呢，在 Atomikos 公司 Guy Pardon 的论文《Business_Activities》中有这样的描述：大致含义是，"补偿是一个独立的支持 ACID 特性的本地事务，用于在逻辑上取消了先前 ACID 交互的影响。
32 天前 / yes的练级攻略
每个时代，都不会亏待会学习的人。 大家好，我是 yes。 今天我想和大家一起盘一盘分布式事务，会介绍常见的分布式事务实现方案和其优缺点以及适用的场景，并会带出它们的一些变体实现。 还会捎带一下分布式数据库对 2PC 的改进模型，看看分布式数据库是如何做的。 然后再分析一波分布式事务框架 Seata 的具体实现，看看分布式事务究竟是如何落地的，毕竟协议要落地才是有用的。 首先我们来提一下事务和分布式事务是什么。 事务事务的 ACID 想必大家都熟知，这其实是严格意义上的定义，指的是事务的实现必须具备原子性、一致性、隔离性和持久性。
36 天前 / HueiFeng
前言 最近，工作中要为现在的老系统做拆分和升级，刚好遇到了分布式事务、幂等控制、异步消息乱序和补偿方案等问题，刚好基于实践结合个人的看法记录一下一些方案和思路。 分布式事务 首先，做系统拆分的时候几乎都会遇到分布式事务的问题，一个仿真的案例如下： 项目初期，由于用户体量不大，订单模块和钱包模块共库共应用（大war包时代），模块调用可以简化为本地事务操作，这样做只要不是程序本身的BUG，基本可以避免数据不一致。
56 天前 / 公众号_coredump
好久没更新了，这篇文章，我是来扯淡的。回忆一下过去。 零想起当年刚开始实习的时候，我的第一个任务就是——写一个抽奖程序。虽然业务需求很简单，但是老大给我提了一些问题，让我深深地学习、思考了一番： 怎么保证安全？千万不要一个奖品被两个人抽到了。怎么保证性能不要太差？很多人同时抽，怎么减少冲突？等等。经过这个简单程序的锤炼，当时的我对数据库 [1]、事务 [2]、隔离级别 [3]开始有了比较深的了解，而不再仅仅停留在课本上。从那个时候开始，我就觉得，数据库真是个神奇的东西，特别是 SQL 和事务。
61 天前 / 陆道峰-MLSys
下一代 AI 应用需要不断和环境进行交互，并且在交互中学习。这些应用暴露了新的系统需求：性能和弹性。本文提出了 Ray 解决上述问题。 Ray 实现了动态执行引擎，可以表达任务并行和 actor 模型计算任务。它通过分布式调度器以及分布式容错存储来实现高性能与容错。 问题与方案 AI 中的监督学习部分，已经出现了优秀的深度学习框架，使用定制的硬件加速计算。但是对于新兴的 AI 应用不仅要收集探索数据，还要采取动作不断和环境交互学习，这一类可以概括为强化学习。
65 天前 / 陆道峰-MLSys
简介 Mesos 是一个在多个集群计算框架中共享集群资源的管理系统，它提高了集群资源利用率，避免了每个计算框架数据复制。 通过分布式两层调度模型实现了细粒度的资源分配：由 Mesos 决定为每个框架提供多少资源，框架决定接受哪些资源，以及把计算任务分配到哪里去执行。 问题与方案 2010 年代计算框架百花齐放，相继出现 MapReduce[1]、MPI、Dryad、Pregel 等。很明显，新的集群计算框架还会不断涌现，不存在满足所有应用需求的集群计算框架，因此企业、研究机构会在同一个集群中运行多个计算框架。