3 小时前 / 杀死那个程序员
最近在学习zookeeper原理的时候了解到了paxos算法,看了几篇文章之后还是感觉有些迷糊,后来看了知行学社的paxos视频才对这个算法有了一定的了解,这里就做一下总结. Paxos简介Paxos是Lamport于1990年提出的一种基于消息传递而具有高度容错特性的分布式一致性算法.这个算法是分布式中最为重要的算法,Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法,那就是Paxos,其他算法都是残次品.具体Paxos算法的详细内涵和故事背景大家可以参考知乎上的回答; Paxos的使用场景和假设我们都知道基于消息传递通信模型的分布式系列,不可避......
3 小时前 / IT一刻钟
微信公众号：IT一刻钟 大型现实非严肃主义现场 一刻钟与你分享优质技术架构与见闻，做一个有剧情的程序员 关注可了解更多精彩内容。问题或建议，请公众号留言。 什么是负载均衡？百度词条里的解释是：负载均衡，英文叫Load Balance，意思就是将请求或者数据分摊到多个操作单元上进行执行，共同完成工作任务。 它的目的就通过调度集群，达到最佳化资源使用，最大化吞吐率，最小化响应时间，避免单点过载的问题。 负载均衡分类负载均衡可以根据网络协议的层数进行分类，我们这里以ISO模型为准，从下到上分为： 物理层，数据链路层，网络层，......
9 小时前 / Yeming
作者 | 夏梓耀 杏仁后端工程师，励志成为计算机艺术家 本文的英文标题是：Linearizability Checking: FightingWith The NP-Complete 测试分布式系统正确性一个分布式程序由一组异步进程组成，它们通过通信网络进行消息传递。 分布式系统很难被正确实现，因为它们必须处理好并发和故障（failure）， 网络消息可能延迟、重复、重排和丢包，而且机器可能在任何时候宕机。 即使设计在论文中被证明是正确的，但在实现中也很难避免细微的错误，除非用形式化方法保证，否则我们必须去测试我们认为是“正确的“的系统。 而形式化验证技术......
5 天前 / 恒生技术君
前面我们做了Zookeeper的整体分析，了解了基本的运作原理和整体架构，即分布式系统中协调之力的重要性。本篇我们就来深入分析这个协调服务的服务器启动和Leader选举，带你更深入解读什么叫迷之自信的“自荐式”选举逻辑。 服务器启动 注：ZooKeeper分为单机启动和集群启动两种方式。本文仅分析集群启动这种方式。 DatadirCleanupManager 历史文件清理器。从3.4.0版本开始，ZooKeeper增加了自动清理历史数据文件的机制，包括对事务日志和快照数据文件进行定时清理。 判断该当前是集群模式还是单机模式启动 根据zoo.cfg中配置的多......
6 天前 / 跨界架构师
如果这是第二次看到我的文章，欢迎点击上方▲蓝字关注我哟~ 本文长度为3578字，建议阅读10分钟。 此前的「伸缩性」章节结束了，此文是「高性能」章节的第一篇。 只要是位正儿八经的程序员自然知道「缓存」是什么，甚至我司的很多做运营的小姐姐现在和程序员小哥哥的交流中都时不时冒出「缓存」字眼，让人压力山大。（本文讨论的「缓存」皆指的是软件层面运用的缓存） 大家都知道的一点是，缓存可以让原本打开很慢的页面，变得能“秒开”。你平时访问的APP、网站几乎都有涉及到缓存的运用。 那么，缓存除了能加速数据的访问......
7 天前 / ro9er??
前言最近公司在考虑做全链路监控的事儿，主要是一个请求进来从服务网关到各个业务战队会流转到很多个战队的业务模块，如果一个业务中出现问题就会影响到整个调用链路的结果(响应时间、响应结果、异常处理等等)。因此我们需要考虑一个全链路监控机制来完成请求的全链路监控。最开始考虑直接基于pinpoint的注入插件来做，但是后来发现由于采样率等关系，无法应用到生产上，所以考虑自己做一套自己的标准。同时我们也想引入opentracing的标准，因此有了这一篇文章所覆盖的内容。 opentracing简单介绍
8 天前 / 零售云技术
互联网产品的发展速度是很快的，若发展速度增快技术跟不上，是影响业务的发展和用户的体现。 今天我们以电商为例讲解决下分布式的技术架构的演进 1.一开始我们搭建一个初始版本的系统或在市场买一个系统，他们的架构或许是这样的如下图 一个机器部署一个tomcat和一个数据库。tomcat容器下部署所有的业务。由于你的业务发展的很好，用户量访问比较多。当某一天发现访问界面非常慢，可能会发生卡死的情况。由于我们会自己对架构进行调整，若不调整你的老板很快找到你。让你提出架构方案，若心里没有准备那么在老板眼里你就...... 于是我们......
9 天前 / 肖汉松
分布式系统中一个重要的问题就是数据复制，数据复制一般是为了增强系统的可用性或提高性能。而实现数据复制的一个主要难题就是保持各个副本的一致性。本文首先讨论数据复制的场景中一致性模型如此重要的原因，然后讨论一致性模型的含义，最后分析常用的一致性模型。 为什么需要一致性模型数据复制主要的目的有两个：可用性和性能。首先数据复制可以提高系统的可用性。在保持多副本的情况，有一个副本不可用，系统切换到其他副本就会恢复。常用的 MySQL 主备同步方案就是一个典型的例子。另一方面，数据复制能够提供系统的性能。当分布式系统需要在......
9 天前 / linjinhe
推荐几篇工业界分布式系统设计的论文。 1. Google 经典的“三驾马车” The Google File System (2003)MapReduce: Simplified Data Processing on Large Clusters (2004)Bigtable: A Distributed Storage System for Structured Data (2006) 最早发表的 GFS 论文（2003）到现在（2019）已经 16 年了。这三篇论文可以说是工业界、开源界分布式系统的启蒙者。之后的 Hadoop 系列开源软件 HDFS、MapReduce、Hbase 都是参考这三篇论文设计的。 2. Amazon 的 Dynamo （高可用、最终一致的分布式 KV） Dynamo: Amazon’s Highly Available Key-value ......
12 天前 / u128287
来这里找志同道合的小伙伴！ 导 读 相比于数据分片方案的逐渐成熟，集性能、透明化、自动化、强一致、并能适用于各种应用场景于一体的分布式事务解决方案则显得凤毛麟角。基于两或三阶段提交的分布式事务的性能瓶颈以及柔性事务的业务改造问题，使得分布式事务至今依然是令架构师们头疼的问题。 Apache ShardingSphere（Incubating）不失时机的在2019年初，提供了一个刚柔并济的一体化分布式事务解决方案。如果你的应用系统正在受到这方面的困扰，不妨倒上一杯咖啡，花十分钟阅读此文，说不定会有些收获呢？......
12 天前 / 美团技术团队
总第341篇 2019年 第19篇 美美导读：我们之前介绍过的高可靠、高并发低延迟、全局唯一的分布式ID生成服务Leaf，现在开源啦！欢迎大家使用呦～ Leaf是美团基础研发平台推出的一个分布式ID生成服务，名字取自德国哲学家、数学家莱布尼茨的一句话“There are no two identical leaves in the world”。Leaf具备高可靠、低延迟、全局唯一等特点。目前已经广泛应用于美团金融、美团外卖、美团酒旅等多个部门。具体的技术细节，可参考此前美团技术博客的一篇文章：《Leaf美团分布式ID生成服务》。近日，Leaf项目已经在Github上开源：https......
15 天前 / 謝謝同學
前言之前写SpringBoot时，有简单介绍过分布式定时器的一些思路（SpringBoot | 第二十二章：定时任务的使用）。原来的项目本身使用dubbo实现了一个简单的实现，目前项目迁移至SpringCloud后，原来的就不适用了，但基本原理都是差不多的，都是集中管理需要调用的api及调度等相关信息。故本篇会简单介绍下一些常见的分布式定时器的实现方案，还会编写一个基于http调用的 统一调度项目，实现简单的调用 SpringCloud项目 RESTful接口。 一些说明 基于ShedLock实现轻量级分布式定时锁 集成示例 @SchedulerLock注解说明 两种集成模式 基于统一调度中......
17 天前 / 跨界架构师
如果第二次看到我的文章，欢迎点上方▲蓝字关注哟~ 本文长度为5389字，建议阅读14分钟。 坚持原创，每一篇都是用心之作～ 没想到这篇文章写了这么长，一时半会没消化完的话，可以收藏一下先。 这是「伸缩性」章节的第四篇，先给新来的小伙伴们简单回顾下前三篇的内容。 做「伸缩性」最重要的就是先做好「无状态」，如此才可以随心所欲的进行横向“扩展”，而不用担心在多个副本之间切换会产生错乱。《分布式系统关注点——「无状态」详解》聊的就是这个。 不过，就算做好了横向扩展，本质上还是一个“大程序”，只......
17 天前 / 猿天地
前言 在 Spring Cloud 体系中，熔断降级我们会使用 Hystrix 框架，限流通常会在 Zuul 中进行处理，Zuul 中没有自带限流的功能，我们可以自己做限流或者集成第三方开源的限流框架。最新一代的网关 Spring Cloud Gateway 则自带了限流的功能。 有没有那么一个框架能够把熔断跟限流都给做了，以前没有，但是现在有了，我这属于自问自答哈！这个框架就是阿里最新开源的 Sentinel。 第一眼见到 Sentinel 有一种很熟悉的感觉，似曾相识啊！Redis 里面集群的那个哨兵模式不就是 Sentinel 嘛。后来我才发现我错了，大错特错，这是一个新的框架，潜力 + ......
18 天前 / 腾讯云加社区
首发于腾讯云+社区写文章基于hashicorp/raft的分布式一致性实战教学腾讯云技术社区已认证的官方帐号13 人赞了该文章本文由云+社区发表作者：Super导语：hashicorp/raft是raft算法的一种比较流行的golang实现，基于它能够比较方便的构建具有强一致性的分布式系统。本文通过实现一个简单的分布式缓存系统来介绍使用hashicorp/raft来构建分布式应用程序的方法。1. 背景 对于后台开发来说，随着业务的发展，由于访问量增大的压力和数据容灾的需要，一定会需要使用分布式的系统，而分布式势必会引入一致性的问题。 一般把一致性分为三种类......