21 小时前 / farliu
| 阅读 | 2.8k 字 | 10 分钟 条评论前面我们讲过 CAP 定理、Paxos、Raft，那么试想几个场景： 我们要实现一个完全的 AP 系统。即集群中只有一个节点存活，也能向外提供服务。在此基础上，我们如何保证数据最终一致性？在一个庞大的集群中，对某个数据修改后，如何同步到其他节点？在一个去中心化的集群中，各节点都是对等节点。如何同步数据，使保证各节点数据到到一致？答案就是 gossip 协议，gossip 是一种去中心化的分布式协议，用于实现节点之间的信息交换，大名鼎鼎的 bitcoin 也使用了 gossip 来传播交易和区块信息。
2 天前 / 知了一笑
一、服务发布简介分布式系统架构下，服务发布是一件很麻烦的事情，特别是在构建自动发布流程和灰度测试的策略两个核心方面。通常情况下如果不涉及数据层面的灰度流程，服务可以灰度上线，或者滚动上线，这两种方式很常用；如果涉及到数据灰度，则可能需要中间服务做不同版本数据之间追平，或者停机维护一次性处理好数据和上线问题，不过后面这种方式风险较大。 二、蓝绿部署 新版本上线的时候，并不停掉老版本，新旧两个版本同时运行，通常还会在负载均衡的策略上倾向于旧版本服务处理请求，这样新版本就有一个执行的观察期过渡期...
3 天前 / JAVA日知录
概述提到分布式锁大家都会想到如下两种： 基于 Redisson 组件，使用 redlock 算法实现基于 Apache Curator，利用 Zookeeper 的临时顺序节点模型实现今天我们来说说第三种，使用 Spring Integration 实现，也是我个人比较推荐的一种。 Spring Integration 在基于 Spring 的应用程序中实现轻量级消息传递，并支持通过声明适配器与外部系统集成。Spring Integration 的主要目标是提供一个简单的模型来构建企业集成解决方案，同时保持关注点的分离，这对于生成可维护，可测试的代码至关重要。我们熟知的 Spring Cloud Stream 的底层就是 Spring Integration。
4 天前 / SherlockHolmes
首发于 Joker 写文章 Martian-cloud 传染机制的原理贝克街的天才 http://mars-framework.com/ 先解释下什么是传染机制常规的分布式采用的是【生产者 ->注册中心 ->消费者】模型，生产者将接口给注册中心，消费者从注册中心发现其他的服务，实现调用传染机制就是丢弃注册中心，可以把接口看做病毒，服务看做是人，服务之间只要有直接或者间接的联系，最终都会被染上病毒（接口）如何实现的假如现在有三个服务 此时，需要发布这三个服务，那我们可以先规划下，将他们连在一起，连在一起的意思是在配置里写好谁连谁。
8 天前 / aotian
版权声明 本站原创文章 由 萌叔 发表转载请注明 萌叔 | http://vearne.cc1.前言 xuxueli/xxl-job 是一个分布式任务调度平台。它在 github 上有 1w 多个 star，有多家公司都已经用在生产实践中。 在萌叔看来这是一个”Less is more”的典型。它的设计的非常简单，最大的优点是实用。 2.主要结构和逻辑 XXL-JOB 任务调度平台分为 2 个部分，Scheduler 和 Executor。具体的实现 Scheduler 对应是 xxl-job-admin,同时 xxl-job-admin 还配有 web UI，可以配置管理任务。 Scheduler 和 Executor 之间通过 HTTP API 交互，因此 Executor 可以通过各种语言实现。
8 天前 / flyer0126
开发工作中对于分布式缓存高可用方案（搭建 Redis 缓存高可用方案），Redis 主从架构下是如何保证高可用的呢？ 我们知道是应用了哨兵机制来实现。那 Redis 服务部署的哨兵模式主要是什么，又解决了什么问题呢，于是利用周末时间整理了下，相信看完这篇文章，你也可以去给别人做技术分享了。O(∩_∩)O 哈哈~ 问题铺垫在讨论哨兵模式之前，我们先来看一个应用问题：Redis 服务主机宕机 实际使用过程中，会出现 master 宕机的情况（这样会导致没有写服务，只有读服务）。
8 天前 / farliu
book 订阅分布式一致性协议 - CAP、BASE、NWRNov 7, 2020 | 算法理论| 阅读 | 3.7k 字 | 13 分钟 条评论这篇文章着重点不在于科普，毕竟关于 CAP、BASE 的理论的文章，网上很多。所以本文科普篇幅尽量小（只包含概念描述）。主要从几个侧面的问题来描述 CAP，进而描述 ACID、BASE 理念。然后加入一点点调料，如何动态的切换一致性强度。 本文通过以下几个问题，从侧面描述。文中个人观点较多，看官理性对待。
11 天前 / reesunhuang
左上方关注“Thinking 曹”，勾选“设为星标” 沉淀、分享、持之以恒的学习 一、前言在日常开发中，图片上传、文件上传功能都会涉及到，可能在 SpringBoot 框架占领 Java 开发的主要市场后大家在处理文件上传时大家听得最多的分布式文件服务是 FastDFS 和阿里云的 OSS，虽然 OSS 挺好用，奈何 OSS 是收费的，太贵。......，而 FastDFS 搭建配置过程又太繁琐。所以今天给大家推荐一款高性能的分布式文件存储系统 MinIo，下面带领大家揭秘 MinIo 在分布式系统中的一席之地。
12 天前 / farliu
分布式一致性协议 - RaftOct 31, 2020 | 算法理论| 阅读 | 3.2k 字 | 11 分钟 条评论学习 raft 之前，给大家推荐一个网站，这个网站动画描述 raft 运行过程。在看文章时对照该网站，可以帮助更好的理解 raft。http://thesecretlivesofdata.com/raft/ 相比于 paxos，我们更应掌握 raft。raft 作为现在分布式系统首选的共识算法。zookeeper、cubby、oceanbase 等系统都是在 raft 诞生之前开发的，所以都是使用了 paxos 或者对其进行改进。而后来的大多系统都选择了 raft，比如 consul、etcd 等。 raft 相比 paxos 的优点是：容易理解，容易实现。
14 天前 / vivo互联网技术
一、前言 随着互联网的发展，用户产生的数据越来越多，企业面临着庞大数据的存储问题，目前市面上主流的分布式大数据文件系统，都是对数据切片打散，通过离散方法将数据散列在集群的所有节点上，本文将带你了解 DHT（Distributed Hash Table）：分布式哈希表是如何实现数据的分布式离散存储的。 DHT（Distributed Hash Table）：分布式哈希表 二、技术背景 互联网发展早期，数据通常存储在单个服务器上，初期数据增长较为缓慢，可以通过提升单机的存储能力满足数据的增长需求；随着互联网普及程度的推进...
15 天前 / 屾顶洞人-_-TOPCAVER
ThoughtWorks 最近一期的技术雷达，把 Data Mesh 从“评估”调升到了“试验”。ThoughtWorks 眼中的“试验”意味着这项技术“值得追求。重要的是理解如何建立这种能力。企业应该在风险可控的项目中尝试此技术。” 文章内容大部分来自 Zhamak Dehghani 的《How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh》讲了如何将单体的数据湖，变为分布式的数据网格（Data Mesh）。
16 天前 / OPPO互联网技术
1. 背景 分布式技术的发展深刻地改变了我们编程的模式和思考软件的模式。分布式很好的解决性能扩展，可靠性，组件可用性等问题，但是单机转变成分布式却加大了系统的复杂性，对于组件的开发，测试，部署，发布都提出更高的要求。那么，针对复杂的分布式系统怎么保证软件质量和系统的稳定性？首先看下，传统软件产品活动的大致流程，简化流程大概是 3 大块： 开发 -> QA -> 灰度上线一般如下图： 流程有个很大的问题，质量全靠 QA 测，对接全靠人力，沟通成本大，遗漏问题多，一般有几个常见的问题： QA 很难每次都测试全面，毕竟 QA 毕竟是人...
18 天前 / u553049
欢迎阅读 本文目的是讲清楚 SAGA 这种分布式事务解决方案的实现思路，不包括具体实现代码，具体实现推荐使用阿里的 Seata 框架。 内容包括： 分布式事务问题描述 SAGA - Choreography 策略 SAGA - Orchestration 策略补充： 常用的分布式事务解决方案还包括 TCC、可靠消息模式。 1. 分布式事务问题描述比如说电商系统中，用户下单了，后端需要调用： 订单服务，创建订单库存服务，改商品的库存物流服务，创建物流单，准备发货在分布式的微服务架构中，每个服务都会有自己独立的数据库，那么，这个下单的动作就涉及到了向多个数据库中写入数据。
23 天前 / 尹千觞
第二篇它来了，老规矩，公众号回复【RPC】 获取完整 PPT 。 附代码： package main import ( "fmt" "sync" ) // // Several solutions to the crawler exercise from the Go tutorial // https://tour.golang.org/concurrency/10 // // // Serial crawler // func Serial(url string, fetcher Fetcher, fetched map[string]bool) { if fetched[url] { return } fetched[url] = true urls, err := fetcher.Fetch(url) if err != nil { return } for _, u := range urls { Serial(u, fetcher, fetched) } ...
25 天前 / 爱笑的架构师
点击关注"爱笑的架构师" 右上角"设为星标"好文章不错过 分布式系统为什么需要链路追踪？随着互联网业务快速扩展，软件架构也日益变得复杂，为了适应海量用户高并发请求，系统中越来越多的组件开始走向分布式化，如单体架构拆分为微服务、服务内缓存变为分布式缓存、服务组件通信变为分布式消息，这些组件共同构成了繁杂的分布式网络。 微服务架构（极简版） 假如现在有一个系统部署了成千上万个服务，用户通过浏览器在主界面上下单一箱茅台酒，结果系统给用户提示：系统内部错误，相信用户是很崩溃的。