6 小时前 / 黄小豆
分布式系统常见问题通讯异常：单机内存访问往往延时在纳秒数量级（通常是 10ns 左右）；网络则在 0.1～1ms，消息丢失和消息延迟变得非常普遍网络分区：俗称”脑裂”，部分节点和整个分布式系统失去联系，自己单独组成了一个小集群。三态：成功、失败和超时。无法预测超时的请求是否到达了接收方，还是在接收方返回的时候丢失了。CAP 和 BASE 理论通常可以把一系列的分布式的操作序列称之为子事务。分布式事务也可以被定义为一种嵌套型事物。分布式系统不可能像单机系统那样可以严格满足 ACID 特性，所以要有不同的取舍，因此有了 CAP 和 BASE 理论......
12 小时前 / sjf0115
上一篇文章最后说到 Spark 的 Structured Streaming 的 Continuous Processing Mode 的容错处理使用了分布式快照（Distributed Snapshot）算法 Chandy-Lamport 算法，那么分布式快照算法可以用来解决什么问题呢？ Asnapshot algorithmis used to create a consistent snapshot of the global state of adistributed system. Due to the lack of globally shared memory and a global clock, this isn't trivially possible. 简单来说就是用来在缺乏类似全局时钟或者全局时钟不可靠的分布式系统中来确定一种全局状态。 那么分布式快照算法应用到......
1 天前 / BeckJin～
Apollo（阿波罗）是携程框架部门研发的分布式配置中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。 服务端架构 上图简要描述了 Apollo 的总体设计： Config Service 提供配置的读取、推送等功能，服务对象是 Apollo 客户端Admin Service 提供配置的修改、发布等功能，服务对象是 Apollo Portal（管理界面）Config Service 和 Admin Service 在生产环境都是多实例、无状态部署，所以需要将自己注册到 Eureka 中并保持心跳在 Eureka 之上有一......
2 天前 / 千山
柔性事务TCCTCC：Try-Confirm-Cancel Try阶段：完成所有的业务检查，预留(锁定)业务资源 Confirm阶段：确认执行业务操作， Cancel阶段：业务最终失败，或者部分业务资源锁定失败，释放已锁定的资源 以常见的下单时使用优惠券的场景为例，涉及三个应用：订单服务、库存服务、优惠券服务： 1、用户提交下单请求 2、锁定商品库存 3、锁定优惠券 4、订单落库Try阶段（用户下单）： 依次同步调用锁定商品库存、锁定优惠券 Confirm阶段（用户支付完成）： 更新订单状态为已支付 调用库存扣减、优惠券核销。可通过本地任务表或消息队......
25 天前 / 猿天地
转自：编程无界原文：https://segmentfault.com/a/1190000019460946 分布式数据库和分布式存储是分布式系统中难度最大、挑战最大，也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题，才能支撑更多次亿级用户的涌入。 接下来，你将花费十分钟掌握以下三方面内容： 1、MySQL复制：包括主从复制和主主复制； 2、数据分片：数据分片的原理、分片的方案、分片数据库的扩容； 3、数据库分布式部署的几种方案。 一、MySQL复制1.1、MySQL的主从复制 MySQL的主从复制，就是将MySQL主数据库中的数据复制到从数据库中去。 ......
27 天前 / 实时音视频A桑
我们在5月 正式发布了实时消息（RTM）SDK。在5 月 27 日举行的 Qcon 广州站上，声网 Agora 资深技术架构师吉奇 以《高并发场景下分布式实时信令系统的架构实践》作为话题，分享了 RTM SDK 背后的架构设计经验。 以下为演讲实录： 大家好！我叫吉奇，来自声网。现在负责声网RTM 实时信令云服务后台及SDK技术架构设计。这次演讲会按照RTM的系统架构上的分布或子系统的层级关系来展开。 首先，RTM 是一个通用的消息系统，主要是为了解决实时场景下信令的低延迟和高并发问题。我们声网是业务遍布全球的平台，因此在所有的后台设计中，把分区作为......
28 天前 / xF0rk
女主宣言 本文介绍360基础架构团队自研的分布式海量小文件存储系统(NebulasFs)。 本文首发于“360技术”公众号 PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！ 背景 近年来，公司业务发展迅猛，为数众多的业务场景产生了大量的图片，文档，音频，视频等非结构化数据，尤其是随着移动互联网、AI、IoT技术的成熟和应用市场的全面爆发，大量智能硬件设备将会生成更大规模的非结构化多媒体数据。如此大量的小文件如何存储，问题应运而生。传统存储厂商出售的存储服务价格昂贵，公有云厂商对具体业务场景的定制化改造略......
29 天前 / 68号小喇叭
最近用到定时任务，业务场景需要支持分布式，虽然Elastic-Job已经停更，但基本满足需求，且该框架已经经过多个厂家生产验证，撸了把源码也感觉框架较轻量容易把控一些，因此基于Elastic-Job-lite实现定时任务 几个痛点存在手动触发任务的场景（虽然后来暂时没有通过此方式实现，本文如果有任何存在漏洞的地方，欢迎拍砖），但是Elastic-Job不支持希望手动触发的任务仍然可以借助Elastic-Job弹性机制（失效转移和分片机制）手动触发任务可能是一次性的，即希望在某个任务执行完毕后再触发相关任务的执行，也就是任务之间存在依赖关系希望实时看到任......
36 天前 / 跨界架构师
这里是Z哥的个人公众号 每周五早8点 按时送达 当然了，也会时不时加个餐～ 我的第「74」篇原创敬上 今天端午节，估计这篇文章送达的时候你还在睡觉：D，Z哥先祝你度过个愉快的小假期。 这篇是「分布式系统理论」系列的第22篇，也是最后一篇。我们来聊聊分布式系统中的最后一道保障——监控。 监控这个事情，有点像我们平时对人的健康体检。想要效果好、结果靠谱，就得“全面体检”，每一项都做，否则哪怕检查报告都是正常，也不代表没有问题。下面这个景象是不是很熟悉？ 运营小姐姐问：现在系统好卡啊。 ......
40 天前 / 忄落北
目录 1.Paxos算法是什么？ 2.团建主席的选举过程 3.Paxos第一阶段：申请阶段 4.Paxos第二阶段：比较顺利的投票阶段 5.Paxos第二阶段：如果投票不太顺利呢？ 6.引申：Paxos算法专业名词解释 （1）Paxos算法是什么？ Paxos算法是一个非常经典的算法，在分布式系统中有非常广泛的使用，比如在大名鼎鼎的ZooKeeper中就有很核心的使用。 现在出去面试难度越来越大，尤其是一些知名的互联网公司。因为这些互联网公司的系统都会用到各种各样的技术，比如上述所说的ZooKeeper。 前几年，一个候选人出去面试大厂的Java职位，可能就让......
44 天前 / 个推技术学院
作者：个推应用平台基础架构高级研发工程师 阿飞 01 业务背景 随着微服务架构的流行，系统变得越来越复杂，单体的系统被拆成很多个模块，各个模块通过轻量级的通信协议进行通讯，相互协作，共同实现系统功能。 单体架构时，一个请求的调用链路很清晰，一般由负载均衡器将用户请求转发到后端服务，由后端服务进行业务处理，需要的数据从外部的存储中获取，处理完请求后，再经由负载均衡器返回给用户。 而在微服务架构中，一个请求往往需要多个模块共同协作处理，不同模块可能还依赖于不同的外部存储，各个模块的实现技术还不尽相......
45 天前 / 董鹏
微信公众号：内核小王子 关注可了解更多关于数据库，JVM内核相关的知识; 如果你有任何疑问也可以加我pigpdong[1] 此为轻松构建微服务系列的第八篇文章 前言 我们在应用开发的时候，应该都碰到过这种需求：每天固定时间点跑一个任务；创建一些临时的任务去初始化数据或者做数据迁移；固定一个时间周期去轮询是否有新的状态发生；在java中有两个类可以帮我们处理这种需求，一个是java.util.TimerTask，一个是 java.util.concurrent.ScheduledExecutorService , 但是随着业务的发展，任务调度的需求会越来越多，对调度器的要求也会更高，例如能够......
46 天前 / 360技术
奇技指南 现有的开源时序数据库influxdb只支持单机运行，在面临大量数据写入时，会出现查询慢，机器负载高，单机容量的限制。 为了解决这一问题，360基础架构团队在单机influxdb的基础上，开发了集群版——QTSDB QTSDB 简述 QTSDB是一个分布式时间序列数据库，用于处理海量数据写入与查询。实现上，是基于开源单机时序数据库influxdb 1.7开发的分布式版本，除了具有influxdb本身的特性之外，还有容量扩展、副本容错等集群功能。 主要特点如下： 为时间序列数据专门编写的高性能数据存储, 兼顾写入性能和磁盘空间占用； 类sql查询语......
48 天前 / 董鹏
微信公众号：内核小王子 关注可了解更多关于数据库，JVM内核相关的知识; 如果你有任何疑问也可以加我pigpdong[1] 此为轻松构建微服务系列的第五篇文章 前言日常开发中我们的应用中一般都会有数据库相关的配置，redis相关的配置，log4j相关的配置 等常用配置，这些我们称为静态配置，在应用启动的时候就需要加载，修改配置需要重启应用，这类配置一般是针对相关资源的访问地址和访问权限，还有一类配置和业务密切相关，应用在运行过程中需要监听这些配置的变化以方便修改运行模式或者响应对应的策略，例如并发控制数，业务开关等，可以用来做服......