6 天前 / xF0rk
作者 山遥，阿里高级数据工程师 引言 分布式一致性是一个很“古典”的话题，即在分布式系统中，如何保证系统内的各个节点之间数据的一致性或能够就某个提案达成一致。这个问题想必对于很多技术同学而言并不陌生，几乎在所有的分布式系统中都会遇到，比如hdfs、mq、zookeeper、kafka、redis、elasticsearch等。然而这个问题却历久弥新，随着分布式网络的蓬勃发展与复杂化，对于该问题解法的探索也一直在进行中。 而近年来，随着区块链技术的兴起，特别是开放网络中的公有链与有权限网络中的联盟链的蓬勃发展，一致性问题再次得到关注......
9 天前 / 大数据手稿笔记
OSS（ObjectStorageService）俗称对象存储，主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外，一般私有云比较关心一些开源的分布式对象存储解决方案，本文列举了一些常见的技术方案供参考。 概念普识 块存储 通常SAN（Storage Area Network）结构的产品属于块存储，比如我们常见的硬盘、磁盘阵列等物理盘。 文件存储 一般NAS（Network Attached Storage）产品都是文件级存储，如Ceph的CephFS，另外GFS、HDFS等也属于文件存储。 对象存储 同时兼顾着SAN高速直接访问磁盘特点及NAS的分布......
9 天前 / 杀死那个程序员
点击上方"张狗蛋的技术之路"，选择“置顶或者星标” 你的关注意义重大! 一致性哈希算法在分布式缓存领域的 MemCached，负载均衡领域的 Nginx 以及各类 RPC 框架中都有广泛的应用，它主要是为了解决传统哈希函数添加哈希表槽位数后要将关键字重新映射的问题。 本文会介绍一致性哈希算法的原理及其实现，并给出其不同哈希函数实现的性能数据对比，探讨Redis 集群的数据分片实现等，文末会给出实现的具体 github 地址。 Memcached 与客户端分布式缓存Memcached 是一个高性能的分布式缓存系统，然而服务端没有分布式功能，各个服务器不会......
13 天前 / xF0rk
背景 在互联网技术蓬勃发展的时代背景下，传统的IOE架构已很难满足当前复杂多变的业务发展的需求。对于传统集中式的IOE架构，由于其缺乏灵活的水平伸缩能力，容量规划容易遇到天花板。不仅不能高效的处理海量客户与账户数据，而且对如秒杀、促销等顺时爆发海量交易的业务场景亦很难实现。这些传统架构的短板也制约业务发展，并已无法适应科技金融银行的发展要求。因此，新的科技体系必将基于分布式多活技术架构，才能支撑起未来全面数字化的海量客户请求和庞大运算任务，成为一个能够处理大规模、多渠道、高并发、多金融业务融汇交叉的......
13 天前 / openio
关于作者姚延栋，山东大学本科，中科院软件所研究生。PostgreSQL中文社区委员，致力于Greenplum/PostgreSQL开源数据库产品、社区和生态的发展。 一、数据库内核揭秘Greenplum 是最成熟的开源分布式分析型数据库（今年6月份预计发布的 Greenplum 6 之OLTP性能大幅提升，将成为一款真正的HTAP数据库，评测数据将于近期发布），Gartner 2019 最新评测显示 Greenplum 在经典数据分析领域位列全球第三，在实时数据分析领域位列并列第四。两个领域中前十名中唯一一款开源数据库产品。这意味着如果选择一款基于开源的产品，前十名中别无选择，唯此一款。G......
14 天前 / hivefans东杰
转载本文需注明出处：微信公众号EAWorld，违者必究。 针对分布式架构下的数据一致性，大家也许会问这样的问题：跨系统间分布式事务如何解决？系统内多个服务的分布式事务如何解决？一个服务内多个数据源/数据库的分布式事务如何解决？……这些问题大家是很容易理解的，但是由于术语不准确，所以解释起来会有二义性，所以先要统一语言或者术语，也就是统一概念： 域是一个虚拟的分类，几个系统属于某一个域，例如网上银行和手机银行都属于电子渠道领域； 传统的单体应用，指的就是系统，在微服务架构下，单体应用采用前后端......
14 天前 / ThoughtWorks
溯源微服务：企业分布式应用的一次回顾2019年5月7日by 刘尚奇Leave a Comment微服务作为架构风格几乎成为云时代企业级应用的事实标准，构成微服务的技术元素本身却并非革命性。跨平台的分布式通信框架、地址无关的服务注册与发现、智能路由与编排等技术早已在CORBA、SOA时代实现了一遍又一遍，我们不禁好奇，微服务有什么不同？本文是对企业分布式应用的一次回顾，与前微服务时代相比，我们究竟在哪些领域吸取了教训，哪些方面持续搞砸。 我们在重新界定抽象边界上取得了进展…架构的关键在于构造合理的封装抽象。良好的抽象构造如进程，由操作系......
17 天前 / 阿飞的博客
UidGenerator是百度开源的Java语言实现，基于Snowflake算法的唯一ID生成器。而且，它非常适合虚拟环境，比如：Docker。另外，它通过消费未来时间克服了雪花算法的并发限制。UidGenerator提前生成ID并缓存在RingBuffer中。 压测结果显示，单个实例的QPS能超过6000,000。依赖环境： JDK8+ MySQL（用于分配WorkerId） snowflake由下图可知，雪花算法的几个核心组成部分： 1位sign标识位； 41位时间戳； 10位workId（数据中心+工作机器，可以其他组成方式）； 12位自增序列； snowflake但是百度对这些组成部分稍微调整了一下： baidu uid ge......
19 天前 / mr7
R 5月8日晚20:30，Kubernetes Master Class在线培训第五期《Kubernetes中的日志、监控与告警》即将开播，点击文末【阅读原文】即可免费预约注册！ 介 绍 今天的应用程序可以说是分布式系统开发中的一项奇迹。基于不同的系统架构，构成应用程序的每个功能或服务可能在不同的系统上执行，而系统位于不同的地理位置，使用不同的计算机语言编写。应用程序的组件可能托管在一个功能强大的系统上，该系统由用户自己携带，并且可以和世界各地的应用程序组件或服务进行通信（他们都是数据中心的副本）。 而令人惊讶的是，使用这些应用......
24 天前 / 跨界架构师
关注并标星Z哥的「跨界架构师」 每周五早8点 按时送达 当然了，也会时不时加个餐～ 这次的文章迟到了！为什么迟到了，我先来诉诉苦。周四晚上设置定时的时候「送书结果」这篇被检测到违禁词，但是找半天没找到在哪，操作次数太频繁被封到第二天才能发文。为了能8点准时发出文章，周五大早上爬起来，好惨。惨也就算了，还是没找到，又提示操作太频繁。 现在猜测是某位小伙伴的昵称里包含违禁词，所以我就不写在内容里了，大家可以公众号回复「抽奖结果」查看获奖名单。我也同步在昨天更新了对你们的留言回复。 获奖的小伙......
24 天前 / 肖汉松
CAP 理论是分布式系统设计中的一个重要理论，虽然它为系统设计提供了非常有用的依据，但是也带来了很多误解。本文将从 CAP 诞生的背景说起，然后对理论进行解释，最后对 CAP 在当前背景下的一些新理解进行分析，澄清一些对 CAP 的误解。 CAP 理论诞生的背景CAP 理论的是在“数据一致性 VS 可用性”的争论中产生。CAP 的作者 Brewer 在 90 年代的时候就开始研究基于集群的跨区域系统（实质上是早期的云计算），对于这类系统而言，系统可用性是首要目标，因此他们采用了缓存或者事后更新的方式来优化系统的可用性。尽管这些方法提升了系统的可用性，......
25 天前 / 李红红
1. 分布式缓存1.1. Redis 有什么数据类型？分别用于什么场景？数据类型可以存储的值操作STRING字符串、整数或者浮点数对整个字符串或者字符串的其中一部分执行操作 对整数和浮点数执行自增或者自减操作LIST列表从两端压入或者弹出元素 读取单个或者多个元素 进行修剪，只保留一个范围内的元素SET无序集合添加、获取、移除单个元素 检查一个元素是否存在于集合中 计算交集、并集、差集 从集合里面随机获取元素HASH包含键值对的无序散列表添加、获取、移除单个键值对 获取所有键值对 检查某个键是否存在ZSET有序集合添加、获取、删除元素 根......
27 天前 / 铜板街技术
前言 任务调度可以说是所有系统都必须要依赖的一个中间系统，主要负责触发一些需要定时执行的任务。传统的非分布式系统中，只需要在应用内部内置一些定时任务框架，比如 spring 整合 quartz，就可以完成一些定时任务工作。在分布式系统中，这样做的话，就会面临任务重复执行的问题（多台服务器都会触发）。另外，随着公司项目的增加，也需要一个统一的任务管理中心来解决任务配置混乱的问题。 公司的任务调度系统经历了两个版本的开发，1.0 版本始于 2013 年，主要解决当时各个系统任务配置不统一，任务管理混乱的问题，1.0 版本提供了一......
29 天前 / DGuco
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/D_Guco/article/details/89439197一 etcd的作用 etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的，灵感来自于 ZooKeeper 和 Doozer，它使用Go语言编写，并通过Raft一致性算法处理日志复制以保证强一致性。Raft是一个来自Stanford的新的一致性算法，适用于分布式系统的日志复制，Raft通过选举的方式来实现一致性，在Raft中，任何一个节点都可能成为Leader。Google的容器集群管理系统Kubernetes、开源PaaS平台Cloud Foun......
30 天前 / travis2046
在分布式系统中，我想大家都听过很多的专业名词：强一致性，弱一致性，最终一致性，CAP理论，FLP不可能性，Paxos算法，2阶段提交。。 我们也听说过很多设计系统的策略：比如BASE，缓存，实时计算/离线计算、异步，重写轻读/重读轻写， 我们也听说过很多的系统衡量指标：性能、可靠性、高可用。。 而所有这些，都绕不开一个话题：“一致性”。而本篇，则试图以自己的理解，来探讨一下这个最常见、最基本、也最容易迷糊的、看似是常识却暗含深刻哲理的问题。 因为在我看来，从哲学层面，去看透这个问题，很有利于各种计算机理论的理解。 现实世......