11 小时前 / PingCAP
分布式技术的发展，深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末，PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题， 邀请众多技术团队共同参与，一起探索这个古老领域的新生机。本文出自我司 CTO 黄东旭，为「分布式系统 in 2010s」系列最终篇。 我觉得面对测试的态度是区分一个普通程序员和优秀程序员的重要标准。现如今我们的程序和服务越来越庞大，光是单元测试 TDD 之类的就已经很难保证质量，不过这些都是 baseline，所以今天聊点新的话题。 说测试之前，我们先问下自己，为什么要测试？当然是为了......
5 天前 / PingCAP
分布式技术的发展，深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末，PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题， 邀请众多技术团队共同参与，一起探索这个古老领域的新生机。本文出自我司 CTO 黄东旭，为「分布式系统 in 2010s」系列第三篇。 上篇我们聊了软件构建方式和演化，今天我们来聊聊硬件吧！ SSD 普及的深远影响 如果说云的出现是一种商业模式的变化的话，驱动这个商业革命的推手就是最近十年硬件的快速更新。比起 CPU，存储和网络设备的进化速度更加迅速。最近五年，SSD 的价格 (......
15 天前 / PingCAP
分布式技术的发展，深刻地改变了我们编程的模式和思考软件的模式。值 2019 岁末，PingCAP 联合 InfoQ 共同策划出品“分布式系统前沿技术 ”专题， 邀请众多技术团队共同参与，一起探索这个古老领域的新生机。本文出自我司 CTO 黄东旭，为「分布式系统 in 2010s」系列第二篇，第一篇请见《分布式系统 in 2010s ：存储之数据库篇》。 我上大学的时候专业是软件工程，当时的软件工程是 CMM、瀑布模型之类。十几年过去了，看看现在我们的软件开发模式，尤其是在互联网行业，敏捷已经成为主流，很多时候老板说业务下周上线，那基本就是怎么快怎......
20 天前 / 后端技术指南针
通过本文将了解到以下内容：分布式系统的概念和作用 分布式系统常用负责均衡策略 普通哈希取模策略优缺点 一致性哈希算法的定义和思想 一致性哈希的基本过程 Redis集群中一致性哈希的实现 1.分布式系统的基本概念 分布式系统与高并发高可用 当今高并发和海量数据处理等场景越来越多，实现服务应用的高可用、易扩展、短延时等成为必然。在此情况下分布式系统应运而生，互联网的场景无外乎存储和计算，因此分布式系统可以简单地分为：分布式存储 分布式计算 所谓分布式系统就是一批计算机组合起来共同对外提供服务，对于用户来说......
28 天前 / hivefans东杰
作者：丁浪，目前在创业公司担任高级技术架构师。曾就职于阿里巴巴大文娱和蚂蚁金服。具有丰富的稳定性保障，全链路性能优化的经验。架构师社区特邀嘉宾！ 阅读本（系列）文章，你将会收获： 全面、体系化的了解大规模分布式系统中的服务治理 一线互联网公司如何应对高并发、大流量场景，稳定性保障体系揭秘（高并发高可用必备） 常见限流算法的实现，阿里巴巴（历年双十一）限流、熔断保护利器sentinel的设计原理和实践经验（高并发高可用必备） 高性能、高可用配置中心的本质、架构设计思想、原理和实践经验（微服务架构必备） ......
31 天前 / itfanr
这篇文章是 SOSP 2019 发的文章，介绍了 Ceph 为何在使用了十多年的本地文件系统之后，又开发了基于裸设备的存储后端 BlueStore，并将默认存储后端切到了基于裸设备 BlueStore。本文的主要作者包括 Sage Weil、Mark Nelson 等 Ceph 的主要作者。（本文末尾首次增加了留言小程序，欢迎留言） 1 介绍 2 背景 3 在本地文件系统上构建存储后端的难点 3.1 难点一 高效事务 3.1.1 方案一：Hook 到文件系统内部的事务机制 3.1.2 方案二：在用户态实现 WAL 3.1.3 方案三：使用有事务的 KV 数据库 3.2 难点二 快速......
33 天前 / 东升的思考
点击上方Java爱好者社区关注不迷路~前言正式介绍 Raft 协议之前，我们先来举一个例子进行展开。 方式一： 在一个技术团队内假设角色都是均等的，会导致什么情况呢？产品提出一个需求，就可以随便去找团队中的任意一个人去发起需求。如果这个人因为请假走了，但是他没有把需求及时同步给团队其他人，因此会导致该需求存在很大的延迟。 方式二： 在技术团队中选举一个Leader 角色，产品提出的需求必须优先提给 Leader，找 Leader 先沟通。Leader 自己消化完后，在将需求传达给团队其他成员。如果 Leader 请假了，会指定某一个人充当 Leader 角色......
38 天前 / 秦夏
这是《漫谈分布式系统》系列的第 5 篇，预计会写 30 篇左右。每篇文末有为懒人准备的 TL;DR，还有给勤奋者的关联阅读。扫描文末二维码，关注公众号，听我娓娓道来。也欢迎转发朋友圈分享给更多人。 系列第一篇中，我们提到，为了解决算得慢的问题，必须让计算并行起来。 本质上还是分治法，先把计算拆分成一个个小任务执行，再合并这些任务的结果得到最终结果。 虽然理论上没有关联，但在实践上，计算的分治，是以存储的分治为前提的。否则，每个任务都要处理全量的数据，这个性能和资源开销是接受不了的。所以前面两篇我们讲......
38 天前 / NebulaGraph
首发于Nebula 的图数据库新世界写文章分布式图数据库 Nebula Graph 中的集群快照实践NebulaGraph已认证的官方帐号 1 概述1.1 术语本文主要会用到以下术语： StorageEngine：Nebula Graph 的最小物理存储单元，目前支持 RocksDB 和 HBase，在本文中只针对 RocksDB。Partition：Nebula Graph 的最小逻辑存储单元，一个 StorageEngine 可包含多个 Partition。Partition 分为 leader 和 follower 的角色，Raftex 保证了 leader 和 follower 之间的数据一致性。GraphSpace：每个 GraphSpace 是一个独立的业务 Graph 单元，每个 GraphSpace 有其独立的......
38 天前 / 咖啡拿铁
1.背景 上篇文章介绍了RocketMQ整体架构和原理有兴趣的可以阅读一下，在这篇文章中的延时消息部分，我写道开源版的RocketMQ只提供了18个层级的消息队列延时，这个功能在开源版中显得特别鸡肋，但是在阿里云中的RocketMQ却提供了支持40天之内任意秒级延时队列，果然有些功能你只能充钱才能拥有。当然你或许想换一个开源的消息队列，在开源社区中消息队列延时消息很多都没有被支持比如：RabbitMQ,Kafka等，都只能通过一些特殊方法才能完成延时的功能。为什么这么多都没有实现这个功能呢？是因为技术难度比较复杂吗？接下来我们分析一下如何才能实现一......
41 天前 / 蚂蚁金服研发效能
解密蚂蚁研发效能 本文整理自 GOPS 2019 全球运维大会蚂蚁研发效能技术专家仲光明（花名：元衡）的分享。通过对分布式链路下蚂蚁金服快速构建低成本、高可用联调环境的解析，带大家了解蚂蚁金服在研发效能领域上的深度实践。 我们招聘了！招聘详情见文末！！！ 作者简介 仲光明（元衡） 蚂蚁金服 技术专家 蚂蚁金服技术专家，目前主要负责研发侧配置管理和联调环境产品的架构和研发工作，关注持续交付相关领域；2011年加入蚂蚁金服，先后参与核心中间件的测试自动化，蚂蚁金融云以及蚂蚁持续交付产品的建设工作。 01 背景与挑......
44 天前 / u553049
分布式ID的特性全局唯一不能出现重复的ID，这是最基本的要求。 递增有利于关系数据库索引性能。 高可用既然是服务于分布式系统，为多个服务提供ID服务，访问压力一定很大，所以需要保证高可用。 信息安全如果ID是有规律的，就容易被恶意操作，在一些场景下需要ID无规则。 生成方案UUID核心思想是结合机器的网卡、当地时间、一个随机数来生成。 优点： 性能非常高，本地生成，没有网络消耗。生成简单，没有高可用风险。有利于信息安全，因为可读性差，无规律。缺点： 太长，不易于存储。有利于信息安全的同时，也有不安全性，因为基于MAC地址......
48 天前 / 知了一笑
一、FastDFS简介1、FastDFS作用FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件上传、文件下载等，解决了大容量存储和负载均衡的问题。 安装连接： Linux系统：centos7下搭建Nginx和FastDFS文件管理中间件 2、核心角色FastDFS是由跟踪服务器（trackerserver）、存储服务器（storageserver）和客户端（client）三个部分组成。 1）跟踪服务器 FastDFS的协调者，负责管理所有的storage server和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tra......
48 天前 / 高飞
微服务架构已成为构建云原生应用程序的标准,微服务架构提供了令人信服的好处，包括可伸缩性，松散的服务耦合和独立部署，但是这种方法的成本很高，需要了解和熟练掌握分布式系统。为了使用所有开发人员能够使用任何语言和任何框架轻松地构建便携式微服务应用程序，无论是开发新项目还是迁移现有代码 Dapr 介绍Github:https://github.com/dapr/dapr Dapr是一种可移植的，事件驱动的，无服务器运行时，用于构建跨云和边缘的分布式应用程序。 Distributed Application Runtime. An event-driven, portable runtime for building microservices on c......
51 天前 / HueiFeng
总篇70篇 2019年 第44篇一、项目介绍 汽车之家社区于 2005 年上线，作为之家最老的业务之一，十四年来沉淀了亿级帖子、十亿级回复数据，目前每天有千万级 DAU、亿级的访问量，接口日均调用量 10亿+次 。期间经历过架构升级重构、技术栈升级等，但其数据始终存放在SQL Server中，随着数据的不断递增，我们在使用SQL Server 数据库方面遇到了很多瓶颈，以至于我们不得不寻找一个新的数据库替换方案。二、使用SQL Server遇到的瓶颈 随着业务的不断扩大，汽车之家社区的访问量和发表量不断上涨，遇到的数据库问题也越来越多，下面列举两个必须很快......