3 天前 / 老张
之前写过利用jmeter做分布式压测的简略介绍，当时只是介绍了背景和原因，以及基本的配置操作，有同学说写得不够详细。正好今年双十一，我司的全链路压测，也尝试了jmeter分布式压测的手段。这篇文章，介绍下利用jmeter在NGUI模式下进行分布式压测的一些小技巧和注意事项。 一、压测机 1、数量&成本 无论是从成本角度还是维护的难易方面，压测机的数量，适量就好。举个例子，8C16G的一台服务器，部署jmeter后，根据我个人的测试比对数据，配置≤1500个线程数，最好。太多了性能损耗较大，延时高；太少了又浪费。 2、controller&agent 模拟的......
3 天前 / php-v
相关文章：浅谈订单号生成设计方案背景 在分布式系统中，经常需要对大量的数据、消息、http请求等进行唯一标识，例如：对于分布式系统，服务间相互调用需要唯一标识，调用链路分析的时候需要使用这个唯一标识。这个时候数据库自增主键已经不能满足需求，需要一个能够生成全局唯一ID的系统，这个系统需要满足以下需求： 全局唯一：不能出现重复ID。 高可用：ID生成系统是基础系统，被许多关键系统调用，一旦宕机，会造成严重影响。 经典方案介绍1. UUIDUUID是Universally Unique Identifier的缩写，它是在一定的范围内(从特定的名字空间到全球......
9 天前 / semlinker
1.1 什么是 SnowflakeSnowflake is a service used to generate unique IDs for objects within Twitter (Tweets, Direct Messages, Users, Collections, Lists etc.). These IDs are unique 64-bit unsigned integers, which are based on time, instead of being sequential. The full ID is composed of a timestamp, a worker number, and a sequence number. When consuming the API using JSON, it is important to always use the field id_str instead of id. This is due to the way Javascript and other languages that consume JSON ev......
14 天前 / 秦夏
这是《漫谈分布式系统》系列的第 3 篇，预计会写 30 篇左右。每篇文末有为懒人准备的 TL;DR，还有给勤奋者的关联阅读。关注公众号「漫谈大数据」（ID: sobigdata），听我娓娓道来。也欢迎转发朋友圈分享给更多人。 1 系列开篇我们说到，分布式系统的初衷，是想要解决两大问题： 存不下 算的慢 今天这篇，我们就一起看下第一点，分布式文件系统是怎样解决存不下的问题的。 首先，思考一个问题：为什么会存不下？ 是某一个文件太大了吗？通常不是。现在我们用的服务器，少则几十 GB，多则上百 TB 的硬盘，很少会有一个文......
16 天前 / 楼外青山
大家好~ 我是 花椒直播 周洋，上次火丁笔记投稿了《花椒总线系统》后，发现阅读量较大，但点赞(看一看)数很少。受到了公众号攻略组的调侃。要求 改善或解释 点赞量过低的原因。 针对这个需求，我决定在技术文章后增加一个互联网圈的时事讨论环节。所以非技术人员，可以直接下拉到话题讨论环节。并且如果大家 不认可 我的话题观点，可以通过 点赞 的方式辅助我做运营统计。对，是不认可才点赞今天的话题是《创业公司是否需要中台应该是一个什么样的中台》 感谢花椒系统开发团队:github: @youlu-cn @specode @qudexin1986 Google大规模分布式Cron......
16 天前 / 咖啡拿铁
1.背景 定时任务是大家再开发中一个不可避免的业务，比如在一些电商系统中可能会定时给用户发送生日券，一些对账系统中可能会定时去对账。大概再很久以前每个服务可能就一台机器，再这台机器上直接搞个Timerschedule基本上就能满足我们的业务需求，但是随着时代的变迁，单台机器已经远远不能满足我们的需要，这个时候我们可能需要10台，20台甚至更多机器来运行我们的业务，接受我们的流量，这就是我们所说的横向扩展。但是这里就有个问题，这么多台机器如果还用我们的Timerschedule去做会发生什么呢？再上面的电商系统中有可能会给某个用户发很......
18 天前 / 码咖
1.说一下es的分布式架构原理 / es是如何实现分布式的 核心思想就是在多台机器上启动多个 es 进程实例，组成了一个 es 集群。 创建一个index，index包含多个shard，每个shard都是一个最小工作单元，每个 shard 存储部分数据。 一个shard 的数据实际是有多个备份，就是说每个 shard 都有一个 primary shard，接受写和读请求，但是还有几个 replica shard，负责容错，以及承担读请求负载。primary shard 写入数据之后，会将数据同步到其他几个 replica shard 上去。这样，每个 shard 的数据都有多个备份，如果某个机器宕机了，还有别的数据副本......
22 天前 / 秦夏
上一篇，讲了为什么会有分布式系统，以及什么时候需要用分布式系统。 这一篇，我想聊下，过去的分布式系统都是谁做出来的，又都是怎么做的。以及，更重要的，从分布式系统过去的发展历程中，我们能总结出什么比较好的经验。 1 先来看下 Hadoop 的诞生历程。 我们以时间为主线，梳理下重要事件： 2003 年 10 月，Google 发表论文《The Google File System》 2004 年初，Doug Cutting 领导的 Apache Nutch 项目为了满足自身需求，开始参考 Google 的 GFS 论文开发 NDFS 文件系统。 2004 年 10 月，Google 发表论文《MapRedu......
26 天前 / 一猿小讲
【这是一猿小讲的第 61篇原创分享】 饱经 CURD 折磨的程序猿，在被问起“分布式”时，转而会去说“集群”；当被问起“集群”时，转而又会去说“分布式”，在程序猿脑海中，感觉两者总是有千丝万缕的关系，扯来扯去总是扯不清楚。 那“集群”和“分布式”到底是一回事吗？两者到底有什么联系和区别呢？这要从经典的一道菜“京酱肉丝”说起。 二十世纪三十年代，北京紫禁城东北方约 4 里地的一个大杂院里，有一个原籍东北的陈老汉，和孙子相依为命，靠做豆腐维生。 有一次，陈老汉把猪肉挑出瘦的，切成很薄的片，下锅炒并放豆酱......
31 天前 / 秦夏
我有个习惯，学习一个新知识的时候，除了搞懂 What -- 这个东西是什么怎么用，还会特别关注甚至是最先关注 Why -- 为什么会有这个东西，为什么我要知道它甚至用它。然后如果有需要，再去关注 How -- 它是怎么实现的，有什么值得借鉴的地方。 这个习惯大大提高了我学习的效率和效果，也帮助我养成了勤于思考的习惯。 所以作为这个系列的第一篇，主要想讲为什么要有分布式系统，以及什么时候需要用到分布式系统。 想吃快餐的同学，可以直接看最后一节 TL;DR。当然，强烈不建议这样。 1 无论是我们在学校刚开始学编程......
33 天前 / 秦夏
1 之前写的文章都比较散，更新频率也不高。 一方面是因为自己实在太忙，又管理着几十人的部门，只能抽空写，有选择的写。 另一方面，我总是想写些有自己思考和理解的东西，不屑于写那种教你怎么用的教程类的东西。虽然我知道那样写的快、涨粉块。 不过，从今天开始，我打算开启一个系列，名字就叫《漫谈分布式系统》，一来督促自己持续和系统地输出；二来，也算是契合了这个公众号「漫谈大数据」的名字。 这个系列已经构思了很久，计划写 20-30 篇，目前大部分提纲已经列出来了。考虑到后面会有增改，暂时就先不放提纲......
38 天前 / RyuGou
在分布式系统中，通常会用到分布式ID来标注数据的唯一性，而分布式ID的生成方式又多种多样，今天我们就来讨论一下主流的分布式ID生成策略。 分布式ID基本需求全局唯一 趋势递增 信息安全 全局唯一这是基本要求，不必解释 趋势递增为什么要趋势递增呢？第一，由于我们的分布式ID，是用来标识数据唯一性的，所以多数时候会被定义为主键或者唯一索引。第二，并且绝大多数互联网公司使用的数据库是：MySQL，存储引擎为innoDB。对于 B+Tree这个数据结构来讲，数据以自增顺序来写入的话，b+tree的结构不会时常被打乱重塑，存取效率是最高的。 信息......
39 天前 / hivefans东杰
点击上方"肉眼品世界",右上角选择“设为星标” 本文整理自，阿里高级技术专家-许文奇在2019阿里云峰会上的分享《技术中台-分布式架构在蚂蚁金服的实践》，结合技术领导力社区架构专家的点评和解读，全面解析阿里技术中台的架构实践。 一、分布式架构的优势和理念 01 传统单体架构特点 （点击图片放大） 通常一个初创型项目，都是从单体架构开始的。 优点就是快，易于开发、测试、部署，一个WAR包发上生产就完事了。 缺点也很明显，因为所有模块都在一个程序包里，导致编译慢、启动慢、代码冲突，每次合并代码的时候都......
51 天前 / 编程一生
Tair是为了解决什么问题而生？ Redis很好用，相比memcached多了很多数据结构，支持持久化。但是在很长一段时间里，原生是不支持分布式的。后来就出现了很多redis集群类产品，Tair是其中胜出的优秀作品之一。 所以Tair的特性都是一些集群的特性，比如：容错、解决单点故障、跨机房管理、多集群管理、支持副本等。总而言之，是redis的高可用版本。 Tair的架构 Tair的整体风格是简约实用，包括三个必选模块：client、configserver和dataserver。一个可选模块：invalidserver。还有一个必要软设施：一致性哈希算法提供分布式的负载均衡计......
54 天前 / 蚂蚁金服分布式架构SOFAStack
9 月 11 日，蚂蚁金服在2019谷歌开发者大会上海站上开源了 ElasticDL 项目，这是业界首个基于 TensorFlow 实现弹性深度学习的开源系统。 开源地址为：elasticdl.org 开源中国采访了 ElasticDL 项目负责人王益，对该深度学习系统的技术细节进行了全面介绍。 1基于 TensorFlow 2.0 和Kubernetes实现弹性深度学习这个基于 Eager Execution 模式的开源项目名为“ElasticDL”，它是一个Kubernetes 原生深度学习框架，根据介绍，ElasticDL 主要有四大特点： 容错性弹性调度易用性高效其中又以容错与弹性调度特性最具特色。ElasticDL 实现了容错和弹......