3 天前 / sjf0115
供稿 : 甜橙金融大数据研发 kindred 背景很多朋友在使用 distributed 表作 join 的时候 , 可能都会发现一个问题 , 即使设置了 distributed_product_mode='local' , join 右侧的表还是无法被改写成对应的 local 表从而加速 join 的性能。 非 local 表查询#创建 MergeTree 表 CREATETABLEdefault.local_t ( `id`Int64, `age`Int32, `name`String, `createdat`DateTime ) ENGINE=MergeTree ORDERBYid; #创建 Distributed 表 CREATETABLEdefault.all_t ( `id`Int64, `age`Int32, `name`String, `createdat`DateTime ) ENGINE=Distributed('twoshard_onerepl','...
5 天前 / reesunhuang
背景介绍哈啰已进化为包括两轮出行（哈啰单车、哈啰助力车、哈啰电动车、小哈换电）、四轮出行（哈啰顺风车、全网叫车、哈啰打车）等的综合化移动出行平台，并向酒店、到店团购等众多本地生活化生态探索。 随着公司业务的不断发展，流量也在不断增长。我们发现生产中的一些重大事故，往往是被突发的流量冲跨的，对流量的治理和防护，保障系统高可用就尤为重要。 服务之间的交互通常可以分为直接调用和通过消息队列解耦的异步调用。他们都可以归为流量调用范畴，本文为就哈啰在消息流量和微服务调用的治理中踩过的坑、积累的经验一个分享。
21 天前 / 微观技术
Spring Boot 作为主流微服务框架，拥有成熟的社区生态。市场应用广泛，为了方便大家，整理了一个基于 spring boot 的常用中间件快速集成入门系列手册，涉及 RPC、缓存、消息队列、分库分表、注册中心、分布式配置等常用开源组件，大概有几十篇文章，陆续会开放出来，感兴趣同学请提前关注 & 收藏 关于配置的常规方案是将配置信息抽离写入 xml、properties 文件中，然后随着应用一块打包发布。如果有开发、测试、预发、生产等多套环境，则通过配置各自独立的文件以区分不同的环境。具备一定的扩展性，但每次配置参数变更都要重新发布应用，灵活性较差。
24 天前 / 郭儿的跋涉
对于一般应用来说，通常会需要用到业务唯一编码，比如订单流水号、操作记录流水号，关于它的生成方式有多种可以选择。 1、UUIDUUID 使用非常简单，全球唯一、本地生成，缺点是没有业务含义，且不能自增，作为数据库的字段有些太长。 UUID.randomUUID().toString() 2、数据库自增 IDOrale 的序列 sequence，MySQL 的 auto increment 自增 ID，都可以作为分布式应用的 ID 生成。其优点是数字类型，并且可以自增。当然缺点就是并发场景下的性能瓶颈。
24 天前 / Dr_Hydra
在单体架构下，我们大多使用的是单体数据库，通过数据库的 ACID 特性支持，实现了本地事务。但是在微服务架构下复杂的业务关系中，分布式事务是不可避免的问题之一。Seata 是 Spring Cloud Alibaba 分布式事务解决方案中间件，解决了微服务场景下面临的分布式事务问题。本文介绍如何通过搭建 Seata 环境，并通过其 AT 模式，实现分布式事务。 本文中使用的环境版本： nacos-server-1.3.1 seata-server-1.4.0 spring-cloud Hoxton.SR3 spring-cloud-alibaba 2.2.1.RELEASE 1、Seata 服务端 z 下载下载 seata-server-1.4.0： https://github.com/seata/seata...
27 天前 / Yourtion
一 我对好代码的看法 1 什么是好代码 如果你读过《设计模式之美》，你可能会觉得玩转各种设计模式，符合设计模式的 6 大基本原则的代码就是好代码；如果读过《clean code》，你可能会觉得好代码的一个标准是——整洁；如果你经常研读 Spring 源码，你可能会觉得精妙的设计、高度的抽象、灵活的配置才是好代码，就像是一本书，一千个读者眼中有一千个哈姆雷特，每个人按照自己的认知都会有自己的判断。
29 天前 / 高飞
CAP 是一个基于 .NET Standard 的 C# 库，它是一种处理分布式事务的解决方案，同样具有 EventBus 的功能，它具有轻量级、易使用、高性能等特点。 https://github.com/dotnetcore/CAP 在我们构建 SOA 或者 微服务系统的过程中，我们通常需要使用事件来对各个服务进行集成，在这过程中简单的使用消息队列并不能保证数据的最终一致性， CAP 采用的是和当前数据库集成的本地消息表的方案来解决在分布式系统互相调用的各个环节可能出现的异常，它能够保证任何情况下事件消息都是不会丢失的。
34 天前 / u145168
因果最近在做公司接口测试的时候，发现公司接口在应对重复请求的，处理不是很好，当时问研发小哥，研发小哥说对重复提交请求的，当前项目没有做接口的幂等性的校验，说实话，当时感觉一脸懵逼，就在思考什么是幂等性，自己一直在做接口测试，都不知道有这个东西，于是就自己换位思考，决定站在研发的角度，去学习以下如何实现幂等性的实现，毕竟知道如何实现的，在接下来的业务场景中，才能更好的测试。
43 天前 / 君无戏言.
ratelimiter-spring-boot-starter基于 redis 的偏业务应用的分布式限流组件，使得项目拥有分布式限流能力变得很简单。限流的场景有很多，常说的限流一般指网关限流，控制好洪峰流量，以免打垮后方应用。这里突出偏业务应用的分布式限流的原因，是因为区别于网关限流，业务侧限流可以轻松根据业务性质做到细粒度的流量控制。比如如下场景， 案例一：有一个公开的 openApi 接口， openApi 会给接入方派发一个 appId，此时，如果需要根据各个接入方的 appId 限流，网关限流就不好做了，只能在业务侧实现 案例二：公司内部的短信接口...
45 天前 / AddoZhang
本文译自The Evolution of Distributed Systems on Kubernetes[1] 在 3 月份的 QCon 上，我做了一个关于 Kubernetes 的分布式系统进化的演讲。首先，我想先问一个问题，微服务之后是什么？我相信大家都有各自的答案，我也有我的答案。你会在最后发现我的想法是什么。为了达到这个目的，我建议大家看看分布式系统的需求是什么？以及这些需求在过去是如何发展的，从单体应用开始到 Kubernetes，再到最近的 Dapr、Istio、Knative 等项目，它们是如何改变我们做分布式系统的方式。我们将尝试对未来做一些预测。
46 天前 / flyer0126
对于集群、分布式和微服务，大家在工作中可能经常会听到，但是如果问你它们之间存在什么样的区别和联系，可能你一下子又感觉说不清楚，今天就这个话题，趁着周末时间，跟大家来一起聊聊。 弄明白是什么要做三者之间的对比，首先要弄明白它们分别是什么？ 集群集群是指将多台服务器集中在一起，每台服务器都实现相同的业务，做相同的事情。 但是每台服务器并不是缺一不可，存在的作用主要是缓解并发压力和单点故障转移问题。我们可以利用一些廉价的符合工业标准的硬件构造高扩展、高性能、低成本、高可用的系统。
51 天前 / WriteOnRead
场景描述最近使用 Redis 遇到了一个类似分布式锁的场景，跟 Redis 实现分布式锁类比一下，就是释放锁失败，也就是缓存删不掉。又踩了一个 Redis 的坑…… 这是什么个情况、又是怎样排查的呢？ 本文主要对此做个复盘。 问题排查既然是释放锁有问题，那就先看看释放锁的代码吧。 释放锁释放锁使用了 Lua 脚本，代码逻辑和 Lua 脚本如下： 释放锁示例代码 publicObjectrelease(Stringkey,Stringvalue){ ObjectexistedValue=stringRedisTemplate.opsForValue().get(key); log.info("key:{}, value:{}, redis 旧值：{}",key,value,existedValue); DefaultRedisS...
62 天前 / 秦夏
这是《漫谈分布式系统》系列的第 25 篇，预计会写 30 多篇。扫描文末二维码，关注公众号，听我娓娓道来。也欢迎转发朋友圈分享给更多人。 空间换时间 前面几篇文章，我们讲到了因为 MR 太慢，所以出现了 Spark，大幅提升了性能。但 Spark 还不够快，传统关系数据库发展起来的 MPP 架构，比较好的满足了我们的高性能查询要求，在和 HDFS 结合并提出类似 virtual segment 这样的概念后，也一定程度上解决了扩展性的问题。 但是，在一些复杂的场景下，无论是 Batch 还是 MPP 可能都不够快。比如查询条件复杂、join 表特别多、计算量特别大的情况。
64 天前 / Howie6879
20 世纪 80 年代末至 90 年代初，面向对象编程思想给软件开发带来了一轮技术革新，就像润物细无声的春雨那般，向全世界的程序员们快速普及了模块化构建应用程序的方法，一直流行至今。 当下，我们可以看到类似的革新出现在了分布式系统开发，具体特点如下： 基于容器的微服务架构体系日益流行容器天然隔离的属性非常适合作为分布式系统中的基本对象基于面向对象，四人帮基于经验提出和总结了对于一些常见软件设计问题的标准解决方案，其描述了一系列基于接口的模式，可以在各种环境中重用，这被称之为软件设计模式。
72 天前 / 多颗糖
▲点击上方"多颗糖"关注公众号 本篇主要学习 The Google File System 这篇大名鼎鼎的论文。 分布式存储 ( 包括文件系统)是构建分布式系统的关键，许多其它分布式应用都建立在分布式存储之上。 为什么设计一个分布式存储系统会如此之难？ 出发点是提高性能，当单机数据量太大时，需要在多台服务器上分片 (Sharding)数据； 由于多台服务器，系统可能会出现更多的故障。如果你有数千台服务器，也许每天都有机器故障，所以我们需要系统能够自动容错； 为了提高容错，需要复制 (replication)数据到多台服务器上...