6 天前 / 极客挖掘机1
在阅读本文前，建议先阅读《Spring Cloud Alibaba | Sentinel：分布式系统的流量防卫兵基础实战》。 1. Sentinel整合Feign和RestTemplateSentinel目前已经同时支持Feign和RestTemplate，需要我们引入对应的依赖，在使用Feign的时候需要在配置文件中打开Sentinel对Feign的支持：feign.sentinel.enabled=true，同时需要加入openfeign starter依赖使sentinel starter中的自动化配置类生效。在使用RestTemplate的时候需要在构造RestTemplate的Bean的时候加上@SentinelRestTemplate注解，开启Sentinel对RestTemplate的支持。 1.1 创建父工程se......
8 天前 / 极客挖掘机1
Springboot: 2.1.8.RELEASE SpringCloud: Greenwich.SR2 1. Sentinel控制台概述在介绍入门实战之前，先来介绍一下Sentinel。Sentinel控制台提供一个轻量级的开源控制台，它提供机器发现以及健康情况管理、监控（单机和集群），规则管理和推送的功能。 Sentinel控制台主要功能： 查看机器列表以及健康情况：收集 Sentinel 客户端发送的心跳包，用于判断机器是否在线。 监控 (单机和集群聚合)：通过 Sentinel 客户端暴露的监控 API，定期拉取并且聚合应用监控信息，最终可以实现秒级的实时监控。 规则管理和推送：统一管理推送规则。 鉴......
10 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号ID：xjjdog），欢迎分享，转载请保留出处。 分布式缓存方面，redis勇夺花魁。但对于消息队列mq来说，还处于百花齐放的年代。 缓存系统，基本上解决一个存取问题，就万事大吉了，调用是同步的。对于消息队列来说，就不太一样。它的使用场景多样，可靠级别多变，从生产端到消费端，过程是异步的。 消息系统的设计要点，有很多。现在，很难有一个消息系统，能够兼顾下面提到的设计要点。它要是说可以，那就是母体在吹。 所以很多时候，现在流行的Kafka、RabbitMQ、RocketMQ等，会被同时使用。如果你在做相关方面的......
13 天前 / 蓝狐笔记
（盛开的果树园，梵高） 金融和科技结合之后，一直向更高效更低成本以及服务更多人的方向发展。从一开始金融公司的信息化到2008年之后出现真正的金融科技企业如Lenging Club等，到后来涌现更多互联网金融公司，开展基于互联网的保险、基金销售以及P2P网络借贷服务。 互联网金融给很多人带来回报，比如给理财方带来更高的收益，让很多原来无法获得贷款的用户获得了贷款服务。但同时出现了不少问题，比如P2P借贷的过高利息无法持续，尤其是小额借贷利息过高，借款人在多个平台借贷，拆东墙补西墙，行业风控走向失控，最后的结果是发生很多暴雷事......
13 天前 / 360技术
奇技指南 XSQL是由360统一计算团队开源的一款低门槛、更稳定、多数据源的分布式查询引擎。它允许你快速、近实时地查询大量数据。 背景 近年，大数据领域涌现出了多种多样的数据存储、数据计算的框架或工具，但是却没有统一的标准，外加大数据技术之间的层层壁垒，导致了门槛高和不够稳定两个问题。 第一个问题实际上包括了学习曲线陡峭、可维护性低、部署不可控等。 各种数据源从存储格式到执行引擎，都有非常大的差别。由于SQL是目前被广泛接受的行业标准，且门槛很低，所以部分数据源或者计算引擎提供了对SQL的支持。尽管如此，各种......
15 天前 / ThoughtWorks
微服务分布式一致性模式2019年9月2日by 吴雪峰Leave a Comment微服务拆分后遇到的一个麻烦是分布后的一致性问题。单体架构的业务处理和数据都在一个进程里面，一致性保障很成熟，开发人员基本上不用关心。当把业务系统拆分到不同进程时，就遇到了技术性一致性问题。这带来了纠结，我们希望有一颗银弹，一把解决问题。但由于分布式一致性在(CAP)理论上没有完美的解决方案，我们所能选择的方案是在特定业务场景下的选择。 我们这里讨论的分布是指业务逻辑上做了拆分导致的分布，而不是数据量特别大导致的分布。 如果业务上不拆分，数据量特别大需要......
15 天前 / 1点25
ID是数据的唯一标识，传统的做法是利用UUID和数据库的自增ID，在互联网企业中，大部分公司使用的都是Mysql，并且因为需要事务支持，所以通常会使用Innodb存储引擎，UUID太长以及无序，所以并不适合在Innodb中来作为主键，自增ID比较合适，但是随着公司的业务发展，数据量将越来越大，需要对数据进行分表，而分表后，每个表中的数据都会按自己的节奏进行自增，很有可能出现ID冲突。这时就需要一个单独的机制来负责生成唯一ID，生成出来的ID也可以叫做分布式ID，或全局ID。下面来分析各个生成分布式ID的机制。 这篇文章并不会分析的特别详细，主要......
17 天前 / zlt2000
一、背景开发排查系统问题用得最多的手段就是查看系统日志，在分布式环境中一般使用ELK来统一收集日志，但是在并发大时使用日志定位问题还是比较麻烦，由于大量的其他用户/其他线程的日志也一起输出穿行其中导致很难筛选出指定请求的全部相关日志，以及下游线程/服务对应的日志。 二、解决思路每个请求都使用一个唯一标识来追踪全部的链路显示在日志中，并且不修改原有的打印方式(代码无入侵) 使用Logback的MDC机制，日志模板中加入traceId标识，取值方式为%X{traceId} MDC（Mapped Diagnostic Context，映射调试上下文）是 log4j 和 lo......
29 天前 / 噶牛爱尚
写文章端到端一致性,流系统Spark/Flink/Kafka/DataFlow对比总结(压箱宝具呕血之作)阿莱克西斯程序员话题的优秀回答者1,707 人赞同了该文章收藏数已经是赞数的2倍多了... 麻烦至少收藏的同学点一下赞...(码字，查资料，整理文档实属不易; 望赞使其扩散到需要它的人眼前) 长文预警, 全文两万五千多字, 37页word文档的长度; （略有杂乱，有些非常复杂的地方可能需要更多的例子来说明，使得初学者也能很容易看懂，但是实在花的时间已经太多太多了，留待后边利用起碎片时间一点点修改吧。。。。毋怪。。） 题图: 分布式最难的2个问题, 1. Exactly Onc......
32 天前 / engineX
基于websocket单台机器支持百万连接分布式聊天(IM)系统本文将介绍如何实现一个基于websocket分布式聊天(IM)系统。 使用golang实现websocket通讯，单机可以支持百万连接，使用gin框架、nginx负载、可以水平部署、程序内部相互通讯、使用grpc通讯协议。 本文内容比较长，如果直接想clone项目体验直接进入项目体验 goWebSocket项目下载,文本从介绍webSocket是什么开始，然后开始介绍这个项目，以及在Nginx中配置域名做webSocket的转发，然后介绍如何搭建一个分布式系统。 目录1、项目说明 1.1 goWebSocket 1.2 项目体验 2、介绍webSocket 2......
42 天前 / u128287
作者介绍 段然，甜橙金融创新中心开发工程师，目前负责公司平台化建设及媒介能力聚合。 一、限流的作用 由于API接口无法控制调用方的行为，因此当遇到瞬时请求量激增时，会导致接口占用过多服务器资源，使得其他请求响应速度降低或是超时，更有甚者可能导致服务器宕机。 限流(Rate limiting)指对应用服务的请求进行限制，例如某一接口的请求限制为100个每秒,对超过限制的请求则进行快速失败或丢弃。 限流可以应对： 热点业务带来的突发请求； 调用方bug导致的突发请求； 恶意攻击请求。 因此，对于公开的接......
43 天前 / engineX
作者：朱江，腾讯工程师。 | 导语布隆过滤器是一种很实用的数据结构，能快速判断某个数据是否存在于特定集合中，比如可以用一个布隆过滤器记录读过某篇文章的所有用户，或者记录一个月内访问过某个URL所有用户。这样可以快速判断某个用户是否读过某篇文章、某个用户是否访问过某个URL，同时消耗内存极少。为了可以让各个业务都能方便使用，借鉴DCache设计，方便申请使用、管理，而背后的分配、主备、异常管理不需要业务关心。 01写在前面1.布隆过滤器特点一种概率型的数据结构，可以高效地插入和查询，能告诉你"某个数据一定不存在或可能存......
45 天前 / Fh
CAP理论2000年7月，Eric Brewer教授提出CAP猜想；2年后，Seth Gilbert和Nancy Lynch从理论上证明了CAP；之后，CAP理论正式成为分布式计算领域的公认定理。CAP定律说的是在一个分布式计算机系统中，一致性，可用性和分区容错性这三种保证无法同时得到满足，最多满足两个。CAP：C ：Consistency（一致性）A：（Availability）可用性P：（Partition Tolerance）分区容错性 让我们构造一个非常简单的分布式系统。 两台服务器G1和G2 两台服务器可以相互通讯 客户端可以随机访问任何一台服务器 Consistency（一致性）Gilbert and Lynch 这样描述的......