8 天前 / 进击的强
在分布式、微服务架构下，应用一个请求往往贯穿多个分布式服务，这给应用的故障排查、性能优化带来新的挑战。分布式链路追踪作为解决分布式应用可观测问题的重要技术，愈发成为分布式应用不可缺少的基础设施。本文将详细介绍分布式链路的核心概念、架构原理和相关开源标准协议，并分享我们在实现无侵入 Go 采集 Sdk 方面的一些实践。 为什么需要分布式链路追踪系统 微服务架构给运维、排障带来新挑战 在分布式架构下，当用户从浏览器客户端发起一个请求时，后端处理逻辑往往贯穿多个分布式服务，这时会浮现很多问题，比如： 请求整体耗时较长...
9 天前 / 北鱼扶摇
点击卡片关注我们，更多技术干货，及时为您送达！ 1. Snowflake 简介互联网快速发展的今天，分布式应用系统已经见怪不怪，在分布式系统中，我们需要各种各样的 ID，既然是 ID 那么必然是要保证全局唯一。 除此之外，不同的业务还需要不同的特性，比如像并发巨大的业务要求 ID 生成效率高，吞吐大；比如某些银行类业务，需要按每日日期制定交易流水号；又比如我们希望用户的 ID 是随机的，无序的，纯数字的，且位数长度是小于 10 位的，等等。
21 天前 / yybbb
背景 Cloud Native 先来谈下什么是分布式批处理，从字面来理解就是有大批量的业务数据需要应用程序去批量计算处理，而通过单机模式去执行会耗费很长的处理时间，也不能充分发挥业务集群中每个应用节点处理能力。通过一些常见的分布式批处理方案，可以有效地让业务集群中所有业务应用节点协同完成一个大批量数据处理的任务，从而提升整体的处理效率和处理可靠性。 批处理模型 在简单单机场景下可以开启多线程来同时处理一个大任务，在多个机器下可以由多台机器同时并行处理同一个任务。
27 天前 / 原装Zigzag
↓推荐关注↓ 一、什么是 ScheduleMaster ScheduleMaster 是分布式任务调度系统，是国内的一位开发者写的。简称：集中任务调度系统，最简单的理解 ScheduleMaster，就是对不同的系统里面的调度任务做统一管理的框架。 例如我们现在有多个系统，每个系统针对自己处理不同的业务场景。衍生出自己的调度任务，想象一下，如果每个系统人为去维护，那随着调度任务越来越多，人是崩溃的吧，可见维护和技术成本是巨大的，这时我们需要选择分布式任务系统框架做统一的管理 当然有目前有很多相对优秀分布式任务系统框架...
34 天前 / BloomingRose
本文根据许鹏老师在〖deeplus 直播：开源分布式数据库 CrateDB 在携程的最佳实践〗线上分享演讲内容整理而成。（文末有回放的方式，不要错过） 许鹏 携程 研发总监 专注于分布式计算和存储，对 Spark 和 PostgreSQL 有深入研究，拥有多年 Presto 和 Elasticsearch 的运维经验。 今天的分享主要包含以下几个方面的内容： CrateDB 介绍 CrateDB 在携程的实践 CrateDB 在携程的优化 总结 一、CrateDB 介绍 1、CrateDB CrateDB 是一款基于 ElasticSearch 的分布式数据库，它与 ElasticSearch 最大的区别是提供了 ANSI SQL 查询访问接口。
35 天前 / 我是阳明
本文原创作者 Alan Wang - 闪电出行工程师，已授权本站转发 持续交付作为运维工作里极其重要的一个环节，本身就存在一些历史悠久的工具，拿 Jenkins 来说，可以通过插件实现各种各样复杂的功能；随着云原生、devops、gitops 等理念的不断普及，也涌现出不少新生力量，比如说 Gitlab CI、KubeVela、ArgoCD、云效等，在 CI 或者 CD 环节中大展身手，合理使用的情况下都能显著的提升效率；但是今天我们的主角不是上面的这些选手，而是另一个极具潜力的黑马：Zadig。
38 天前 / aoho求索
你好，我是 aoho，大家周末快乐。今天我和你分享的主题是：etcd-raft 模块如何实现分布式一致性？ 我们在上一篇介绍了 etcd 读写操作的底层实现，但至于 etcd 集群如何实现分布式数据一致性并没有详细介绍。在分布式环境中，常用数据复制来避免单点故障，实现多副本，提高服务的高可用性以及系统的吞吐量。etcd 集群中的多个节点不可避免地会出现相互之间数据不一致的情况。但不管是同步复制、异步复制还是半同步复制，会存在可用性或者一致性的问题。解决多个节点数据一致性的方案其实就是共识算法，常见的共识算法有 Paxos 和 Raft。
48 天前 / BloomingRose
一、什么是服务注册中心？服务注册中心是服务实现服务化管理的核心组件，类似于目录服务的作用，主要用来存储服务信息，譬如提供者 url 串、路由信息等。服务注册中心是微服务架构中最基础的设施之一。 注册中心可以说是微服务架构中的”通讯录”，它记录了服务和服务地址的映射关系。在分布式架构中，服务会注册到这里，当服务需要调用其它服务时，就到这里找到服务的地址，进行调用。 二、为什么要有服务注册中心？这里着重强调服务注册中心的主要作用，分别为如下： 1.对微服务进行动态的集中管理； 2.松耦合，减少服务之间相关的依赖性。
62 天前 / HueiFeng
本文根据王赟老师在〖deeplus 直播：云原生运维转型的多维度探索〗线上分享演讲内容整理而成。（文末有回放的方式，不要错过） 王赟 中信银行软件开发中心技术平台域 开发工程师 就职于中信银行总行软件开发中心技术平台域，负责分布式链路追踪系统的维护工作，曾参与行内 Service Mesh 的落地实施。 本次分享主要介绍如下几点： 分布式追踪的基本原理 分布式追踪在中信银行的落地实践 未来展望 一、分布式追踪基本原理 1、什么是分布式追踪？ 如 opentracing 所述，分布式追踪又称为分布式请求追踪，对应用进行监控，用于定位问题故障和性能问题分析。
78 天前 / BloomingRose
一、背景 在 B 站的业务场景中，存在很多种不同模型的数据，有些数据关系比较复杂像：账号、稿件信息。有些数据关系比较简单，只需要简单的 kv 模型即可满足。此外，又存在某些读写吞吐比较高的业务场景，该场景早期的解决方案是通过 MySQL 来进行数据的持久化存储，同时通过 redis 来提升访问的速度与吞吐。但是这种模式带来了两个问题，其一是存储与缓存一致性的问题，该问题在 B 站通过 canal 异步更新缓存的方式得以解决，其二则是开发的复杂度，对于这样一套存储系统，每个业务都需要额外维护一个任务脚本来消费 canal 数据进行缓存数据的更新。
94 天前 / sjf0115
当前版本：2.1.0 1. 简介随着互联网流量爆发式增长，越来越多的公司业务需要支撑海量数据存储，对高并发、高可用、高可扩展性等特性提出了更高的要求，这促使各种类型的数据库快速发展，至今常见数据库已经达到 200 多个。与之相伴的便是，各种数据库之间的同步与转换需求激增，数据集成便成了大数据领域的一个亟需优秀解决方案的方向。当前市面上没有一个简单易用且支持每天数百亿条海量数据同步的开源软件，于是 SeaTunnel 应运而生。
99 天前 / hyper0x
分享嘉宾：蓝昶博士 Google 编辑整理：何文婷 字节跳动 出品平台：DataFunTalk 导读：随着机器学习模型和数据规模的增长，大规模分布式机器学习训练的性能越来越成为公有云用户关注的问题。本文将介绍谷歌云 Vertex AI 平台在分布式机器学习训练性能优化方面做的一系列工作。 具体将围绕以下几点展开： 训练优化的背景 Fast Socket: NCCL 的高性能网络栈 用 Reduction Server 加速梯度聚合 01 训练优化的背景 1.Google Vertex AI 平台简介 Vertex AI 是 Google 的一站式托管云服务，是一个集成了 AutoML 和 AI Platform 的 AI 机器学习以及服务平台。
104 天前 / 35岁程序员那些事
当我们的业务服务需要定时的执行业务接口时，我们就需要考虑引入定时任务，那么问题又来了，我们是选择“分布式定时任务”呢，还是“本地 Job”呢。 好吧，这里就从技术和架构的角度带着大家一起看一下这个问题。 线程和线程池 熟悉线程和线程池的技术人都应该知道，使用它们是可以实现定时功能的。 RocketMQ 中比较常见的定时任务的写法，就是利用线程来实现的定时任务，也就是 Thread 类，说的简单一点就是线程等待。 如下代码的语义就是按照固定周期 waitInterval 去执行负载均衡。
106 天前 / 35岁程序员那些事
在日常工作中，不同的场合下，我们可能都会听说网关的概念，当然通常是指业务网关（API 网关），负责 API 的输入和输出。有了业务网关之后，各个 API 服务提供者可以专注于自己的业务逻辑处理，而 API 网关更专注于安全、流量、路由等问题。从功能层次我们又会联想到一个概念——代理。网关与代理的区别：代理本质是数据的透传，协议不会发生变化；网关在数据透传的背景下，还会涉及协议的转换，比如从 HTTP 到 Dubbo。
107 天前 / 35岁程序员那些事
可以参与抽奖 参与方式 关注公众号：35 岁程序员那些事，后台回复关键词“参与抽奖”，获取抽奖链接，点击抽奖。中奖之后，可以联系笔者的微信号或者公众号后台回复关键词“联系笔者”，获取联系方式。 分布式容错和降级是微服务架构中应对瞬时大流量的最佳解决方案。 推荐使用 Spring CloudAlibaba+Sentinel Nginx Nginx 是一块轻量级的 Web 服务器 / 反向代理服务器，目前在 github 上 Star 13.3k Fork 4.9k Watch 951，整体关注度也非常高，最近一次更新是 2020 年 12 月 5 日，最新的版本为 release-1.19.6。