13 天前 / 豌豆花下猫
笔者在近期工作中有接触到 Celery，这是一个开源的分布式任务队列（Distributed Task Queue），在 Github 上现有 18k star，主要可以用于实现应用中的异步任务和定时任务，虽然是用 Python 编写，但协议可以用任何语言实现，现已有 gocelery、nodecelery 和 celery-php 等。 笔者写下此文总结对 Celery 的了解和在工作中的使用。本文的大概内容如下： 任务队列是什么；Celery 做了什么；Celery 在工作中的实践。任务队列是什么“消息队列（Message Queue）”，后端同学应该都有了解，常见的有 RabbitMQ、RocketMQ、Kafka。
27 天前 / 虞大胆
综述字节跳动在发展过程中，逐渐形成了十分复杂的超大规模微服务体系，对后端整体的可观测性解决方案提出了极高的要求。为了解决这个问题，基础架构智能运维团队自研链路追踪系统，将海量 Metrics/Trace/Log 数据进行整合与统一，并在此基础上实现了新一代的一站式全链路观测诊断平台，帮助业务解决监控排障、链路梳理、性能分析等问题。本文将会介绍字节跳动链路追踪系统的整体功能和技术架构，以及实践过程中我们的思考与总结。 什么是分布式链路追踪 (Trace) ？M T L 的关系可观测性的三大基础数据是 Metrics / Log / Trace。
34 天前 / 编程一生
上篇文章《网络通信之 Session 的历史血脉》是围绕着理解底层通信来的。因为不管是 MQ 还是持久层框架中，建立连接后都使用了 session 来保持或者保存状态数据。 上篇文章和《深入理解 MQ 生产端的底层通信过程 - 理解 channel》、《接下来一段时间会对大家进行网络通信的魔鬼训练 - 理解 socket》、《网络字节序列 - 大端序和小端序》、《https 引起的跨域问题 -COE&casestudy》、《懂得三境界 - 使用 dubbo 时请求超过问题》、《一个 http 请求进来都经过了什么 (2021 版)》是一个系列。只是用不同的方法在讲底层通信。
39 天前 / 美团技术团队
总第 481 篇 2021 年 第 051 篇 美团内部深度定制的 TensorFlow 版本，基于原生 TensorFlow 1.x 架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升 10 倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。1 背景 2 大规模训练优化挑战 2.1 业务迭代带来的挑战 2.2 系统负载分析 3 优化实践 3.1 大规模稀疏参数介绍 3.2 分布式负载均衡优化 3.3 通信优化 3.4 延迟优化 3.5 单实例 PS 并发优化 3.6 单位算...
47 天前 / jacexh
项目地址：https://github.com/wosai/ultron 开发背景 Ultron 第一个版本是在 2017 年开发的，开发的初衷是发现当时所使用的某压测工具自身存在严重的性能问题，我们在研究其实现原理后，决定用 Golang 来实现一套类似的压测工具。 第一个版本开发比较顺利，而且依托于强大的 goroutine 并发模型，在随后的 Benchmark 中我们发现其性能已接近 wrk，超过了大部分开源压测工具，于是我们立即在公司内部做了推广，替换掉了其他压测工具，并一直稳定使用到现在。
50 天前 / 俞凡
Data Mesh 是最近随着微服务开始流行起来的数据架构，以一种分布式、可扩展、用户友好的方式管理数据，提供更好的数据洞察能力和更灵活的数据治理能力。原文：Data Mesh: The Four Principles of a Distributed Architecture[1] 数据网格（Data Mesh）是一个相对较新的术语，其本质上是最近数十年来关于数据架构 [2]的思考、研究和实验的演进结果，下面我们会进一步介绍这一概念。 数据网格是由 Zhamak Dehghani 设计的分布式架构，他是 Next Tech 孵化器的董事、Thoughtworks 首席顾问和技术咨询委员会成员。
58 天前 / java金融
点击上方“Java 金融”，选择“设为星标” 后台回复"888"获取 bat 面试题集 引言记得我们那时候刚开始学习 Java 的时候都只是一个单体项目，项目里面的配置基本都是写在项目里面的 properties 文件中，比如数据库配置啥的，各种逻辑开关，一旦这些配置修改了，还需要重启项目这修改才会生效。随着各种微服务的诞生，服务的拆分也越来越细，可能涉及的服务成千上百，服务基本也是集群部署，这样再去一个一个项目修改配置，然后重启这显然是行不通的。
64 天前 / u312562
虚拟空间成为建筑师的新战场，web 3.0 程序员定义世界，加密艺术开创新的思想潮流，全球几亿人被迫加入远程办公，超过 50% 的科技公司接受远程办公，并重新考虑物理空间的设计，混合办公瞧瞧兴起…… Hybrid Work 混合办公微软分享了 160000 名员工混合式办公的经验。- 超过 70 % 的员工希望继续灵活的远程办公 - 超过 65 % 的人渴望与他们的团队有更多的面对面时间 - 66 % 的商业决策者正在考虑重新设计物理空间，以更好地适应混合工作环境。 # 远程办公的优势 1973 年，第四次中东战争爆发，石油危机出现，美国每天有大量的通勤者开车上下班。
66 天前 / yybbb
编者按：《100 页 ppt 讲清楚云原生》一文作者投稿连载，待有缘人读完。上次找的 ppt 不少朋友可能不志在交流，志在使用素材内部汇报等。欢迎点赞在看转发三连，幸甚！ 作者介绍： 高磊 ( 曾用花名世忠、胤禛) ，16 年工作经验，原阿里巴巴、华为架构师，专注于云原生领域的产品规划设计以及技术架构。 直接上图，下图是云原生分布式操作系统的数据模型，它是从抽象层面来表达控制逻辑的对象图。 我们都清楚 K8S 已经是事实的容器服务编排标准，它采用一种抽象层面的方式来纳管底层硬件资源并同时向上提供“应用”生命周期管理支持。
69 天前 / yongxinz
今天跟大家介绍一个开源项目：id-maker，主要功能是用来在分布式环境下生成唯一 ID。上周停更了一周，也是用来开发和测试这个项目的相关代码。 美团有一个开源项目叫 Leaf，使用 Java 开发。本项目就是在此思路的基础上，使用 Go 开发实现的。 项目整体代码量并不多，不管是想要在实际生产环境中使用，还是想找个项目练手，我觉得都是一个不错的选择。 项目背景在大部分系统中，全局唯一 ID 都是一个强需求。比如快递，外卖，电影等，都需要生成唯一 ID 来保证单号唯一。
70 天前 / 叶东富
什么是 TCC，TCC 是 Try、Confirm、Cancel 三个词语的缩写，最早是由 Pat Helland 于 2007 年发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文提出。 TCC 组成 TCC 分为 3 个阶段 Try 阶段：尝试执行，完成所有业务检查（一致性）, 预留必须业务资源（准隔离性） Confirm 阶段：如果所有分支的 Try 都成功了，则走到 Confirm 阶段。Confirm 真正执行业务，不作任何业务检查，只使用 Try 阶段预留的业务资源 Cancel 阶段：如果所有分支的 Try 有一个失败了，则走到 Cancel 阶段。Cancel 释放 Try 阶段预留的业务资源。
78 天前 / 叶东富
TCC 分布式事务来源于 2007 年 Pat Helland 发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文，TCC 分别是 Try、Confirm、Cancel 的手写字母。 组成 TCC 有三个分支 Try 分支：预留锁定业务相关资源，如果资源不够，则返回失败 Confirm 分支：如果前面的 Try 全部成功，则进入 Confirm，进行数据变更，这个阶段不会返回失败 Cancel 分支：如果前面的 Try 没有全部成功，有返回失败的，则进入 Cancel。Cancel 解冻 Try 锁定的资源，也类似 Confirm 是不会返回失败的。
79 天前 / yybbb
在讲这个话题前还是先推荐下自己去年出版的《SOA 和大数据 - 企业私有云平台规划和建设实践》这本书。经常看我博客和头条文章的应该知道，这本书最早的成书内容大部分在 2015 年就已经完成，该书大部分依托当时联通集团的 UCloud 项目建设实践总结提炼而成，但是一直只做了内部印刷而没有正式出版。 当写该书的时候，我们已经在做业务系统内的 SOA 化，但当时还没有微服务的提法，而实际上当时的做法和当前的微服务架构相当类似，也为会最近 2-3 年整理微服务方面的文章奠定了基础。
79 天前 / rainNight
在过去十年中，强化学习 (RL) 已成为机器学习中最有前途的研究领域之一，并且在解决复杂的现实世界问题（例如芯片放置和资源管理）以及解决具有挑战性的游戏（例如，去、Dota 2 和捉迷藏）。简单来说，强化学习基础设施是一个数据收集和训练循环，参与者探索环境并收集样本，然后将其发送给学习者训练和更新模型。大多数当前的 RL 技术需要对环境中数百万个样本的批次进行多次迭代才能学习目标任务（例如，Dota 2 每 2 秒从 200 万帧的批次中学习）。
81 天前 / 逗逗
导语|从头理一遍 Raft 会给你带来新的体验与收获，让你从根本上理解 Raft，理解它被提出的背景，在此背景下又是如何解决实际问题的，这才是从头实现一个 Raft 所带来的真正收益。本文聚焦在 Raft 算法的实现上，不对 Raft 本身做过多介绍，从领导者选举、日志同步、持久化和快照等几个层面进行展开讲解。 一、介绍 Raft 目前是最著名的分布式共识性算法，被广泛的应用在 etcd、k8s 中。 根据 Raft 论文，可将 Raft 拆分为如下 4 个功能模块： 领导者选举 日志同步、心跳 持久化 日志压缩，快照 这 4 个模块彼此并不完全独立...