4 天前 / hyper0x
↑↑↑关注后"星标"Datawhale 每日干货&每月组队学习，不错过Datawhale 干货 作者：牧小熊，华中农业大学，Datawhale 原创作者 0. 前言分布式并行编程可以大幅提高程序性能，实现高效的批量数据处理。分布式程序运行在大规模计算机集群上（廉价的服务器），可以并行执行大规模数据处理任务，从而获得海量的计算能力。因此目前常用的大数据软件都可以部署在分布式计算环境种。 关于大数据的概论，在前面的文章中已经详细讲解，这里就不再赘述。
25 天前 / luoxn28
戳蓝字「TopCoder」关注我们哦！ 目前 service mesh 技术在互联网公司中越来越流行，那么之前分布式系统是如何服务治理的呢，又是如何一步步发展成 service mesh 的呢？ 侵入式服务治理方案指的是，在应用端使用框架提供的 API 开发程序并提供服务治理方案。Java 提供了很多一站式服务化框架，可以有效地与应用系统深度配合，形成完善的服务治理体系。比如由阿里巴巴公司开源的 Dubbo，以及由 Pivotal 公司开源的 Spring Cloud 是业界采用最多的侵入式服务治理方案。
26 天前 / HueiFeng
本文根据沈剑老师在〖2020 Gdevops 全球敏捷运维峰会〗现场演讲内容整理而成。 （点击文末“阅读原文”可获取完整 PPT） 讲师介绍 沈剑，到家集团技术 VP& 技术委员会主席，快狗打车 CTO，互联网架构技术专家，“架构师之路”公众号作者。曾任百度高级工程师，58 同城技术委员会主席、高级架构师、技术学院优秀讲师。 大家好，我是沈剑，接下来将会跟大家分享一下到家集团 / 快狗打车的整个分布式调用链追踪系统的落地。
30 天前 / Turling
I.内容提要定时调度系统（定时任务、定时执行）算是工作中经常依赖的中间件系统，简单使用操作系统的 crontab，或基于 Quartz，xxl-job 来搭建任务调度平台，行业有很多优秀的开源产品和中间件。了解其工作和设计原理，有助于我们完善或定制一套适合公司业务场景的任务调度中间件，之前写了两篇文章介绍了调度负载均衡和定时延时任务的内容，可以参考。 分布式调度分发负载均衡及服务保持 分布式调度延时任务实现原理 今天我们探讨另一话题，对调度任务的依赖关系及编排展开分析，实现一套工作流，来满足任务间的复杂依赖的场景。
33 天前 / Turling
延时应用场景 之前的文章分享了分布式任务调度系统负载均衡方案：分布式任务调度系统分发及负载均衡实现方案。 一个完整的任务调度系统，对延时任务的支持必不可少。延时任务、延迟消息、延迟队列基本语境和实现类似，那么它有哪些适用场景呢？最常见的如：用户下单 xx 分钟内未付款订单自动取消，释放库存；订单发货后 xx 天自动确认收货；订单结束后 xx 天自动评价；用户注册后 1min 内触发 xx 动作等。
39 天前 / 四猿外
又是这个封面，最近这个封面出现的比较频繁，别问为什么？问就是，这个封面 = 内容牛 B 这篇文章我们继续聊分布式相关的内容。 提到分布式系统，就一定绕不开“一致性”，这次我们说说：最终一致性。 最终一致性是现在大部分高可用的分布式系统的核心思路。 估计有人对最终一致性不太熟，先来个简单介绍： 最终一致性指的是系统中的所有分散在不同节点的数据，经过一定时间后，最终能够达到符合业务定义的一致的状态。
39 天前 / Yourtion
全文约 4077 字，预计阅读时间为 12 分钟最近想给项目添加一个简单的分布式请求跟踪功能，从前端发起请求到网关，再从网关调用 SpringCloud 的微服务，这些过程中希望能从日志中看到一个分布式 ID 的链路，通过请求的 ID 可以追踪整一条链路，方便问题的排查。 现成的方案自然是使用 SkyWalking 、 Spring Cloud Sleuth 、Zipkin 之类的组件，但是想到主要的目的记录一个可以一直贯通各个服务的 ID，方便日志查询，也就不想引入太多复杂的组件，最终决定通过 MDC 在日志中输出追踪的 ID，然后在 Feign 和 RestTemplate 中将请求 ID 在微服务中传递。
43 天前 / xF0rk
什么是文件系统？ 文件系统是计算机中一个非常重要的组件，为存储设备提供一致的访问和管理方式。在不同的操作系统中，文件系统会有一些差别，但也有一些共性几十年都没怎么变化： 数据是以文件的形式存在，提供 Open、Read、Write、Seek、Close 等 API 进行访问； 文件以树形目录进行组织，提供原子的重命名（Rename）操作改变文件或者目录的位置。 文件系统提供的访问和管理方法支撑了绝大部分的计算机应用，Unix 的“万物皆文件”的理念更是凸显了它的重要地位。
43 天前 / u578576
阅读大概需要 3 分钟 附源码 [toc] 前言单体架构的服务的日子已经一去不复返了。 当前系统业务和数据存储的复杂度都在提升，分布式系统是目前使用非常普遍的解决方案。 全局唯一 ID 几乎是所有设计系统时都会遇到的，全局唯一 ID 在存储和检索中有至关重要的作用。 ID 生成器在应用程序中，经常需要全局唯一的 ID 作为数据库主键。如何生成全局唯一 ID？ 首先，需要确定全局唯一 ID 是整型还是字符串？如果是字符串，那么现有的 UUID 就完全满足需求，不需要额外的工作。缺点是字符串作为 ID 占用空间大，索引效率比整型低。
45 天前 / 秦夏
这是《漫谈分布式系统》系列的第 24 篇，预计会写 30 多篇。扫描文末二维码，关注公众号，听我娓娓道来。也欢迎转发朋友圈分享给更多人。 扩展性需求带来的架构演进 系列开篇的时候，我就提过，这个系列虽然叫《漫谈分布式系统》，但我会以大数据为核心场景去展开。 所以，之前谈到为了解决「存不下」和「算的慢」的问题，引出了 Hadoop。 但是，实际上分布式系统不只有大数据这个场景，而 Hadoop 也不是唯一的解法。 我们把视线拉回去。起初在单机下，一切都不是问题。逐渐的，当数据量和计算量变大后，就需要在架构上扩容。
46 天前 / HughNian
缘起提到分词一直都是一个比较底层的技术，说简单点就是一个分词系统，说复杂的话它也是属于人工智能范畴，确切说是属于 NLP 自然语言处理范畴。npw 是一个用 Golang 开发的中文分词系统，里面也用到了 NLP 的隐马尔可夫模型，维特比算法等，并没有对词汇进行学习处理。我们只是 NLP 的应用，真正的人工智能 NLP 需要模型训练，需要不停的对不同模型的加解码，得出最优解，这就很深了，npw 不属于这个范畴 (￣▽￣)”。
47 天前 / Yourtion
- 起源 - TCC 概念由 Pat Helland 于 2007 年发表的一篇名为《Life beyond Distributed Transactions:an Apostate’s Opinion》的论文提出， 在该论文中，TCC 还是以 Tentative-Confirmation-Cancellation 命名。正式以 Try-Confirm-Cancel 作为名称的是 Atomikos 公司，并且还注册了 TCC 商标。国内最早可查引进 TCC 概念，应是阿里程立 2008 年在 软件开发 2.0 大会 上分享主题《大规模 SOA 系统中的分布事务处理》中。
50 天前 / farliu
分布式一致性协议 - EPaxosDec 21, 2020 | 算法理论| 阅读 | 3.1k 字 | 12 分钟 条评论总结 epaxos 作为 paxos 族中的一员，并不是单独存在的。所以我在文中开篇给出总结，罗列与 basic-paxos、mutli-paxos 之间的区别。带着目的学习，可能相对容易理解一些。 回顾 paxos 的局限性，总结来说存在三个问题： basic-paxos，多个 proposal 提出时，容易形成活锁，影响整个算法的活性。mutli-paxos，通过只允许 leader 提出 proposal，解决活锁问题...
55 天前 / kafeidou
阿里妹导读：12 月 3 日，由阿里云 CIO 学院主办的【2020 中国企业数字创新峰会】在杭州举行。400 位企业 CEO、CTO、CIO 齐聚一堂，共同探讨企业数字化转型经验。阿里巴巴集团副总裁、达摩院数据库首席科学家李飞飞发表了题为《云原生分布式数据库系统——挑战与机遇》的演讲，探讨云原生数据库的价值和商业应用。 文末福利：《阿里云数据库客户案例集》开放下载。 一 背景与趋势 云计算加速数据库系统演进 首先我们看一下云计算的发展给数据库系统带来了哪些变化？数据库系统是计算机领域三大基础软件系统之一，操作系统、编译系统、数据库系统。