5 天前 / sjf0115
本文翻译自《Apache BookKeeper Internals — Part 3 — Reads》，作者 Jack Vanlightly。 译者：王伦辉，开源爱好者，贵州本土开发者。 本系列基于为 Apache Pulsar 配置的 BookKeeper 4.14。 在上一篇文章中，我们讨论了每次从 Netty 层到文件 IO 的写入路径，以及所有涉及的线程和组件。在这篇文章中，我们将对读取路径做同样的解析。读取请求被提交到要执行的读线程池，并且可以有多个线程来完成这项工作（因此它是一个池）。默认情况下，长轮询读取也提交给读线程轮询，但可以配置为在单独的长轮询线程池上运行。
17 天前 / sjf0115
本文转自：DataFunTalk，分享嘉宾：翟佳，StreamNative 联合创始人 编辑整理：张晓伟 美团点评 导读：多数读者们了解 BookKeeper 是通过 Pulsar，实际上 BookKeeper 在数据库和存储场景都有着非常广泛的应用。BookKeeper 是 Pulsar 的底层存储，Pulsar 有着广泛数据入口，Pulsar 跟 Kafka 及各类 MQ（RabbitMQ、ACTIVEMQ）的较大区别是 Pulsar 是统一的云原生消息流平台，不但是分布式系统，而且做了存算分离，可以让用户在云的环境下，体验到云原生的优势，例如随意扩缩容、数据灵活迁移复制等。
39 天前 / 携程技术
作者简介 本文作者 magiccao、littleorca，来自携程消息队列团队。目前主要从事消息中间件的开发与弹性架构演进工作，同时对网络 / 性能优化、应用监控与云原生等领域保持关注。 一、背景 QMQ 延迟消息是以服务形式独立存在的一套不局限于消息厂商实现的解决方案，其架构如下图所示。 QMQ 延迟消息服务架构 延迟消息从生产者投递至延迟服务后，堆积在服务器本地磁盘中。当延迟消息调度时间过期后，延迟服务转发至实时 Broker 供消费方消费。
47 天前 / sjf0115
本文翻译自 StreamNative 博客《Pulsar Isolation Part III: Separate Pulsar Clusters Sharing a Single BookKeeper Cluster》，作者高冉。 译者简介姚余钱 @ 深圳觉行科技有限公司，致力于医疗大数据领域。热衷开源，活跃于 Apache Pulsar 社区。 这是关于在 Apache Pulsar 中实现资源隔离四篇博客系列中的第三篇博客。第一篇博客概述了在 Pulsar 中实现隔离的三种方法： 1.使用 BookKeeper 独立集群的 Pulsar 独立集群：这种无共享方法提供了最高级别的隔离，适用于存储高度敏感的数据，例如个人身份信息或财务记录。
72 天前 / sjf0115
在上一篇文章中，我们从组件、线程、读写流程三个方面讲解了 bookie 服务端原理。在这篇文章中，我们将详细介绍写操作是如何通过各组件和线程模型的配合高效写入和快速落盘的。我们尽量还是在架构层面剖析。 本系列文章基于 Apache Pulsar 中配置的 BookKeeper 4.14 版本。 写操作中有很多线程调用 Journal 和 LedgerStorage 的 API。在上一篇文章中，我们已经知道写操作中 Journal 为同步操作，DbLedgerStorage 为异步操作。
86 天前 / sjf0115
本文翻译自《A Guide to the BookKeeper Replication Protocol (TLA+ Series Part 2)》，作者 Jack Vanlightly。原文链接：https://medium.com/splunk-maas/a-guide-to-the-bookkeeper-replication-protocol-tla-series-part-2-29f3371fe395。 译者简介王嘉凌 @ 中国移动云能力中心，移动云 Pulsar 产品负责人，Apache Pulsar Contributor，活跃于 Apache Pulsar 等开源项目和社区 我们知道关系型数据库中的数据是按表结构来存储，客户端可以将数据存储到表中以及从表中读取数据。
144 天前 / sjf0115
Apache BookKeeper 是企业级存储系统，旨在提供强大的持久性保证、一致性和低延迟。最初是由雅虎研究院（Yahoo! Research）开发，作为 Hadoop 分布式文件系统（HDFS）NameNode 的高可用（HA）解决方案，以解决严重的单点故障问题。 BookKeeper 在 2011 年作为 Apache ZooKeeper 下的子项目孵化，并在 2015 年 1 月毕业成为顶级项目。这 4 年多来，BookKeeper 已被 Twitter、Yahoo 和 Salesforce 等企业广泛使用，用于存储和服务关键任务数据，并支撑了不同的场景。在这篇博文中，我们将简要介绍 BookKeeper 的概念以及相关术语。
315 天前 / ApachePulsar
关于 Apache PulsarApache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。 GitHub 地址：http://github.com/apache/pulsar/ 本文转自公众号：程序员 jinjunzhu，作者：jinjunzhu 本期排版：[email protected] Apache BookKeeper 是一款企业级存储系统，最初由雅虎研究院研发，在 2011 年作为 Apache ZooKeeper 的子项目进行孵化...
1149 天前 / 柳年思水
3.2. Log Recovery 机制3.3. Bookie 容错4. 最后接着之前的一篇文章 BookKeeper 集群搭建及使用，本文是 BookKeeper 系列的第二篇，短期来看应该也是最后一篇，本篇文章主要聚焦于 BookKeeper 内核的实现机制上，会从 BookKeeper 的基本概念、架构、读写一致性实现、读写分离实现、容错机制等方面来讲述，因为我并没有看过 BookKeeper 的源码，所以这里的讲述主要还是从原理、方案实现上来介绍，具体如何从解决方案落地到具体的代码实现，有兴趣的可以去看下 BookKeeper 的源码实现。
1347 天前 / 柳年思水
随着 Apache Pulsar 成为 Apache 的顶级开源项目，其存储层的解决方案 Apache BookKeeper 再次受到业界广泛关注。BookKeeper 在 Pulsar 之前也有很多成功的应用，比如使用 BookKeeper 实现了 HDFS NameNode 的 HA 机制（可能大部分公司使用的还是 Quorum Journal Mana...