2 天前 / 峻岭云松
目前项目的日志收集用到了 kafka，每天收集几亿条日志数据，梳理了一下 kafka 在高并发方面的知识，来帮助理解 Kafka 是如何做到超高并发 ( 百万级)的，设计很是精妙，尤其是他的暴力输入输出美学，深受启发，并在后续项目中得到了应用。 巧用文件系统按照 kafka 官网的话说，不要害怕文件系统。可能很多人一想到磁盘就会想到慢这个字，但是磁盘的性能表现好坏在于你的使用。 我们以 kafka 官方例子为例，在 6 个 7200rpm SATA RAID-5 阵列的 JBOD 配置上，顺序写入性能约每秒 600MB，而随机写入的性能约每秒 100k，差了 6000 倍。
9 天前 / BloomingRose
点击上方“中间件兴趣圈”，选择“设为星标” 点击下面图片直达文章合集 大家好，我是威哥，《RocketMQ 技术内幕》作者、RocketMQ 社区首席布道师、极客时间《中间件核心技术与实战》专栏作者、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。 1、背景最近在折腾 Kafka 日志集群，由于公司部署的应用不断增加，日志采集程序将采集到的日志发送到 Kafka 集群时出现了较大延迟，总的 TPS 始终上不去，为了不影响业务团队通过日志排查问题，采取了先解决问题，再排查的做法，对 Kafka 集群进行扩容...
10 天前 / yybbb
推荐大家关注一个公众号点击上方 "编程技术圈"关注，星标或置顶一起成长 后台回复“大礼包”有惊喜礼包！ 每日英文 Man has to be crazy for once, whether it is for a person,a love story, a journey or a dream. 人的一生要疯狂一次，无论是为一个人，一段情，一段旅途，或一个梦想。 每日掏心话 人生就像蒲公英，看似自由，却往往身不由己。生活没有如果，只有结果，自己尽力了，努力了，就好。 责编：乐乐 | 来自：ksfzhaohui 链接：juejin.im/post/5cad6f1ef265da039f0ef5df 编程技术圈 (ID:study_tech)第 1712期推文 往日回顾：数据扫黄...
11 天前 / 小渣
你好，我是悟空~ 本文向读者介绍两个优秀的分布式消息流平台：Kafka 与 Pulsar。 文末送书！ Apache Kafka（简称 Kafka）是由 LinkedIn 公司开发的分布式消息流平台，于 2011 年开源。Kafka 是使用 Scala 和 Java 编写的，当下已成为最流行的分布式消息流平台之一。Kafka 基于发布 / 订阅模式，具有高吞吐、可持久化、可水平扩展、支持流数据处理等特性。 Apache Pulsar（简称 Pulsar）是雅虎开发的“下一代云原生分布式消息流平台”，于 2016 年开源，目前也在快速发展中。
11 天前 / 逗逗
以讲解性能作为 Kafka 之旅的开篇之作，让我们一起来深入了解 Kafka “快”的内部秘密。你不仅可以学习到 Kafka 性能优化的各种手段，也可以提炼出各种性能优化的方法论，这些方法论也可以应用到我们自己的项目之中，助力我们写出高性能的项目。 关公战秦琼 65: Redis 和 Kafka 完全是不同作用的中间件，有比较性吗？ 是的，所以此文讲的不是《分布式缓存的选型》，也不是《分布式中间件对比》。我们聚焦于这两个不同领域的项目对性能的优化，看一看优秀项目对性能优化的通用手段，以及在针对不同场景下的特色的优化方式。
12 天前 / 浪客书心
点击关注公众号：互联网架构师，后台回复2T 获取 2TB 学习资源！上一篇：Alibaba 开源内网高并发编程手册。pdf “Kafka 是一个分布式消息队列，具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起到解耦、削峰、异步处理的作用。 Kafka 对外使用 Topic 的概念，生产者往 Topic 里写消息，消费者从中读消息。 为了做到水平扩展，一个 Topic 实际是由多个 Partition 组成的，遇到瓶颈时，可以通过增加 Partition 的数量来进行横向扩容。单个 Parition 内是保证消息有序。
13 天前 / 博文视点Broadview
点击“博文视点 Broadview”，获取更多书讯 本文向读者介绍两个优秀的分布式消息流平台：Kafka 与 Pulsar。 Apache Kafka（简称 Kafka）是由 LinkedIn 公司开发的分布式消息流平台，于 2011 年开源。Kafka 是使用 Scala 和 Java 编写的，当下已成为最流行的分布式消息流平台之一。Kafka 基于发布 / 订阅模式，具有高吞吐、可持久化、可水平扩展、支持流数据处理等特性。 Apache Pulsar（简称 Pulsar）是雅虎开发的“下一代云原生分布式消息流平台”，于 2016 年开源，目前也在快速发展中。
19 天前 / 小渣
阅读本文大约需要 30 分钟。 今天我们来聊聊 Kafka 生产环境大家都比较关心的问题。 Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？ 只有掌握了这些， 我们才能处理好 Kafka 生产级的一些故障，从而更稳定地服务业务。 认真读完这篇文章，我相信你会对 Kafka 如何解决丢数据问题，有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 越来越多的互联网公司使用消息队列来支撑自己的核心业务。
21 天前 / 浪客书心
（给 ImportNew 加星标，提高 Java 技能） 有人说：他曾在一台配置较好的机子上对Kafka进行性能压测，压测结果是Kafka单个节点的极限处理能力接近每秒2000 万条消息，吞吐量达到每秒600MB。 那 Kafka 为什么这么快？如何做到这个高的性能？本篇文章主要从这 3 个角度来分析： 生产端 服务端Broker 消费端 先来看下生产端发送消息，Kafka 做了哪些优化？ （1）生产端 Producer 先来回顾下Producer 生产者发送消息的流程： 首先指定消息发送到哪个Topic。 选择一个Topic的分区partitiion，默认是轮询来负载均衡。
21 天前 / u561252
编者按：StreamNative 产品经理沈瑀昊分享《StreamNative Cloud for Kafka，云上打通 Pulsar 与 Kafka》，介绍如何使用 StreamNative Cloud for Kafka 这一产品搭建 Pulsar 与 Kafka 之间的云端桥梁。 StreamNative Cloud for Kafka 目前 StreamNative Cloud for Kafka 服务是预测试版本，只对少数用户定向开放体验。 StreamNative Cloud 简介 StreamNative Cloud 提供了全托管（Cloud-Hosted）和半托管（Cloud-Managed）两种云端服务，前者是由 StreamNative 提供的全 SaaS 服务，用户可以在云端以 SaaS 模式使用 Pulsar——注册账号后...
22 天前 / 逗逗
一、背景 saas 服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。 为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。 然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。 二、Elasticsearch vs ClickHouse ClickHouse 是一款高性能列式分布式数据库管理系统，我们对 ClickHouse 进行了测试...
28 天前 / sjf0115
备注：本文首发于 InfoQ， 转载获得授权，作者为沈文兵。 关于作者沈文兵，新浪微博数据平台研发工程师，主要负责 Kafka 和 Pulsar 的运维研发工作。开源项目爱好者，Apache Pulsar/BookKeeper/Kafka Contributor，KoP（Kafka-on-Pulsar）Maintainer。 新浪公司是一家服务于中国及全球华人社群的领先网络媒体公司。其业务涵盖新浪媒体、微博和新浪金融。新浪通过门户网站新浪网、新浪移动、新浪财经以及社交媒体平台微博组成的数字媒体网络，帮助广大用户获得专业媒体、机构和个人创作的多媒体内容并与他人进行兴趣分享和社交互动。
29 天前 / 逗逗
记得点击"石臻臻的杂货铺，设为星标 关注彦祖的你会越来越帅 文末扫码，下载 20 万字《Kafka 运维与实战宝典》 大家好，我是石臻臻 1 Kafka 监控 2 指标采集和统计机制 3 常见指标分析 1 Kafka 监控 Kafka 使用 Yammer Metrics 在服务器中报告指标，Java 客户端使用 Kafka Metrics，这是一个内置的指标注册表。 两者都通过 JMX 公开指标 启用 JMX 并上报指标 Kafka 默认禁用远程 JMX，Kafka 启动 JMX 方式 方式一： JMX_PORT= 端口号nohupbin/kafka-server-start.shconfig/server.properties& 在这里插入图片描述方式二： 在启动脚本里面 对 JMX_PORT 赋值...
29 天前 / 峻岭云松
举个例子想象这么一个游戏，有一排柜子，刚好这排柜子嵌在了墙里，在墙的两面柜子都有门，也就是你可以在墙这面打开柜门，看到里边的美好事物，过一把眼瘾，也可以在墙的那面打开柜子的另一侧的门，看里边。 然后是规则，有 A 和 B 两队人，每队有若干人，两队人分别在墙的不同侧，然后人挨着个往前走，可以打开柜门看柜子里边的东西，但是必须顺序看，而且还不能看本组别人看过的柜子，然后每个人争先恐后的看，看完就报告看了哪个，然后去跟管柜子的人要接下来我能看哪个。 例子不是太贴切，灵感来源于和珅纪晓岚的看洋片桥段，稍加改动。
29 天前 / 小渣
本系列总共 4 万多字，本篇是中篇，阅读本文大约需要 40 分钟。 大家好，我是华仔， 又跟大家见面了。 之前有粉丝留言说能否总结和分享一些 Kafka 相关的面试题。 今天我们就来安排一期关于 Kafka 的核心面试题连环炮， 从「基础知识」、「进阶提升」、「架构调优」 三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。 由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的中篇。 这篇文章干货很多，希望你可以耐心读完。