19 天前 / 逗逗
点击上方“朱小厮的博客”，选择“设为星标” 做积极的人，而不是积极废人 很多同学私信问我Kafka在性能优化方面做了哪些举措，对于相关问题的答案其实我早就写过了，就是没有系统的整理一篇，最近思考着花点时间来整理一下，下次再有同学问我相关的问题我就可以潇洒的甩个链接了。这个问题也是Kafka面试的时候的常见问题，面试官问你这个问题也不算刁难你。在网上也有很多相关的文章开讲解这个问题，比如之前各大公众号转载的“为什么Kafka这么快？”，这些文章我看了，写的不错，问题在于只是罗列了部分的要领，没有全部的详述出来。本文所罗列......
38 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
39 天前 / sjf0115
文章作者：哥不是小萝莉 编辑整理：Hoh Xil 内容来源：作者投稿 出品社区：DataFun 注：文末有惊喜，等你呦！ 1. 前言目前实时计算的业务场景越来越多，实时计算引擎技术及生态也越来越成熟。以 Spark 和 Flink 为首的实时计算引擎，成为实时计算场景的重点考虑对象。那么，今天就来聊一聊基于 Kafka 的实时计算引擎如何选择？Spark or Flink？ 2.为何需要实时计算？根据 IBM 的统计报告显示，过去两年内，当今世界上90%的数据产生源于新设备、传感器以及技术的出现，数据增长率也会为此加速。而从技术上将，这意味着大数据领域，处理......
44 天前 / 浪尖
flink与kafka整合是很常见的一种实时处理场景，尤其是kafka 0.11版本以后生产者支持了事务，使得flink与kafka整合能实现完整的端到端的仅一次处理，虽然这样会有checkpoint周期的数据延迟，但是这个仅一次处理也是很诱人的。可见的端到端的使用案例估计就是前段时间oppo的案例分享吧。关注浪尖微信公众号(bigdatatip)输入 oppo 即可获得。 1.flink sql与kafka整合方式介绍 flink SQL与kafka整合有多种方式，浪尖就在这里总结一下： 1.datastream转table 通过addsource和addsink API，整合，生成Datastream后注册为表，然后sql分析。 主要接口......
46 天前 / 浪淘沙
目录 1.有Broker的暴力路由：Kafka 2.有Broker的复杂路由：RabbitMQ 3.无Broker的通信流派：ZeroMQ 4.总结 写在前面 我们知道，目前市面上的MQ包括Kafka、RabbitMQ、ZeroMQ、RocketMQ等等。 那么他们之间究竟有什么本质区别，分别适用于什么场景呢？ 上述抛出的问题，同样在不少公司的Java工程师面试中出现，特别是当你简历上的技术栈包含了这些技术，面试官往往喜欢用这个问题，对你进行摸底考察。 本文我们就一起来探讨一下。 （1）有Broker的暴力路由 这个流派最典型的就是Kafka，Kafka......
50 天前 / 大数据手稿笔记
Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数据存储，但却具有高性能、高吞吐、低延时的特点，其吞吐量动辄几万、几十上百万，这其中的原由值得我们一探究竟。本文属于Kafka知识扫盲系列，让我们一起掌握Kafka各种精巧的设计。 顺序读写 众所周知Kafka是将消息记录持久化到本地磁盘中的，一般人会认为磁盘读写性能差，可能会对Kafka性能如何保证提出质疑。实际上不管是内存还是磁盘，快或慢关键在于寻址的方式，磁盘分为顺序读写与随机读写，......
55 天前 / sjf0115
本文原文（点击下面阅读原文即可进入）https://www.iteblog.com/archives/2551.html Airbnb 日志事件获取 日志事件从客户端（例如移动应用程序和 Web 浏览器）和在线服务发出，其中包含行为或操作的关键信息。每个事件都有一个特定的信息。例如，当客人在 Airbnb.com 上搜索马里布的海滨别墅时，将生成包含位置，登记和结账日期等的搜索事件。 在 Airbnb，事件记录对于我们理解客人和房东，然后为他们提供更好的体验至关重要。它为业务决策提供信息，并推动工程功能（如搜索，实验，付款等）中的产品开发。例如，日志事件是训练机器学习模型以进......
56 天前 / 哈尔的数据城堡
Hadoop 说起hadoop，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是[hdu:p]。 Hadoop这个名字是Hadoop项目创建者DougCutting的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为Hadoop。这刚好满足Cutting的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是Hadoop就诞生了。 Zookeeper关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。 时任研究院的......
56 天前 / 哈尔的数据城堡
Hadoop 说起hadoop，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是[hdu:p]。 Hadoop这个名字是Hadoop项目创建者DougCutting的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为Hadoop。这刚好满足Cutting的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是Hadoop就诞生了。 Zookeeper关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。 时任研究院的......
67 天前 / sjf0115
导读：在传统消息系统中，存在一些问题。一方面，消息的存储和服务一般是紧耦合的，节点的扩容和运维不便，特别是在需要多备份来保证高可用性的场景。另一方面，消息的消费模式被固定，在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中，多租户，多机房互备等企业级的特性和功能也不太丰富。 Apache Pulsar采用了分层的架构，解决了存储计算的耦合，同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象，提供了统一的消息消费模型。特别是在Pulsar的设计之初，就注重对多租户，多机房互备等方面的需求，提供了众......
78 天前 / sjf0115
点击上方“朱小厮的博客”，选择“设为星标” 做积极的人，而不是积极废人！ “请你简述一下Kafka中的分区分配”，当面试官问你这个问题的时候，你会怎么回答？其实，这道题目里面就暗藏汹涌，因为Kafka中的分区分配在多处出现，而这个问题的表述方式是在潜意识里暗示你回答一种，这样在你自认为很完美的回答完这个问题之后，面试官会冷不丁的来一句：还有呢？ 当你回答完一个点的时候，面试官来一句还有呢，当你再补上一个的时候，他还是会来一句还有呢，就算你又补上第三个的时候，他还是会来一句还有呢？这个时候你会不会一脸懵逼？ 今天就......
84 天前 / laoyang360
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。 而mysql写入kafka的选型方案有： 方案一：logstash_output_kafka 插件。 方案二：kafka_connector。 方案三：debezium 插件。 方案四：flume。 方案五：其他类似方案。 其中：debezium和flume是基于mysql binlog实现的。 如果需要同步历史全量数据+实时更新数据，建议使用logstash。 1、logstash同步原理常用的logstash的插件是：logstash_input_jdbc实现关系型数据库到Elasticsearch等的同步。 实际上，......
102 天前 / sjf0115
在这篇文章中我们将结合例子逐步讲解 Flink 是如何与 Kafka 工作来确保将 Kafka Topic 中的消息以 Exactly-Once 语义处理。 检查点(Checkpoint)是一种能使 Flink 从故障恢复的内部机制。检查点是 Flink 应用程序状态的一致性副本，包括了输入的读取位点。如果发生故障，Flink 通过从检查点加载应用程序状态来恢复应用程序，并从恢复的读取位点继续处理，就好像什么事情都没发生一样。你可以把检查点理解为电脑游戏的存档。如果你在游戏中存档之后发生了什么事情，你可以随时读档重来一次。 检查点使 Flink 具有容错能力，并确保在发生故障时也能......