2 天前 / sjf0115
本文原文（点击下面阅读原文即可进入）https://www.iteblog.com/archives/2551.html Airbnb 日志事件获取 日志事件从客户端（例如移动应用程序和 Web 浏览器）和在线服务发出，其中包含行为或操作的关键信息。每个事件都有一个特定的信息。例如，当客人在 Airbnb.com 上搜索马里布的海滨别墅时，将生成包含位置，登记和结账日期等的搜索事件。 在 Airbnb，事件记录对于我们理解客人和房东，然后为他们提供更好的体验至关重要。它为业务决策提供信息，并推动工程功能（如搜索，实验，付款等）中的产品开发。例如，日志事件是训练机器学习模型以进......
3 天前 / 哈尔的数据城堡
Hadoop 说起hadoop，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是[hdu:p]。 Hadoop这个名字是Hadoop项目创建者DougCutting的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为Hadoop。这刚好满足Cutting的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是Hadoop就诞生了。 Zookeeper关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。 时任研究院的......
3 天前 / 哈尔的数据城堡
Hadoop 说起hadoop，可能现在许多人都不会陌生，但读就不一定读的对了。 Hadoop的发音是[hdu:p]。 Hadoop这个名字是Hadoop项目创建者DougCutting的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为Hadoop。这刚好满足Cutting的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是Hadoop就诞生了。 Zookeeper关于“ZooKeeper”这个项目的名字，其实也有一段趣闻。在立项初期，考虑到之前内部很多项目都是使用动物的名字来命名的（例如著名的Pig项目),雅虎的工程师希望给这个项目也取一个动物的名字。 时任研究院的......
14 天前 / sjf0115
导读：在传统消息系统中，存在一些问题。一方面，消息的存储和服务一般是紧耦合的，节点的扩容和运维不便，特别是在需要多备份来保证高可用性的场景。另一方面，消息的消费模式被固定，在企业内部需要维护多套系统来保证不同的消息消费场景。另外消息系统中，多租户，多机房互备等企业级的特性和功能也不太丰富。 Apache Pulsar采用了分层的架构，解决了存储计算的耦合，同时提供了很好的扩展性和可维护性。Pulsar也通过订阅层的抽象，提供了统一的消息消费模型。特别是在Pulsar的设计之初，就注重对多租户，多机房互备等方面的需求，提供了众......
25 天前 / sjf0115
点击上方“朱小厮的博客”，选择“设为星标” 做积极的人，而不是积极废人！ “请你简述一下Kafka中的分区分配”，当面试官问你这个问题的时候，你会怎么回答？其实，这道题目里面就暗藏汹涌，因为Kafka中的分区分配在多处出现，而这个问题的表述方式是在潜意识里暗示你回答一种，这样在你自认为很完美的回答完这个问题之后，面试官会冷不丁的来一句：还有呢？ 当你回答完一个点的时候，面试官来一句还有呢，当你再补上一个的时候，他还是会来一句还有呢，就算你又补上第三个的时候，他还是会来一句还有呢？这个时候你会不会一脸懵逼？ 今天就......
31 天前 / laoyang360
0、题记实际业务场景中，会遇到基础数据存在Mysql中，实时写入数据量比较大的情景。迁移至kafka是一种比较好的业务选型方案。 而mysql写入kafka的选型方案有： 方案一：logstash_output_kafka 插件。 方案二：kafka_connector。 方案三：debezium 插件。 方案四：flume。 方案五：其他类似方案。 其中：debezium和flume是基于mysql binlog实现的。 如果需要同步历史全量数据+实时更新数据，建议使用logstash。 1、logstash同步原理常用的logstash的插件是：logstash_input_jdbc实现关系型数据库到Elasticsearch等的同步。 实际上，......
49 天前 / sjf0115
在这篇文章中我们将结合例子逐步讲解 Flink 是如何与 Kafka 工作来确保将 Kafka Topic 中的消息以 Exactly-Once 语义处理。 检查点(Checkpoint)是一种能使 Flink 从故障恢复的内部机制。检查点是 Flink 应用程序状态的一致性副本，包括了输入的读取位点。如果发生故障，Flink 通过从检查点加载应用程序状态来恢复应用程序，并从恢复的读取位点继续处理，就好像什么事情都没发生一样。你可以把检查点理解为电脑游戏的存档。如果你在游戏中存档之后发生了什么事情，你可以随时读档重来一次。 检查点使 Flink 具有容错能力，并确保在发生故障时也能......
59 天前 / 小姐姐味道
前提：本例适合那些没有顺序要求的消息主题。 kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。 使用Spring创建一个kafka消费者是非常简单的。我们选择的方式是继承kafka的ShutdownableThread，然后实现它的doWork方法即可。 参考： https://github.com/apache/kafka/blob/2.1/examples/src/main/java/kafka/examples/C......
64 天前 / 37丫37
强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃 通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理，前边几篇ELK的文章介绍过利用logstash将kafka的数据写入到elasticsearch集群，这篇文章将会介绍如何通过logstash将数据写入HDFS 本文所有演示均基于logstash 6.6.2版本 数据收集logstash默认不支持数据直接写入HDFS，官方推荐的output插件是webhdfs，webhdfs使用HDFS提供的API将数据写入HDFS集群 插件安装插件安装比较简单，直接使用内置命令即可 #cd/home/opt/tools/logstash......
77 天前 / 浪淘沙
我是知乎技术中台工程师，负责知乎存储相关的组件。我的分享主要基于三个，第一，简单介绍一下Kafka在知乎的应用，第二，为什么做基于Kubernetes的Kafka平台。第三，我们如何去实现基于Kubernetes的kafka平台。 Kafka在知乎的应用Kafka是一个非常优秀的消息或者数据流的组件，在知乎承载了日志、数据收集、消息队列等服务，包括运行的DEBUG日志关键性日志。比如我们在浏览知乎的时候，有些用户行为或者内容特征，会通过我们这个平台做数据的流失处理。 关于Kafka实现对消息服务。简单地来说，我关注的A用户，是不是应该基于关注用户行为上......
82 天前 / 公众号_咖啡拿铁
1.概述Apache Kafka最早是由LinkedIn开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始，Kafka的标语已经从“一个高吞吐量，分布式的消息系统”改为"一个分布式流平台"。 Kafka和传统的消息系统不同在于: kafka是一个分布式系统，易于向外扩展。它同时为发布和订阅提供高吞吐量它支持多订阅者，当失败时能自动平衡消费者消息的持久化kafka和其他消息队列的对比: 2.入门实例2.1生产者producer import java.util.Properties;import org.apache.kafka......
82 天前 / zhishemg
前言之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ？文章中其实已经写了点将数据写入到 MySQL，但是一些配置化的东西当时是写死的，不能够通用，最近知识星球里有朋友叫我: 写个从 kafka 中读取数据，经过 Flink 做个预聚合，然后创建数据库连接池将数据批量写入到 mysql 的例子。
于是才有了这篇文章，更多提问和想要我写的文章可以在知识星球里像我提问，我会根据提问及时回答和尽可能作出文章的修改。
准备你需要将这两个依赖添加到 pom.xml 中
12345
84 天前 / 雪漫士兵
Kafka 来源Kafka的前身是由LinkedIn开源的一款产品，2011年初开始开源，加入了 Apache 基金会，2012年从 Apache Incubator 毕业变成了 Apache 顶级开源项目。同时LinkedIn还有许多著名的开源产品。如： 分布式数据同步系统Databus 高性能计算引擎Cubert Java异步处理框架ParSeq Kafka流处理平台 Kafka 介绍Kafka 用于构建实时数据管道和流应用程序。它具有水平可扩展性，容错性，快速性，并在数千家公司的生产环境中运行。 从官方我们可以知道ApacheKafka是一个分布式流媒体平台。这到底是什么意思呢？ 流媒体平台有三个关键功能： 发布......
90 天前 / spark技术分享
这篇文章介绍下kafka的基本概念和使用，希望能对初学者提供一定的帮助 最近kafka相关的分享了4篇了，如果需要进阶修炼的话，可以结合着一块看看，后续会分享 hbase的精品系列，中间穿插一些 spark 的原创实践文章，希望大家的技术日益精进，在面试大数据的岗位时，可以指哪打哪。 技术选型|kafka vs rabbitMQ 原理分析|kafka的高可用机制 实践篇|kafka最佳实践 kafka是什么Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持......