4 天前 / 莫若
Flink 的 side output 为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来看下侧流输出相关的源码。 先来看下面的一个 Demo，一个流被分成了 3 个流，一个主流，两个侧流输出。 SingleOutputStreamOperatorprocess= kafka_source1.process( newProcessFunction(){ @Override publicvoidprocessElement( JasonLeePOJOvalue, ProcessFunction.Contextctx, Collectorout) throwsException{ //这个是主流输出 if(value.getName().equals("flink")){ out.collect(value); //下面两个是测流输出 }else...
5 天前 / Scenic
上一篇中我们介绍了 Istio 中服务发现与配置处理，无论是 Istio 访问外部服务的配置 (serviceentry、workloadentry) 、Istio 流量规则 (virtualservices、destinationrule 等)还是 Kubernetes 原生的服务，在 Istio 中都是使用 informer 进行事件的监听，并使用 handler 进行相关事件的处理，在各个 handler 处理结束基本都是使用 XDSServer.ConfigUpdate 把处理好的配置与服务进行 XDS 的处理，本篇我们详细介绍下 Istio 是如何与数据面进行交互并进行配置的分发。
8 天前 / 1点25
最近看到美团技术团队的动态线程池分析文章：https://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html 以及一个对应的开源项目：https://github.com/dromara/dynamic-tp 有点意思，同时也觉得动态线程池在工作的实用性，便通过此文来分析一下动态线程池的核心实现原理，本文参考了美团的文章和开源项目的实现思路，特此感谢。 背景动态线程池，指的是线程池中的参数可以动态修改并生效，比如 corePoolSize、maximumPoolSize 等。
15 天前 / u561252
TiFlash 是 TiDB 的分析引擎，是 TiDB HTAP 形态的关键组件，TiFlash 源码阅读系列文章将从源码层面介绍 TiFlash 的内部实现。在上一期的源码阅读中，大家应该对 TiFlash Proxy 模块的实现，即 TiFlash 副本是如何被添加以及获取数据有了一定的了解。 本文主要介绍的是 TiFlash 表达式的实现与设计，系统性地介绍了 TiFlash 表达式的基本概念，包括表达式体系，标量函数、聚合函数等，以期望读者能够对 TiFlash 的表达式计算有一个初步的了解。 本文作者：黄海升，TiFlash 研发工程师 表达式概要 表达式是承载 SQL 大部分逻辑的一个重要部分。
25 天前 / reesunhuang
摘要：前一篇文章 介绍了关于 Lint 和 LintPass 的一些概念和实现。基于这些结构，提供了一个简易的 Lint 检查的实现方式。本文主要介绍 CombinedLintPass 这一结构的实现，并基于 CombinedLintPass 进一步优化 Lint 的实现。 背景在 KusionStack 技术栈中， KCL 配置策略语言是重要的组成部分之一。为了帮助用户更好的编写 KCL 代码，我们也为 KCL 语言开发了一些语言工具，Lint 就是其中一种。Lint 工具帮助用户检查代码中潜在的问题和错误，同时也可以用于自动化的代码检查，保障仓库代码规范和质量。
34 天前 / sjf0115
阅读本文大约需要 30 分钟。 点击上方"华仔聊技术"右上角选择设为星标硬核技术文章不会错过！大家好，我是 华仔， 又跟大家见面了。 在上一篇中，主要带大家深度剖析了「Kafka 对多路复用器 Selector」的封装全过程，今天我们主要对 Kafka 网络层收发流程进行总结下，本系列总共分为 3 篇，这是下篇，主要剖析最后一个问题： 针对 Java NIO 的 SocketChannel，kafka 是如何封装统一的传输层来实现最基础的网络连接以及读写操作的？剖析 KafkaChannel 是如何对传输层、读写 buffer 操作进行封装的？剖析工业级 NIO 实战：如何基于位运算来控制事件的监听以及...
35 天前 / sjf0115
FlinkSQL 字段血缘解决方案及源码序号作者版本时间备注 1HamaWhite1.0.02022-08-09 增加文档和源码 作者邮箱： [email protected] 一、基础知识 1.1 Apache Calcite 简介 Apache Calcite 是一款开源的动态数据管理框架，它提供了标准的 SQL 语言、多种查询优化和连接各种数据源的能力，但不包括数据存储、处理数据的算法和存储元数据的存储库。Calcite 采用的是业界大数据查询框架的一种通用思路，它的目标是“one size fits all”，希望能为不同计算平台和数据源提供统一的查询引擎。
37 天前 / bin的技术小屋
本系列 Netty 源码解析文章基于 4.1.56.Final 版本 写在前面。....本文是笔者肉眼盯 Bug 系列的第三弹，前两弹分别是： 抓到 Netty 一个 Bug，顺带来透彻地聊一下 Netty 是如何高效接收网络连接的，在这篇文章中盯出了一个在 Netty 接收网络连接时，影响吞吐量的一个 Bug。 抓到 Netty 一个隐藏很深的内存泄露 Bug | 详解 Recycler 对象池的精妙设计与实现，在这篇文章中盯出了一个 Netty 对象池在多线程并发回收对象时可能导致内存泄露的一个 Bug。 而在本篇文章中笔者又用肉眼盯出了 Netty 在处理 TCP 连接半关闭时的一个 Bug。
37 天前 / hyper0x
在微服务架构中，有许多绕不开的技术话题。比如服务发现、负载均衡、指标监控、链路追踪，以及服务治理相关的超时控制、熔断、降级、限流等，还有 RPC 框架。这些都是微服务架构的基础，只有打牢这些基础，才敢说对微服务是有了一点理解，出门也好意思和别人打招呼了，被人提问的时候也能侃侃而谈了，线上出了问题往往也能寻根溯源内心不慌了，旁边的女同事小芳看着你的时候也是满眼的小可爱了。 在《微服务实践》公众号，之前写了《go-zero 微服务实战系列》的系列文章，这个系列的文章更多的是偏向业务功能和高并发下的服务优化等。
50 天前 / 冷星1024
前言本文会带你简单的认识一下 webpack 的 loader，动手实现一个利用 md 转成抽象语法树，再转成 html 字符串的 loader。顺便简单的了解一下几个 style-loader，vue-loader，babel-loader 的源码以及工作流程。 loader 简介 webpack 允许我们使用 loader 来处理文件，loader 是一个导出为 function 的 node 模块。可以将匹配到的文件进行一次转换，同时 loader 可以链式传递。loader 文件处理器是一个 CommonJs 风格的函数，该函数接收一个 String/Buffer 类型的入参，并返回一个 String/Buffer 类型的返回值。
64 天前 / reesunhuang
点击关注公众号，实用技术文章及时了解 completableFuture 是 JDK1.8 版本新引入的类。下面是这个类： 实现了俩接口，本身是个 class。这个是 Future 的实现类，使用 completionStage 接口去支持完成时触发的函数和操作。 一个 completetableFuture 就代表了一个任务，他能用 Future 的方法，还能做一些之前说的 executorService 配合 futures 做不了的。 之前 future 需要等待 isDone 为 true 才能知道任务跑完了，或者就是用 get 方法调用的时候会出现阻塞，而使用 completableFuture 的使用就可以用 then...
64 天前 / Yourtion
因公众号更改推送规则，请点“在看”并加“星标”第一时间获取精彩技术分享 转自：https://www.zhihu.com/question/290767285/answer/1200063036 作者：龙泉寺扫地僧（首席浏览器架构吹牛师，全球最小 chromium 内核 --miniblink 作者）。我们来看开源的 chromium，这货确实相当相当的复杂。源码拉下来就有十多 G。 我们不禁好奇，chromium 到底有哪些玩意，为啥平时感觉只是显示个网页、几句 HTML 而已，怎么会需要这么多代码？ 第一眼从目录结构上，chromium 包含这些东西： base，通用代码，基础组件，包含字符串、文件、线程、消息队列等工具类集合。
65 天前 / 冷星1024
来源 |https://segmentfault.com/a/1190000042073070 前言在vue源码中，封装了很多工具函数，学习这些函数，一方面学习大佬们的实现方式，另一方面是温习基础知识，希望大家在日常工作中，简单的函数也可以自己封装，提高编码能力。本次涉及的工具函数 1-16 在Vue3的源码中，路径是core/packages/shared/src/index.ts。17-22 在Vue2的源码中，路径是vue/src/shared/util.ts。1、EMPTY_OBJ 空对象 const EMPTY_OBJ = __DEV__ Object.freeze({}) : {}注意： Object.freeze只能浅冻结，如果属性是对象...
66 天前 / reesunhuang
我们上一篇讲的是聊聊 Kafka：协调者 GroupCoordinator 源码剖析之实例化与启动 GroupCoordinator，这一篇我们来讲讲聊聊 Kafka：协调者 GroupCoordinator 源码剖析之 FIND_COORDINATOR。 四、ApiKeys.FIND_COORDINATOR 我们前面的文章说过，与消费组相关的两个组件，一个是消费者客户端的 ConsumerCoordinator，一个是 Kafka Broker 服务端的 GroupCoordinator。ConsumerCoordinator 负责与 GroupCoordinator 通信，Broker 启动的时候，都会启动一个 GroupCoordinator 实例，而一个集群中，会有多个 Broker...