8 天前 / 比百事还可乐
这篇博文的第一部分简要介绍了我们为提高调度器性能所做的优化；与 Flink 1.12 相比，Flink 1.14 中调度大规模作业的时间成本和内存使用量显着降低。在第二部分，我们将详细阐述这些优化的细节。 分发模式描述了消费者任务如何连接到生产者任务。目前，Flink 中有两种分布模式：pointwise 和 all-to-all。当分布模式在两个顶点之间是逐点分布时，遍历所有边的计算复杂度为 O(n)。当分布模式为 all-to-all 时，遍历所有边的复杂度为 O(n 2 )，这意味着随着规模的增加，复杂度会迅速增加。
12 天前 / kafeidou
感觉 Rust + Tokio 很适合写 frp 这种东西，难以抵制重写的诱惑。结果非常好：内存占用只有几分之一，吞吐量成倍提高，二进制最小只有 500K，原来跑不了 frp 的路由器，现在能跑 rathole。 项目地址 https://github.com/rapiz1/rathole 不多说...
20 天前 / 浪客书心
在本机网络 IO 中，我们讲到过基于普通 socket 的本机网络通信过程中，其实在内核工作流上并没有节约太多的开销。该走的系统调用、协议栈、邻居系统、设备驱动（虽然说对于本机网络 loopback 设备来说只是一个软件虚拟的东东）全都走了一遍。其工作过程如下图： 那么我们今天来看另外一种本机网络 IO 通信方式 —— Unix Domain Socket。看看这种方式在性能开销上和基于 127.0.0.1 的本机网络 IO 有没有啥差异呢。 本文中，我们将分析 Unix Domain Socket 的内部工作原理。你将理解为什么这种方式的性能比 127.0.0.1 要好很多。
20 天前 / Juicedata
如何把 MySQL 备份验证性能提升 10 倍Davies, Liyong2020.07.24JuiceFS 非常适合用来做 MySQL 物理备份，具体使用参考我们的官方文档[1]。最近有个客户在测试时反馈，备份验证的数据准备（xtrabackup --prepare）过程非常慢。我们借助 JuiceFS 提供的性能分析工具做了分析，快速发现性能瓶颈，通过不断调整 XtraBackup 的参数和 JuiceFS 的挂载参数，在一个小时内将时间缩短到原先的 1/10。本文将我们性能分析和优化的过程记录分享下来，给大家分析和优化 IO 性能提供参考。
22 天前 / sjf0115
本文资料来自 2021 年 12 月 09 日举办的PrestoCon2021，议题为《Updates from the New PrestoDB C++ Execution Engine》，分享者为来自Ahana 的Deepak Majeti 以及来自 Intel 的 Dave Cohen, Intel。 本次分享的 PPT 请关注过往记忆大数据公众号，并回复10108获取。 这篇分享将给大家概述代号为 Prestissimo 项目的相关最新进展。Prestissimo 是新的 PrestoDB C++ 执行引擎，其使用 Velox 库使其能够以良好的性能运行 TPC-H 基准测试。
24 天前 / 浪客书心
从官方这边获悉，RocketMQ 在 4.9.1 版本中对消息发送进行了大量的优化，性能提升十分显著，接下来请跟着我一起来欣赏大神们的杰作。 根据 RocketMQ 4.9.1 的更新日志，我们从中提取到关于消息发送性能优化的 (Issues: 2883)。详细链接如下：具体优化点如截图所示： 首先先尝试对上述优化点做一个简单的介绍： 对 WaitNotifyObject 的锁进行优化 (item2)移除 HAService 中的锁 (item3)移除 GroupCommitService 中的锁 (item4)消除 HA 中不必要的数组拷贝 (item5)调整消息发送几个参数的默认值 (item7)sendMessageThreadPoolNumsuseReentrantLockWhenPutMes...
25 天前 / 程序猿阿朗
这篇文章介绍几个 Java 开发中可以进行性能优化的小技巧，虽然大多数情况下极致优化代码是没有必要的，但是作为一名技术开发者，我们还是想追求代码的更小、更快，更强。如果哪天你发现程序的运行速度不尽人意，可能会想到这篇文章。 提示：我们不应该为了优化而优化，这有时会增加代码的复杂度。 这篇文章中的代码都在以下环境中进行性能测试。 JMH version: 1.33（Java 基准测试框架）VM version: JDK 17, OpenJDK 64-Bit Server VM, 17+35-2724 通过这篇文章的测试，将发现以下几个操作的性能差异。 预先分配 HashMap 的大小，提高 1/4 的性能。
32 天前 / 虞大胆
作者 / Google 和 Facebook 团队 撰稿 / Google Android 团队的 Kateryna Semenova 和 Facebook 团队的 Tim Trueman、Steven Harris、Subramanian Ramaswamy 简介 缩短应用的启动时间并非小事，我们必须深入了解其影响因素。今年，Google Android 团队和 Facebook 应用团队一直在合作研究这方面的量化指标，并共享优化方法，以改善应用启动情况。Google Android 的公开文档中包含了很多关于应用启动优化的信息。这里我们想进一步分享其在 Facebook 应用中的实践情况，以及哪些因素有助于改善应用启动性能。
33 天前 / 微信搜「腾讯云原生」
刘旭，腾讯云高级工程师，专注容器云原生领域，有多年大规模 Kubernetes 集群管理及微服务治理经验，现负责腾讯云服务网格 TCM 数据面产品架构设计和研发工作。 引言目前以 Istio[1] 为代表的服务网格普遍使用 Sidecar 架构，并使用 iptables 将流量劫持到 Sidecar 代理，优点是对应用程序无侵入，但是 Sidecar 代理会增加请求时延和资源占用。 性能一直是用户十分关心的一个点，也是用户评估是否使用服务网格产品的关键因素，腾讯云 TCM 团队一直致力于优化服务网格性能...
235 天前 / 博文视点Broadview
以下内容节选自《BPF 之巅：洞悉 Linux 系统和应用性能》一书！ BPF 是近年来 Linux 系统技术领域一个巨大的创新。作为 Linux 内核的一个关键发展节点，其重要程度不亚于虚拟化、容器、SDN 等技术。 BPF 和 eBPF 是什么 BPF 是 Berkeley Packet Filter（伯克利数据包过滤器）的缩写，这项冷门技术诞生于 1992 年，其作用是提升网络包过滤工具的性能。2013 年，Alexei Starovoitov 向 Linux 社区提交了重新实现 BPF 的内核补丁，经过他和 Daniel Borkmann 的共同完善， 相关工作在 2014 年正式并入 Linux 内核主线。
319 天前 / Leo叔叔
点击上方蓝字关注我们 我们日常接触性能诊断问题，一般分为两种情况，一是线上应用真的出现性能问题；二是我们需要对准备上线的系统进行性能预估；后者需要压力测试辅助进行，此处不表。 针对 GO 应用，性能诊断工具主要分为两层：OS 层面和 GO 应用层面 (go tool pprof /trace /gc) OS 诊断 系统诊断，我们一般主要关注三个方面：CPU、Memory、I/O 1.1 CPUCPU 诊断主要关注平均负载（Load Average），CPU 使用率，上下文切换（Context Switch）。常用 top 命令查看 cpu 使用率以及服务器负载情况。
343 天前 / sjf0115
春节前的最后一篇，在这里提前祝大家春节快乐 ClickHouse聚合函数的性能又提升了，相关PR 在此 : https://github.com/ClickHouse/ClickHouse/pull/19946 可以看到，这个 PR 在各种聚合函数中增加了 __restrict 修饰符，最终提升了 1.6 倍的聚合函数性能。 __restrict 是 C 语言中的关键字，它的作用是为编译器带来附加信息。当对指针增加 __restrict修饰之后，表示当前指针在存活期间是独占内存的，不会有其他指针指向这个地址。编译器在知道这个信息之后，就可以做出优化，从而提升性能。
381 天前 / 铭毅天下001
1、上问题这是来自球友实战问题。 大致需求介绍如下： 约 3600 万的数据，其中关键字段如下所示： _idcreatordoc_1『张三，李四，王五，赵六』doc_2『陈胜，吴广，张三』用 cardinality 聚合统计，creator 的个数有约 1300 万。 问题：但在高基数（high cardinality）的情形下，性能不理想。 2、概念解读：什么是高基数？为了更精确解读，这里直接拿：Elastic 官方博客只字不差的翻译。 Theperformanceoftermsaggregationscanbegreatlyimpactedbythecardinalityofthefieldthatisbeingaggregated. Cardinalityreferstotheuniquenessofvaluesstoredinapartic...
401 天前 / rfyiamcool
主机来了后开始配置环境，这也是烦躁的开始。像一些开发者工具的教程多是 x86 的，所以需要找到 m1 的适配教程。像 brew 工具，官方文档中就有标注 m1 的安装文档。 golang release 里没有 m1 的版本，下载 x86 和 arm 版运行提示不可用，arm 版直接报错，x86 golang 二进制文件运行后一直 hang 住，没有任何提示。go 官方博客中说 1.16 的版本会支持 mac m1，但 1.16 的正式版是 2021 年的 2 月份，预计会提前先放出几版 beta 测试版。
468 天前 / sjf0115
导读： Redis 可以轻松支撑 100k+ QPS，离不开基于 Reactor 模型的 I/O Multiplexing，In-memory 操作，以及单线程执行命令避免竞态消耗。尽管性能已经能满足大多数应用场景，但是如何继续在迭代中继续优化，以及在多核时代利用上多线程的优势，也是大家关注的重点。我们知道性能优化在系统资源层面可以从 I/O 以及 CPU 上入手，对于 Redis 而言，其功能不过度依赖 CPU 计算能力，即不是 CPU 密集型的应用，而 In-memory 的操作也绕开了通常会拖慢性能的磁盘 I/O，所以在 Redis 6.0 版本中，作者 Antirez 从网络 I/O 入手，引入 Threaded I/O 辅助读写...