22 天前 / 秦夏
这是《漫谈分布式系统》系列的第 16 篇，预计会写 30 篇左右。每篇文末有为懒人准备的 TL;DR，还有给勤奋者的关联阅读。扫描文末二维码，关注公众号，听我娓娓道来。也欢迎转发朋友圈分享给更多人。 MapReduce 的性能问题 上一篇，我们提到，分布式系统中，经常存在中心化的角色，随着集群规模的扩大，这些中心化的角色会达到性能瓶颈，使得系统不能持续横向扩展下去。 然后，我们通过 Federation 等方法解决了这些中心化的 master 的性能问题。
22 天前 / OPPO互联网技术
我们通过监控发现，线上多台机器周期性出现 IO 100% 忙问题，该案例用常规的 IO 忙排查方法很难解决，最后从文件系统层一直跟到磁盘控制器那部分代码，才确认最终原因。 本文首先简单介绍使用 iostat/iotop/strace 这些工具，如何排查常规的 IO 忙问题。然后结合 ext4 文件系统层、块设备 block 层、磁盘控制器层内核代码，介绍本案例的排查过程，希望看过本文的小伙伴会有新的内核技能增长。 1、前期使用 iostat/iotop/strace 的排查因为 IO 忙的问题会周期性出现，20 多分钟出现一次，CPU 和内存使用都正常，每次 IO 忙持续的时间在 7s 左右...
140 天前 / 楼外青山
一、背景 3D 形象展示项目的图片及模型等资源以压缩包的形式提供，需要下载并解压后再用 Three.js 加载并展示出来，其中的解压缩环节使用的是 GitHub 上获得 5.6k Star 的 JS 开源组件库 JSZip。经过不断的优化，解压缩的性能已经有了较大提升，从几百毫秒降低到一百多甚至几十毫秒。 压缩和解压缩属于 CPU 密集型计算任务，相对于 JavaScript 这样的解释型语言来说，C 作为编译型语言更加适合，于是有了尝试把 C 解压缩程序编译为 WebAssembly 替换 JSZip 解压缩环节的想法，看看性能是否还会有进一步的提升。
144 天前 / 就想叫yoko
友链站内搜索『译』 Go1.14 将内联 defer 提高性能 发表于 2020-02-08 | 分类于 Go tips&tricks| 热度：| 字数统计： 811 紧接前一篇《Go1.14 为 time.Timer 定时器带来巨幅性能提升》，本文介绍 Go1.14 针对 defer 做的优化。 在 Go1.14 之前，Go 中的每一个 defer 函数，会在编译期在 defer 位置生成一个 runtime.deferproc 调用，并且在包含 defer 的函数退出时生成一个 runtime.deferreturn 调用。 如下代码： 1234560: func run() {1: defer foo()2: defer bar()3:4: fmt.Println("hello")5: }编译器会生成类似如下的代码： 123456runtime.d...
155 天前 / 编程一生
背景 讲一个发生在 15 年自己身上的例子。 当时负责开发维护整个公司的所有搜索引擎。两年时间内大体同样的方法已经搭建过好几套了。所以被要求再搭建一套的时候本以为不会出现什么问题。结果搭建好运行一段时间请求会超时。 登陆服务器观察到了”too many open files( 文件句柄耗尽)“错误。用 linux 命令可看到：用户可以打开文件的最大数目为 65535(linux 命令为 ulimit -a)，已经到极限了。最后观察了系统的内存已经快耗尽了（因为一台机器上同时运行了多个服务）。换了一台内存充足的机器解决了问题。
171 天前 / 阿伟me
前两天我看到了一篇文章，测试Java和Go和Python的性能，其测试内容是一个排序，排序一亿次，然后看那个语言耗时最短，我先贴一下这个文章的测试结果，Java竟然比Go快了一倍不止，Go不是号称接近C的性能吗,难道？结尾我会把我看的这篇文章链接共享出来，接下来听我分析， 准备测试代码Java测试代码可以看的出来逻辑很简单，对一个固定数组排序，for循环执行一亿次，记录总的耗时时间，代码和我看过的文章代码一致。 public static void main(String[] args) {//记录开始时间long start = System.nanoTime();int num = 100000000;for (int i = 0; i < nu...
185 天前 / Fundebug
也许你有听过一个问题，你这款 web 应用性能怎么样呀？你会回答什么呢？是否会优于海量 web 应用市场呢？本文就来整理下如何进行 web 性能监控？包括我们需要监控的指标、监控的分类、performance 分析以及如何监控。但是，如何进行 web 性能监控本身是一个很大的话题，文中只会侧重一部分进行研究，某些内容不是很全面。 前言：为什么需要监控？web 的性能一定程度上影响了用户留存率，Google DoubleClick 研究表明：如果一个移动端页面加载时长超过 3 秒，用户就会放弃而离开。BBC 发现网页加载时长每增加 1 秒，用户就会流失 10%。
198 天前 / iyacontrol
目前我们日志收集组件使用的是filebeat6.6.1，在某业务上线以后，发生了日志收集延迟的问题，最差的情况，延迟两天以上。严重影响了下游数据分析项目。 分析该业务日志之后，发现该业务日志量大，但是单日志filed非常少。 之前我们在压测的时候，已经设置了output批量发送。再加上观察kafka集群的性能监控，基本上可以排查是下游集群的影响。 针对该问题，今天的主角该出场了--pprof。 pprofPProf 工具是自带的我们检测 Golang 开发应用性能的利器。
204 天前 / 冷星1024
编者按：本文作者Berwin，W3C性能工作组成员，360导航资深前端工程师。《深入浅出Vue.js》作者。 测量与排查网页的性能瓶颈，是一名专业Web性能优化者的基本功。本章将详细介绍Web性能领域的一些专业术语，通过这些术语也可以侧面了解是哪些因素在影响加载性能。 背景衡量网页的性能是一个比较琐碎的事情，因为没有某一个指标或数字可以直接告诉我们网页的性能怎样，因为加载网页不是一瞬间的事，准确地说，它是一个过程，不存在某个单独的 “时间点” 可以完全体现出网页的性能，因为在网页加载的过程中...
210 天前 / 数据叔
推荐原创专栏大叔的大数据杂谈 【每日五分钟学习大数据】系列No.20 上一篇文章简单地介绍过了ES的相关概念，还没看的同学快去复习下： ES是什么？看完这篇就不要再问这种低级问题了！ 文章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟。 言归正传，说起索引肯定是绕不开经典的B-Tree，来看两张图简单回顾下你们大学的课本内容。 B-Tree B+Tree B+Tree是B-Tree的优化，两者的区别由图应该是可以看得比较清楚的。
214 天前 / openio
阿里妹导读：在《如何回答性能优化的问题，才能打动阿里面试官？》中，主要是介绍了应用常见性能瓶颈点的分布，及如何初判若干指标是否出现了异常。 今天，齐光将会基于之前列举的众多指标，给出一些常见的调优分析思路，即：如何在众多异常性能指标中，找出最核心的那一个，进而定位性能瓶颈点，最后进行性能调优。整篇文章会按照代码、CPU、内存、网络、磁盘等方向进行组织，针对对某一各优化点，会有系统的「套路」总结，便于思路的迁移实践。
217 天前 / GO语言中文网
点击上方蓝色“Go语言中文网”关注我们，领全套Go资料，每天学习Go语言 sync pool 本文基于 Go 1.12 和 1.13 版本，并解释了这两个版本之间 sync/pool.go 的演变。 sync包提供了一个强大且可复用的实例池，以减少 GC 压力。在使用该包之前，我们需要在使用池之前和之后对应用程序进行基准测试。这非常重要，因为如果不了解它内部的工作原理，可能会影响性能。 池的限制我们来看一个例子以了解它如何在一个非常简单的上下文中分配 10k 次： type Small struct { a int } var pool = sync.Pool{ New: func() interface{} { return new(S...