14 天前 / 后场技术
如果您紧跟数据库领域的最新发展，则可能对 ClickHouse 已经耳熟能详了，它是专为 OLAP 设计的列式数据库管理系统。ClickHouse 由 Yandex 开发，于 2016 年开源，这使其成为最新的列式数据库管理系统之一，当前被作为开源数据库被广泛应用。 因为 ClickHouse 支持实时，高速报告，所以它是一个功能强大的工具，特别是对于需要即时，快速和灵活的数据分析方式的现代 DevOps 团队而言。 但是，与大多数 DevOps 工具一样，ClickHouse 仅在受到正确管理和监控的情况下才能提供巨大的价值。
49 天前 / java金融
前言随着互联网的高速发展，市面上也出现了越来越多的网站和 app。我们判断一个软件是否好用，用户体验就是一个重要的衡量标准。比如说我们经常用的微信，打开一个页面要十几秒，发个语音要几分钟对方才能收到。相信这样的软件大家肯定是都不愿意用的。软件要做到用户体验好，响应速度快，缓存就是必不可少的一个神器。缓存又分进程内缓存和分布式缓存两种：分布式缓存如 redis、memcached 等，还有本地（进程内）缓存如 ehcache、GuavaCache、Caffeine 等。
105 天前 / 秦夏
这是《漫谈分布式系统》系列的第 16 篇，预计会写 30 篇左右。每篇文末有为懒人准备的 TL;DR，还有给勤奋者的关联阅读。扫描文末二维码，关注公众号，听我娓娓道来。也欢迎转发朋友圈分享给更多人。 MapReduce 的性能问题 上一篇，我们提到，分布式系统中，经常存在中心化的角色，随着集群规模的扩大，这些中心化的角色会达到性能瓶颈，使得系统不能持续横向扩展下去。 然后，我们通过 Federation 等方法解决了这些中心化的 master 的性能问题。
105 天前 / OPPO互联网技术
我们通过监控发现，线上多台机器周期性出现 IO 100% 忙问题，该案例用常规的 IO 忙排查方法很难解决，最后从文件系统层一直跟到磁盘控制器那部分代码，才确认最终原因。 本文首先简单介绍使用 iostat/iotop/strace 这些工具，如何排查常规的 IO 忙问题。然后结合 ext4 文件系统层、块设备 block 层、磁盘控制器层内核代码，介绍本案例的排查过程，希望看过本文的小伙伴会有新的内核技能增长。 1、前期使用 iostat/iotop/strace 的排查因为 IO 忙的问题会周期性出现，20 多分钟出现一次，CPU 和内存使用都正常，每次 IO 忙持续的时间在 7s 左右...
224 天前 / 楼外青山
一、背景 3D 形象展示项目的图片及模型等资源以压缩包的形式提供，需要下载并解压后再用 Three.js 加载并展示出来，其中的解压缩环节使用的是 GitHub 上获得 5.6k Star 的 JS 开源组件库 JSZip。经过不断的优化，解压缩的性能已经有了较大提升，从几百毫秒降低到一百多甚至几十毫秒。 压缩和解压缩属于 CPU 密集型计算任务，相对于 JavaScript 这样的解释型语言来说，C 作为编译型语言更加适合，于是有了尝试把 C 解压缩程序编译为 WebAssembly 替换 JSZip 解压缩环节的想法，看看性能是否还会有进一步的提升。
228 天前 / 就想叫yoko
友链站内搜索『译』 Go1.14 将内联 defer 提高性能 发表于 2020-02-08 | 分类于 Go tips&tricks| 热度：| 字数统计： 811 紧接前一篇《Go1.14 为 time.Timer 定时器带来巨幅性能提升》，本文介绍 Go1.14 针对 defer 做的优化。 在 Go1.14 之前，Go 中的每一个 defer 函数，会在编译期在 defer 位置生成一个 runtime.deferproc 调用，并且在包含 defer 的函数退出时生成一个 runtime.deferreturn 调用。 如下代码： 1234560: func run() {1: defer foo()2: defer bar()3:4: fmt.Println("hello")5: }编译器会生成类似如下的代码： 123456runtime.d...
238 天前 / 编程一生
背景 讲一个发生在 15 年自己身上的例子。 当时负责开发维护整个公司的所有搜索引擎。两年时间内大体同样的方法已经搭建过好几套了。所以被要求再搭建一套的时候本以为不会出现什么问题。结果搭建好运行一段时间请求会超时。 登陆服务器观察到了”too many open files( 文件句柄耗尽)“错误。用 linux 命令可看到：用户可以打开文件的最大数目为 65535(linux 命令为 ulimit -a)，已经到极限了。最后观察了系统的内存已经快耗尽了（因为一台机器上同时运行了多个服务）。换了一台内存充足的机器解决了问题。
244 天前 / colobu
自人类文明以来，人类交流的方式就在不断的变化，从最早的结绳记事、到烽火传消息，从飞鸽传书到驿站飞马，从电报电话到互联网传送，交流的速度越来越快，信息传输量越来越大。通过交流，人们编写程序的时候就可以实现远程方法调用，就像调用本地方法一样便捷，所以RPC技术也在发展，尤其近几年的微服务的大力推广，RPC技术应用的越来越广泛。 本质上讲，鸿雁传书也是一种RPC调用，只不过速度比较慢，可靠性不是那么高，现在RPC远程方法调用一般直接使用TCP或者HTTP实现。
254 天前 / 阿伟me
前两天我看到了一篇文章，测试Java和Go和Python的性能，其测试内容是一个排序，排序一亿次，然后看那个语言耗时最短，我先贴一下这个文章的测试结果，Java竟然比Go快了一倍不止，Go不是号称接近C的性能吗,难道？结尾我会把我看的这篇文章链接共享出来，接下来听我分析， 准备测试代码Java测试代码可以看的出来逻辑很简单，对一个固定数组排序，for循环执行一亿次，记录总的耗时时间，代码和我看过的文章代码一致。 public static void main(String[] args) {//记录开始时间long start = System.nanoTime();int num = 100000000;for (int i = 0; i < nu...
268 天前 / Fundebug
也许你有听过一个问题，你这款 web 应用性能怎么样呀？你会回答什么呢？是否会优于海量 web 应用市场呢？本文就来整理下如何进行 web 性能监控？包括我们需要监控的指标、监控的分类、performance 分析以及如何监控。但是，如何进行 web 性能监控本身是一个很大的话题，文中只会侧重一部分进行研究，某些内容不是很全面。 前言：为什么需要监控？web 的性能一定程度上影响了用户留存率，Google DoubleClick 研究表明：如果一个移动端页面加载时长超过 3 秒，用户就会放弃而离开。BBC 发现网页加载时长每增加 1 秒，用户就会流失 10%。
281 天前 / iyacontrol
目前我们日志收集组件使用的是filebeat6.6.1，在某业务上线以后，发生了日志收集延迟的问题，最差的情况，延迟两天以上。严重影响了下游数据分析项目。 分析该业务日志之后，发现该业务日志量大，但是单日志filed非常少。 之前我们在压测的时候，已经设置了output批量发送。再加上观察kafka集群的性能监控，基本上可以排查是下游集群的影响。 针对该问题，今天的主角该出场了--pprof。 pprofPProf 工具是自带的我们检测 Golang 开发应用性能的利器。
288 天前 / 冷星1024
编者按：本文作者Berwin，W3C性能工作组成员，360导航资深前端工程师。《深入浅出Vue.js》作者。 测量与排查网页的性能瓶颈，是一名专业Web性能优化者的基本功。本章将详细介绍Web性能领域的一些专业术语，通过这些术语也可以侧面了解是哪些因素在影响加载性能。 背景衡量网页的性能是一个比较琐碎的事情，因为没有某一个指标或数字可以直接告诉我们网页的性能怎样，因为加载网页不是一瞬间的事，准确地说，它是一个过程，不存在某个单独的 “时间点” 可以完全体现出网页的性能，因为在网页加载的过程中...
294 天前 / 数据叔
推荐原创专栏大叔的大数据杂谈 【每日五分钟学习大数据】系列No.20 上一篇文章简单地介绍过了ES的相关概念，还没看的同学快去复习下： ES是什么？看完这篇就不要再问这种低级问题了！ 文章的最后提到了倒排索引，不知道有没有勾起大家的好奇心，ES的索引是怎么做，为什么他会被广泛地叫做搜索引擎而不是数据库？根源在它的索引，所以这一篇带你一探究竟。 言归正传，说起索引肯定是绕不开经典的B-Tree，来看两张图简单回顾下你们大学的课本内容。 B-Tree B+Tree B+Tree是B-Tree的优化，两者的区别由图应该是可以看得比较清楚的。