6 天前 / 莫若
↓推荐关注↓我们知道Linux 存储系统 I/O 栈由文件系统层（file system layer）、通用块层（ general block layer）和设备层（device layer）构成。 其中，通用块层是 Linux 磁盘 I/O 的核心。向上，它为访问文件系统和应用程序的块设备提供了标准接口；向下，它将各种异构磁盘设备抽象为一个统一的块设备，并响应文件系统和应用程序发送的 I/O。在本文中，我们来看看磁盘的性能指标以及如何查看这些指标。 Linux 磁盘性能指标在衡量磁盘性能时，我们经常提到五个常见指标：利用率、饱和度、IOPS、吞吐量和响应时间。这五个指标是衡量磁盘性能的基本指标。
14 天前 / 逗逗
分享嘉宾：李昊鹏 百度 编辑整理：罗鑫 百度 出品平台：DataFunTalk 导读：向量化技术带来极致的 CPU 效率的同时，也已经成为了软件开发的趋势，而数据库的向量化不仅仅是 CPU 指令的向量化，还是一个巨大的性能优化工程。本文从 CPU 向量化原理出发，通过 Cache、虚函数、SIMD 等方面讨论 CPU 的性能优化，介绍了 ApacheDoris 现有列存行式计算结构向列存列式计算结构的转变，同时展示了目前 ApacheDoris 对 JOIN 等多个 SQL 向量化算子的初步支持及未来规划。
16 天前 / Yourtion
本篇文章关注 WebAssembly 的相关动态。 Fermyon | WebAssembly 的风险今早看到来自 fermyon 官方博客的文章 [1]，介绍了 WebAssembly 现存的一些风险和他们的应对方法： 标准化进展非常缓慢。为此 Fermyon 加入了 字节码联盟 亲自推动标准化进程，并通过构建 Spin 代码实现来充分利用标准语言支持不够。Fermyon 认为前 20 种语言中至少有 15 种必须完全支持 WebAssembly 以及 WASI 和组件，才能正确地认为 WebAssembly 被很好地采用。Fermyon 采取的立场是将注意力集中在最受欢迎的语言上，这就是为什么使用 Rust 而不是 C 或 Zig。
16 天前 / 俞凡
本系列是开源书 C++ Best Practises[1]的中文版，全书从工具、代码风格、安全性、可维护性、可移植性、多线程、性能、正确性等角度全面介绍了现代 C++ 项目的最佳实践。本文是该系列的第六篇。 C++ 最佳实践： 1. 工具 2. 代码风格 3.安全性 4.可维护性 5.可移植性及多线程 6.性能（本文） 7.正确性和脚本 性能 尽量使用前置声明使用这种声明方式： //someheaderfile classMyClass; voiddoSomething(constMyClass&); 而不是这样： //someheaderfile #include"MyClass.hpp" voiddoSomething(constMyClass&); 同样也使用于模板： templateclassMyTemplatedTy...
28 天前 / u561252
引言 腾讯云日志服务 CLS 团队在传统搜索引擎的基础上，引入了时序概念，实现了时序搜索引擎。该研究成果《TencentCLS: The Cloud Log Service with High Query Performances》已经被数据库顶会 VLDB 2022 接收，将于 2022 年 9 月份澳大利亚悉尼举行的 VLDB 学术会议上发布。 在海量日志检索性能方面，时序搜索引擎相对传统搜索引擎取得了近 40 倍的提升；腾讯云日志服务 CLS 也因此实现了在海量日志检索领域，对类似 ELK 等业界主流日志产品大幅的性能优势。本文将大家详细解密其背后的硬核技术。
30 天前 / yybbb
来源：blog.csdn.net/xiangzhihong8/article/details/121530019 一、概述近期官网给出了 RedisJson（RedisSearch）的性能测试报告，可谓碾压其他 NoSQL，下面是核心的报告内容，先上结论： 对于隔离写入 (isolated writes)，RedisJSON 比 MongoDB 快 5.4 倍，比 ElasticSearch 快 200 倍以上。对于隔离读取 (isolated reads)，RedisJSON 比 MongoDB 快 12.7 倍，比 ElasticSearch 快 500 倍以上。在混合工作负载场景中，实时更新不会影响 RedisJSON 的搜索和读取性能，而 ElasticSearch 会受到影响。
36 天前 / flyer0126
hello，大家好，我是张张，「架构精进之路」公号作者。 最近的工作中，我听到组内两名研发同学在交流数据统计性能的时候，说到以下内容： 你怎么能用 count(*) 统计数据呢，count(*) 太慢了，要是把数据库搞垮了那不就完了么，用 count(1)，这样比较快。..... 难道 count(1) 的性能就比 count(*) 要好吗？ 印象中网上有些“XX 面试官”系列的网文也有过类似问题的讨论，那 MySQL 统计数据总数 count(*) 、count(1)和 count( 列名) 哪个性能更优呢？今天我们就来聊一聊这个问题。
46 天前 / 浪客书心
因公众号更改推送规则，请点“在看”并加“星标”第一时间获取精彩技术分享 点击关注#互联网架构师公众号，领取架构师全套资料都在这里 0、2T 架构师学习资料干货分上一篇：为什么某互联网企业开 200w 年薪大家都支持，但是中金开 100w 年薪大家都在骂？大家好，我是互联网架构师！将相似或重复请求在上游系统中合并后发往下游系统，可以大大降低下游系统的负载，提升系统整体吞吐率。文章介绍了hystrix collapser、ConcurrentHashMultiset、自实现 BatchCollapser三种请求合并技术，并通过其具体实现对比各自适用的场景。
47 天前 / itfanr
综述 现代的异步编程中有如下的几个概念 协程 coroutine : 用户态的线程，可在某些特定的操作（如 IO 读取）时被挂起，以让出 CPU 供其他协程使用。 队列 channel: 队列用于将多个协程连接起来 调度运行时 runtime: 调度运行时管理多个协程，为协程分配计算资源（CPU），挂起、恢复协程 由于协程是非常轻量的，所以可以在一个进程中大量的创建，runtime 会实际创建系统线程（一般为恰好的物理 CPU 数），并将协程映射到实际的物理线程上执行，这个有时候称为 M:N 模型。好的 runtime 会使得系统整体的性能随着物理 CPU 的增加而线性增加。
52 天前 / 莫若
作者 | Bryan Beaudreault 译者 | Sambodhi 策划 | TinaHubSpot 的数据基础设施团队，每天都要处理 2.5PB 以上的低延迟流量，他们亲眼目睹了 Locality 对于 HBase 的性能有多么重要。请继续阅读，以了解更多关于这些问题：什么是 Locality ，为什么如此重要，以及我们如何在不断增长的 HBase 集群中使保持 Locality 成为一个不成问题的问题。 HubSpot 的一些最大的数据集存储在 HBase 中，这是一个开源的、分布式的、版本化的、非关系型的数据库，模仿谷歌的 BigTable。
54 天前 / hyper0x
机器之心发布 机器之心编辑部 个性化推荐已成为人们获取信息的主要形式。以往，人们更多通过主动搜寻自己感兴趣的信息，而现在，基于算法推荐技术的信息分发平台会自动识别用户兴趣，快速筛选信息，推送用户所感兴趣的信息。 一方面，推荐系统大幅提升了用户体验，另一方面，个性化分发信息更精准、高效，可以帮助平台更准确地匹配用户和信息，大大提高流量变现效率，基于推荐技术的流量变现引擎甚至成就了万亿市值的庞大商业帝国。 从短视频信息流推荐、广告搜索到线上购物，这些应用都构筑于精准的推荐系统之上，背后的核心功臣就是深度学习模型。
75 天前 / Yourtion
计算机性能是一门令人激动的，富于变化同时又充满挑战的领域。 系统性能是对整个计算机系统的性能的研究，包括主要硬件组件和软件组件。所有数据路径上和从存储设备到应用软件上所发生的事情都包括在内，因为这些都有可能影响性能。对于分布式系统来说，这意味着多台服务器和多个应用。如果你还没有关于你的环境的一张示意图，用来显示数据的路径，赶紧找一张或者自己画一张。它可以帮助你理解所有组件的关系，并确保你不会只见树木不见森林。 系统性能的典型目标是通过减少延时和降低计算成本来改善终端用户的体验。
77 天前 / 冷星1024
今天跟大家介绍一个最新开源的 javaScript 运行时：Bun.js。 刚开源不到一个月就获得了 19.5k star！看起来马上就会成为 Node.js 和 Deno 的一大竞争对手了！ 和传统的 Node.js 这种传统的 javaScript 运行时不同，Bun.js 直接内置了打包器、转译器、任务运行器和 npm 客户端，这意味着你不再需要 Webpack/Rollup/esbuild/Snowpack/Parcel/Rome/swc/babel 就可以直接运行 TypeScript、JSX！ 另外，Bun.js 原生支持了数百个 Node.js 和 Web API，包括约 90% 的 Node-API 函数 (fs、path、Buffer 等)。
84 天前 / hyper0x
上一篇文章中引入了消息队列对秒杀流量做削峰的处理，我们使用的是 Kafka，看起来似乎工作的不错，但其实还是有很多隐患存在，如果这些隐患不优化处理掉，那么秒杀抢购活动开始后可能会出现消息堆积、消费延迟、数据不一致、甚至服务崩溃等问题，那么后果可想而知。本篇文章我们就一起来把这些隐患解决掉。 批量数据聚合 在 SeckillOrder 这个方法中，每来一次秒杀抢购请求都往往 Kafka 中发送一条消息。
98 天前 / u561252
对于非结构化的数据存储系统来说，LIST 操作通常都是非常重量级的，不仅占用大量的 磁盘 IO、网络带宽和 CPU，而且会影响同时间段的其他请求（尤其是响应延迟要求极高的 选主请求），是集群稳定性的一大杀手。 例如，对于 Ceph 对象存储来说，每个 LIST bucket 请求都需要去多个磁盘中捞出这个 bucket 的全部数据；不仅自身很慢，还影响了同一时间段内的其他普通读写请求，因为 IO 是共享的，导致响应延迟上升乃至超时。