7 天前 / 崔秀龙
如果你正在运行 Kubernetes，你可能正在使用，或者准备使用动态供给的块存储卷，而首当其冲的问题就是为集群选择合适的存储技术。这个事情并不能用一个简单的测试来做出简单的回答，告诉你目前市面上最好的技术是什么。存储技术的选择过程中，集群上运行的负载类型是一个重要的输入。对于裸金属集群来说，需要根据实际用例进行选择，并集成到自己的硬件之中。公有云中的托管 K8s，例如 AKS、EKS 或者 GKE，都具有开箱可用的块存储能力，然而这也不见得就是最好的选择。有很多因素需要考虑，比如说公有云的 StorageClass 的故障转移时间太长。例如在......
11 天前 / IT一刻钟
微信公众号：IT一刻钟 大型现实非严肃主义现场 一刻钟与你分享优质技术架构与见闻，做一个有剧情的程序员 关注可第一时间了解更多精彩内容，定期有福利相送哟。 分布式消息队列通常有高可靠性的要求，所以消息数据是需要持久化存储的。那么以什么方式来进行持久化是一个值得商榷的问题。 从存储方式和效率来看，文件系统 > KV存储 > 关系型数据库，直接操作文件系统自然是最快的一种存储方式，但是仅仅如此就可以了吗？ 当然不是，在无数的过往学习中，磁盘IO性能拖累系统性能是众所周知的。那么RocketMQ是怎么解决呢？ 各位看官且待我慢......
12 天前 / 米酒
运行良好的应用离不开对性能指标的收集。这些性能指标可以有效地对生产系统的各方面行为进行监控，帮助运维人员掌握系统运行状态和查找问题原因。性能指标监控通常由两个部分组成：第一个部分是性能指标数据的收集，需要在应用程序代码中添加相应的代码来完成；另一个部分是后台监控系统，负责对数据进行聚合计算和提供API 接口。在应用中使用计数器、计量仪和计时器来记录关键的性能指标。在专用的监控系统中对性能指标进行汇总，并生成相应的图表来进行可视化分析。 目前已经有非常多的监控系统，常用的如 Prometheus、New Relic、Influx、Graph......
21 天前 / u520261
image.png如上图所示 pg中info.stats.stats成员变量记录pg从osd开始运行到现在累计的性能数据pg中的unstable_stats记录的两次写time interval内的性能数据，包括读写iops以及时延等，可以认为是增量的性能数据pg统计好性能数据放到pg_stats_publish，然后将pg加入osd的pg_stat_queue队列osd tick线程定时扫描pg_stat_queue队列去上报pg stats给mon
48 天前 / mr7
MatrixforiOS/macOS是一款微信团队研发并日常使用的性能探针工具，目前集成在iOS和macOS微信的APM（Application Performance Manage）平台中使用。 MatrixforiOS/macOS建立了一套iOS和macOS平台上统一的应用性能接入框架，通过对性能监控的异常数据进行采集，帮助开发者开发出更高质量的应用，从而提升应用的用户体验。 MatrixforiOS/macOS的各个插件已经在微信内部稳定运行了几年，现在作为Matrix项目的一部分将其开源。 Matrix for iOS/macOS有哪些功能 Matrix for iOS/macOS 当前监控范围包括：崩溃、卡顿和爆内存，目前......
50 天前 / 海角之南
前言本文主要讲一讲栈这种非常基础的数据结构，以及其如何用Golang来实现的3种方式，简单用golang bench做一个性能比对，以字符串括号匹配的一个例子来看其一个简单的应用场景。 栈的特性栈是一种FILO类型的数据结构，FILO 即 Fisrt In Last Out，也就是先进后出，也可以说是后进先出。它很像一个只有一个出口的站立的杯子，后边进入杯子的东西，会被最先取出来。 栈实现的三种方式首先，实现栈，远非只有这三种方式，这里，只是举例3种相对比较典型的方式。每一种实现方式都很简单，也没什么需要太费周章讲的必要。 1、利用Golang的slice pack......
51 天前 / 虞大胆
本文以唯品会HDFS实际应用场景和问题导向触发，介绍了优化方案的局限性，分享了这些局限性的解决和实施经验。这对于技术运营较大规模的HDFS集群有一定借鉴意义。 性能挑战 01 HDFS 是一个分布式系统，只要有足够的资源，可以扩容上千个节点支持100PB以上的集群。我们发现Hadoop集群升级（2.5.0-cdh5.3.2-->2.6.0-cdh5.13.1）以后，NameNode RPC（remote procedure call）queue time在持续的在间隔一周左右性能恶化，在极端环境下出现一个RPC查询需要等待好几分钟的情况，Hive作业出现大量的同一类型错误失败： Error in org.apache.Hadoop.Hi......
55 天前 / sjf0115
供稿 | 李万雪 本文4600字，预计阅读时间10分钟 更多干货请关注“eBay技术荟”公众号 摘要：eBay的CAL（Central Application Logging）系统负责收集eBay各种应用程序的日志数据，并且通过Hadoop MapReduce job生成日志报告，应用程序开发人员与运维人员通过报告可获得以下内容： API调用响应时间的百分位值 服务调用关系 数据库操作 eBay每天产生PB量级的CAL日志，其数据量每天都在增加。对于日益增长的数据量，Hadoop MapReduce job的优化将会大大节省计算资源。本文将分享eBay团队如何对这些Hadoop job进行优化，希望为开发者带来......
67 天前 / tlanyan
Shadowsocks客户端关于我vector的性能利器：reserve By tlanyan| 2019年3月15日 0 Commentvector是C++编程时的常用容器，其帮助用户自动管理存储空间，简单易用，且能避免资源泄露的问题。需要动态分配存储空间的场景，完全可替代原生数组。 vector被人诟病的地方在于性能。C++ 11引入array容器，有原生数组的性能，编译期能确定大小的情况可取代vector。但对于运行期才能确定大小的情况，array不适用，还是得上vector。 实践中提高vector性能的要点是尽量使用reserve（仅次于换编译器和STL实现）。运行期依然不能确定数组的个数，明智的选择是......
68 天前 / spearhead_cai
2019 年第 28 篇，总 52 篇文章 本文大约 9700字，建议收藏阅读！ 机器学习入门系列（2）--如何构建一个完整的机器学习项目， 第十篇！ 该系列的前 9 篇文章： 机器学习入门系列(2)--如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法 特征工程之数据预处理（上） 特征工程之数据预处理（下） 特征工程之特征缩放&特征编码 特征工程(完) 常用机器学习算法汇总比较(上） 常用机器学习算法汇总比较(中） 常用机器学习算法汇总比较(完） 这个系列的文章也是要开始进入尾声了，最后就主要是模型评估部分的内容......
71 天前 / 祝坤荣
原文：https://www.honeycomb.io/blog/rds-performance-degradation-postmortem/ 译：祝坤荣 概要 注：除非特别说明，所有时间都是UTC。 5月3号周四， 从00:39:08 UTC（周三 17:39 PDT）我们经历了一次Honeycomb服务的大约24分钟的彻底停机。大部分服务恢复时间是2018-05-03 01:02:49，所有面向客户的服务恢复是在01:07:00。 影响 在停机期间，客户不能登录或查看Honeycomb服务的图表。 停机期间发送给Honeycomb API的事件被大量拒绝；大约86%的API不能服务，而且大约81%的应该已经提交的事件在停机期间没有被记录。(百分比的差......
72 天前 / 玲珑南书
翻译：小君君（才云） 技术校对：星空下的文仔（才云）、bot（才云） 大多数开发人员都认为在部署集群时选择合适的存储技术极为重要。但是，在 Kubernetes 这片市场上，人们对于存储技术的选择并没有一个标准的答案。本文将介绍 Kubernetes 中常用的 6 种存储，分析它们的使用场景和优缺点，并对它们进行性能测试，找出哪种存储解决方案才是最理想的选择。 存储技术的选择在很大程度上取决于工程师们要运行的工作负载类型。如果你正在使用 Kubernetes，你可能偏向于通过动态配置使用 volume 来进行块存储。对于裸机集群，你就需要为你的用例......