20 天前 / 简
最近在了解Python语言中各种数据结构的使用的内存情况，写几篇文章和大家分享。 计算机存储单位先铺垫一点基础知识。计算机存储单位一般用 Bit, Byte, KB, MB, GB, TB, PB等表示。他们由小到大递增： Bit(比特)。Bit是Binary digit（二进制数字）的缩写，最小的存储信息单位，存放一位二进制数，即 0 或 1。 Byte(字节)。8个二进制位(Bit)为一个字节(B)，字节是最常用的存储容量单位。 KB(Kilobyte，千字节)。1KB = 1024Byte MB(Megabyte，兆字节，简称「兆」)。1MB = 1024KB GB(Gigabyte，吉字节，又称「千兆」)。1GB = 1024MB TB(Tera......
20 天前 / u128287
作者简介 杨俊明，携程云客服平台研发部软件技术专家。从事IT行业10余年，腾讯云+社区、阿里云栖社区、华为云社区认证专家。近年来主要研究分布式架构、微服务、java技术等方向。 “java的内存布局以及GC原理”是java开发人员绕不开的话题，也是面试中常见的高频问题之一。 java发展历史上出现过很多垃圾回收器，各有各的适应场景，很多网上的旧文章已经跟不上最新的变化。本文详细介绍了java的内存布局以及各种垃圾回收器的原理（包括最新的ZGC），希望阅读完后，大家对这方面的知识不再陌生，有所收获，同时也欢迎大家留言讨论。 ......
42 天前 / 豌豆花下猫
“Python猫” ，一个值得加星标的公众号 在执行程序时，如果内存中有大量活动的对象，就可能出现内存问题，尤其是在可用内存总量有限的情况下。在本文中，我们将讨论缩小对象的方法，大幅减少Python所需的内存。 图 | 《借东西的小人阿莉埃蒂》剧照作者 |intellimath 译者 |弯月，责编 | 郭芮 出品 | CSDN（ID：CSDNnews） 以下为译文： 为了简便起见，我们以一个表示点的Python结构为例，它包括x、y、z坐标值，坐标值可以通过名称访问。 Dict 在小型程序中，特别是在脚本中，使用Python自带的dict来表示结构信息非常简单方便......
58 天前 / 陈一乐
随着微服务的普及，许多企业踏上微服务之旅。 微服务化后，应用数量可能高一个数量级。一般企业，以前三五个应用能支撑业务，微服务化之后应用数量可能多达几十个。每个微服务往往独立部署，内存的消耗自然也高居不下，以前两台8核16G机器指不定就能跑起来，现两台16核64G还不一定够用，同时由于多套环境的存在加上容器编排工具(如K8s)所需的资源，硬件资源的投入自然是成倍增加。 在 Web 应用开发中，为了降低内存消耗，你是否尝试过： 去除不必要的组件，减少代码体积 更换 Web 容器，如将 Tomcat 更换为Undertow 优化Docker基础镜像，减少......
62 天前 / LinuxEverything
点击上方蓝色字关注我们~ Proactively reclaiming idle memoryByJonathan Corbet May 7, 2019 LSFMM Shakeel Butt在2019 Linux Storage, Filesystem, and Memory-Management Summit会议中的主题演讲里，最开始先提醒了大家在data center（数据中心）的成本里，购买内存的成本其实占比非常大。因此数据中心运营方总是希望能对内存尽量利用充分，因此平时对客户承诺的内存其实很多情况下是overcommit的（承诺过高）。Butt介绍了Google是怎么改善内存的利用率的，听明白了之后，虽然大家都理解了确实需要增加他描述的这类功能，但是开发者们......
91 天前 / LinuxEverything
点击上方蓝色字关注我们~ Improving access to physically contiguous memoryByJonathan Corbet May 8, 2019 LSFMM 一直以来，内核开发者都尽量避免分配大块的物理连续内存，因为系统运行一段时间之后内存碎片化了，就很难分配得出大块物理连续的内存空间了。不过，在2019 Linux Storage, Filesystem, and Memory-Management Summit上，Zi Yan指出，分配连续内存有时候还是必要的，如何能让这种类型的分配更容易成功呢？ Yan讲到有很多种场景里面都是需要分配物理连续内存的。如果利用huge page（2MB）或者gigantic page（1GB）......
102 天前 / LinuxEverything
点击上方蓝色字关注我们~ Memory: the flat, the discontiguous, and the sparseMay 27, 2019 This article was contributed by Mike Rapoport 计算机里的物理内存是个稀缺资源，开发者一直在想办法怎样能最高效的利用内存。很难，因为现代计算机系统上的内存架构非常复杂，有多个抽象层来管理真正的物理内存结构。内存管理的“memory model”（存储模型）有3种在kernel里已经支持，不过其中一种在慢慢淡出了。本文希望能介绍一下kernel的这3种memory model，包括当前状态以及将来可能的发展。 FLATMEM Linux刚创建的时候，内......
102 天前 / 李剑昆
catalog.png一. 概述有时候 UI 卡顿是因为发生了频繁的 GC 造成的，频繁的 GC 其实对应的内存情况就是内存抖动，而发生内存抖动一般都是因为在循环里面或者频繁被调用的方法（比如 View.onDraw() 方法）里面创建对象造成的，面对这种情况，一般有两种做法： 避免在循环里面或者频繁被调用的方法里面创建对象，在循环或者被频繁调用的方法之外创建对象使用对象池缓存对象，在使用对象的时候，直接从对象池中取对象即可，避免频繁的创建对象一般来讲，实现对象池有三种方法，对应的具体的数据结构即是数组、链表和 Map，下面我将通过示例分别介绍通......
108 天前 / cbsheng
简介redis的LRU与LFU都是概率算法。并不是绝对准确的LRU或LFU算法。 Redis在内存满载时触发内存淘汰，最开始是有概率淘汰掉一些不应该淘汰的key。但它会越来越准。这一切都是因为Redis采用了一个全局池子来存放待淘汰key，池子是带序的，按key的空闲时间从小到大。 每次入池子的key，都是从keyspace(db->dict或db->expires)中随机挑选的(随机挑选的个数由maxmemory-samples参数控制，默认5个)。在入池的时候，如果池子里已经有key，就采用插入的思想，把新key插在合适的位置保持池子有序。 例如池子末端有空间：e要放进[a,b,c,d,NULL]中c的......
114 天前 / tlanyan
关于我C++在指定内存构造对象 By tlanyan| 2019年5月26日 0 Comment问题为了提高程序的性能，一个做法是一次性分配足够多的内存，从而避免多次申请以及数据拷贝。对于c++，有一个问题：如何在已分配好的内存上构造对象？ 前文“vector的性能利器：reserve”提到使用reserve预先分配内存，再push_back或emplace_back，存储过万个大对象时可极大提升效率。探究其实现原理，会发现分配内存简单，调用标准库或者nedmalloc、tcmalloc等库中的函数即可；有了内存，问题同样变成如何在已分配的内存上构造对象？ 方案有两种解决方案解决这个问题。 plac......
116 天前 / 匠心零度
由于接入的应用越来越多，对系统性能要求越来越高，提高系统的吞吐率，以及提升性能，是必须要做的事情。 系统的性能优化不单单是对JVM的参数调优，也不是某一段代码的改造，而是一个系统的工程，往往会出现牵一发而动全身，简单的解决，很容易治标不治本从而掩盖问题的本质，而这些深藏的问题才是我们解决问题关键。 本次的浮动内存发现就是一次扑朔迷离的查找过程，cpu利用率过高，常见的问题都是线程使用不当造成的。但从这个方向去解决，你会发现很难解决本次的cpu过高问题，甚至效果不明显，若是从整个系统的各个指标协同分析验证，才会找......
122 天前 / 一起学Golang
最近解决了我们项目中的一个内存泄露问题，事实再次证明pprof是一个好工具，但掌握好工具的正确用法，才能发挥好工具的威力，不然就算你手里有屠龙刀，也成不了天下第一，本文就是带你用pprof定位内存泄露问题。 关于Go的内存泄露有这么一句话不知道你听过没有： 10次内存泄露，有9次是goroutine泄露。 我所解决的问题，也是goroutine泄露导致的内存泄露，所以这篇文章主要介绍Go程序的goroutine泄露，掌握了如何定位和解决goroutine泄露，就掌握了内存泄露的大部分场景。 借鉴饶全成的做法，把目录放出来，方便大家阅读和查看本文结构。 go p......
127 天前 / 涯之叶
看了很多关于linux内存管理的文章还是云里雾里，听了很多关于linux内存管理的课程还是一头雾水。其实很多时候造成不懂的原因不是资料太少，恰恰是资料太多，而且各个内核版本的差异，32位64位的不同，文章的胡编乱造等都给读者带来疑惑。本着对内存深度剖析的态度，希望以版本kernel-4.14，架构AARCH64为专题做个内存管理的架构性整理。 这篇文章我们先来看下linux在启动过程中的初始化。 创建启动页表： 在汇编代码阶段的head.S文件中，负责创建映射关系的函数是create_page_tables。create_page_tables函数负责identity mapping和kernel i......