25 天前 / LinuxEverything
点击上方蓝色字关注我们~ Improving access to physically contiguous memoryByJonathan Corbet May 8, 2019 LSFMM 一直以来，内核开发者都尽量避免分配大块的物理连续内存，因为系统运行一段时间之后内存碎片化了，就很难分配得出大块物理连续的内存空间了。不过，在2019 Linux Storage, Filesystem, and Memory-Management Summit上，Zi Yan指出，分配连续内存有时候还是必要的，如何能让这种类型的分配更容易成功呢？ Yan讲到有很多种场景里面都是需要分配物理连续内存的。如果利用huge page（2MB）或者gigantic page（1GB）......
36 天前 / LinuxEverything
点击上方蓝色字关注我们~ Memory: the flat, the discontiguous, and the sparseMay 27, 2019 This article was contributed by Mike Rapoport 计算机里的物理内存是个稀缺资源，开发者一直在想办法怎样能最高效的利用内存。很难，因为现代计算机系统上的内存架构非常复杂，有多个抽象层来管理真正的物理内存结构。内存管理的“memory model”（存储模型）有3种在kernel里已经支持，不过其中一种在慢慢淡出了。本文希望能介绍一下kernel的这3种memory model，包括当前状态以及将来可能的发展。 FLATMEM Linux刚创建的时候，内......
36 天前 / 李剑昆
catalog.png一. 概述有时候 UI 卡顿是因为发生了频繁的 GC 造成的，频繁的 GC 其实对应的内存情况就是内存抖动，而发生内存抖动一般都是因为在循环里面或者频繁被调用的方法（比如 View.onDraw() 方法）里面创建对象造成的，面对这种情况，一般有两种做法： 避免在循环里面或者频繁被调用的方法里面创建对象，在循环或者被频繁调用的方法之外创建对象使用对象池缓存对象，在使用对象的时候，直接从对象池中取对象即可，避免频繁的创建对象一般来讲，实现对象池有三种方法，对应的具体的数据结构即是数组、链表和 Map，下面我将通过示例分别介绍通......
42 天前 / cbsheng
简介redis的LRU与LFU都是概率算法。并不是绝对准确的LRU或LFU算法。 Redis在内存满载时触发内存淘汰，最开始是有概率淘汰掉一些不应该淘汰的key。但它会越来越准。这一切都是因为Redis采用了一个全局池子来存放待淘汰key，池子是带序的，按key的空闲时间从小到大。 每次入池子的key，都是从keyspace(db->dict或db->expires)中随机挑选的(随机挑选的个数由maxmemory-samples参数控制，默认5个)。在入池的时候，如果池子里已经有key，就采用插入的思想，把新key插在合适的位置保持池子有序。 例如池子末端有空间：e要放进[a,b,c,d,NULL]中c的......
48 天前 / tlanyan
关于我C++在指定内存构造对象 By tlanyan| 2019年5月26日 0 Comment问题为了提高程序的性能，一个做法是一次性分配足够多的内存，从而避免多次申请以及数据拷贝。对于c++，有一个问题：如何在已分配好的内存上构造对象？ 前文“vector的性能利器：reserve”提到使用reserve预先分配内存，再push_back或emplace_back，存储过万个大对象时可极大提升效率。探究其实现原理，会发现分配内存简单，调用标准库或者nedmalloc、tcmalloc等库中的函数即可；有了内存，问题同样变成如何在已分配的内存上构造对象？ 方案有两种解决方案解决这个问题。 plac......
50 天前 / 匠心零度
由于接入的应用越来越多，对系统性能要求越来越高，提高系统的吞吐率，以及提升性能，是必须要做的事情。 系统的性能优化不单单是对JVM的参数调优，也不是某一段代码的改造，而是一个系统的工程，往往会出现牵一发而动全身，简单的解决，很容易治标不治本从而掩盖问题的本质，而这些深藏的问题才是我们解决问题关键。 本次的浮动内存发现就是一次扑朔迷离的查找过程，cpu利用率过高，常见的问题都是线程使用不当造成的。但从这个方向去解决，你会发现很难解决本次的cpu过高问题，甚至效果不明显，若是从整个系统的各个指标协同分析验证，才会找......
56 天前 / 一起学Golang
最近解决了我们项目中的一个内存泄露问题，事实再次证明pprof是一个好工具，但掌握好工具的正确用法，才能发挥好工具的威力，不然就算你手里有屠龙刀，也成不了天下第一，本文就是带你用pprof定位内存泄露问题。 关于Go的内存泄露有这么一句话不知道你听过没有： 10次内存泄露，有9次是goroutine泄露。 我所解决的问题，也是goroutine泄露导致的内存泄露，所以这篇文章主要介绍Go程序的goroutine泄露，掌握了如何定位和解决goroutine泄露，就掌握了内存泄露的大部分场景。 借鉴饶全成的做法，把目录放出来，方便大家阅读和查看本文结构。 go p......
61 天前 / 涯之叶
看了很多关于linux内存管理的文章还是云里雾里，听了很多关于linux内存管理的课程还是一头雾水。其实很多时候造成不懂的原因不是资料太少，恰恰是资料太多，而且各个内核版本的差异，32位64位的不同，文章的胡编乱造等都给读者带来疑惑。本着对内存深度剖析的态度，希望以版本kernel-4.14，架构AARCH64为专题做个内存管理的架构性整理。 这篇文章我们先来看下linux在启动过程中的初始化。 创建启动页表： 在汇编代码阶段的head.S文件中，负责创建映射关系的函数是create_page_tables。create_page_tables函数负责identity mapping和kernel i......
64 天前 / 就想叫yoko
关于我站内搜索如何分析golang程序的内存使用情况 发表于 2019-04-06 || 阅读次数:| 字数统计: 3.3k前言本篇文章介绍如何分析golang程序的内存使用情况。包含以下几种方法的介绍： 执行前添加系统环境变量GODEBUG='gctrace=1'来跟踪打印垃圾回收器信息在代码中使用runtime.ReadMemStats来获取程序当前内存的使用情况使用pprof工具注意，本篇文章前后有关联，需要顺序阅读。 从十来行的demo开始1234567891011121314151617181920212223242526272829package mainimport ( "log" "runtime" "time")func f() { container := make([]int, 8) log.Printl......
78 天前 / LinuxEverything
点击上方蓝色字关注我们~ Expedited memory reclaim from killed processesByJonathan Corbet,April 12, 2019 https://lwn.net/Articles/785709/ Linux运行时如果内存不足了会很难处理，最坏情况下没有其他方法能缓解，只得开始kill进程来回收内存。kill进程的动作可能是kernel自己来进行，也可能是由用户系统（例如Android）通过在user-space实现一个out-of-memory（OOM）的监控进程来kill。可以肯定的是被kill的进程肯定不爽，那么kernel应该尽量快地回收这个进程的内存空间，试图避免继续kill别的进程。可是目前kernel里面行为，有......
79 天前 / 浪客书心
（给ImportNew加星标，提高Java技能） 编译：唐尤华 本文来自 StackOverflow 的一个问答：Java using much more memory than heap size (or size correctly Docker memory limit) 题主发现 Java 进程占用内存远超过堆内存设置的大小，于是提出了下面的问题： 有谁能解释为什么 Java 进程占用内存远超过堆内存大小？如何正确计算 Docker 内存限制？有没有办法减少 Java 进程的堆外内存（off-heap memeory）占用？ "下面是热心网友的答复" Java 进程使用的虚拟内存远远超过 Java 堆大小。要知道 JVM 包括许多子系统，......
101 天前 / 闲鱼技术
背景 在电商类APP里，图片到现在为止仍然是最重要的信息承载媒介，不得不说逛淘宝的过程，其实就是一个看图片的过程。而商品详情页中的图片，通常是页面中内存占用最多的内容，占用了整个页面内存的超过 50%，因此是通常容易引起app闪退的场景之一。 闲鱼在Flutter化的过程中，选择了商品详情页作为第一个落地的场景。通过多版本的迭代完善，基于Flutter的详情页已经在闲鱼稳定运行。然而正因为详情页的图片量大，导致Flutter里图片相关的问题一直挥之不去。 1：内存问题 --- 连续push flutter界面内存累积 2：安装包问题 --- 过渡时期两份......
110 天前 / Lucky_man
写在前面(常见面试题) 基本问题介绍下 Java 内存区域（运行时数据区）Java 对象的创建过程（五步，建议能默写出来并且要知道每一步虚拟机做了什么）对象的访问定位的两种方式（句柄和直接指针两种方式） 拓展问题String类和常量池8种基本类型的包装类和常量池 一 概述对于 Java 程序员来说，在虚拟机自动内存管理机制下，不再需要像C/C++程序开发程序员这样为内一个 new 操作去写对应的 delete/free 操作，不容易出现内存泄漏和内存溢出问题。正是因为 Java 程序员把内存控制权利交给 Java 虚拟机，一旦出现内存泄漏和溢出方面的问题，如果不了......
111 天前 / 印小洛
背景我们的额监控方案为：Kubernetes（K8S）+cAdvisor+Prometheus+Grafana。 然后，用 cAdivor 是要监控容器的运行时信息（比如CPU、内存、网络流量等）。 cAdvisor 是基于 Golang 编写的，性能高稳定性也好。 其实，cAdivor 其实到现在的主流K8S版本中，Kubelet进程已经将其内置了，但是我们没有这么用，因为没有必要因为让Prometheus定期去 Kubelet上采集容器信息，平白增添对Kubelet的压力。相反，我觉得，还是应该还是应该单独部署 cAdvisor，这样一来，不论是定制化cAdvisor，还是版本更新，都会更方面。所以，我使用 K8S 的 DaemonSet 部署......