13 天前 / yes的练级攻略
你好,我是 yes。 关于内存访问你可能听过分段,分页,还有段页式。 但是为什么要分段?又为什么要分页? 有了分页为什么还要分段? 这就需要看一看历史的发展,知晓历史之后就知道这一切其实都是自然而然的。 这些概念也不是硬塞出来的。 正文 1971 年 11 月 15 日,Intel 推出世界第一块个人微型处理器 4004(4 位处理器)。 随后又推出了 8080(8 位处理器)。 那时候访问内存就只有直白自然的想法,用具体物理地址。 所有的内存访问就是通过绝对物理地址去访问的,那时候还没有段的概念。 段的概念是起源于 8086,这个 16 位处理器。
22 天前 / u179665
我们公司的基础架构部有个云 Redis 平台,其中 Redis 实例在申请的时候可以自由选择需要的内存的大小。然后就引发了我的一个思考,Redis 单实例内存最大申请到多大比较合适?假设母机是 64GB 内存的物理机,如果不考虑 CPU 资源的的浪费,我是否可以开一个 50G 的 Redis 实例? 于是我在 Google 上各种搜索,讨论这个问题的人似乎不多。找到唯一感觉靠谱点的答案,那就是单进程分配的内存最好不要超过一个 node 里的内存总量,否则 linux 当该 node 里的内存分配光了的时候,会在自己 node 里动用硬盘 swap,而不是其它 node 里申请。
47 天前 / 哈扣
首发于操作系统写文章 8.关于外存你需要了解的哈扣 Solid Basic, Strong Core.1 人赞同了该文章上一节对内存的物理特性进行了了解,这篇打算对上一篇提到的外存进一步讲解。 外存全称为外部存储器,它指的是除计算机内存及 CPU 缓存以外的储存器。外存是相对内存来说的。计算机不能对外存进行直接寻址,简单的说,就是给外存一个物理地址的话它是处理不了的。由于内存具有掉电后数据无法保存的特性,所以计算机通常需要配备外存来保持数据。 外部存储器按照存储介质种类可以划分为光、磁性、半导体这三大类。 光存储:比较常见的是 CD、DVD、蓝光。
67 天前 / 哈扣
上一篇主要围绕内存的相关概念和特性做了阐述,这篇主要对内存的物理结构和特性进行描述。 内存物理结构 内存如何存取数据 1.内存物理结构 内存条主要由存储颗粒、各种控制元器件、金手指组成,而其中最重要的就是内存的存储颗粒。内存颗粒部件目前主要由外国厂商控制,虽然我们的国产颗粒也在奋起直追,但与国外大厂的差距还是挺大的,比较欣慰的是国产光威系列似乎评价还不错。 先来看一下内存条长什么样。上图就是内存条,内存颗粒就是上图中这些黑色的方块,这些方块里面大有洞天。
80 天前 / 程序猿石头
点击上方蓝色字体,关注我 —— 一个在阿里云打工的清华学渣! 图 by:我是严肃的于海童 @ 清华 本文作者:杨牧原(花名牧原),阿里云技术专家,多年操作系统和应用调试经验,理论功底深厚,实践经验丰富。目前专注 Linux 性能调优,容器集群和系统网络。 本文经原作者授权发于公众号【程序猿石头】,原文基础上稍作措辞改动。 背景某次遇到一个客户尝试用 Java (其实跟具体用什么语言没关系)申请使用 4G 的内存申请,机器(ECS)总内存是 8G,free 的内存也超过 4G,按道理是 OK 的,但总是直接 OOM。
134 天前 / xF0rk
微信又改版了,为了我们能一直相见 你的加星和在看对我们非常重要 点击“长亭安全课堂”——主页右上角——设为星标 期待与你的每次见面~ 作者:Litch1:给 phith0n 师傅递茶的小弟 这篇文章主要以 Tomcat 为例子记录了一些关于 Java 内存 Webshell 利用与检测以及相关的思考。 内存 Webshell 的利用方式 现在的内存 Websell 的利用方式个人感觉可以分为以下三种: 基于 Servlet 规范的利用,动态注册 Servlet 规范中的组件,包括 Servlet,Filter,Listener,这部分的公开文章比较多...
167 天前 / ???米?开?朗?基?杨???
想获得更好的阅读体验,可以在浏览器中打开链接 https://fuckcloudnative.io/posts/aggregate-metrics-user-prometheus-operator/ 直接阅读原文 Promtheus 本身只支持单机部署,没有自带支持集群部署,也不支持高可用以及水平扩容,它的存储空间受限于本地磁盘的容量。同时随着数据采集量的增加,单台 Prometheus 实例能够处理的时间序列数会达到瓶颈,这时 CPU 和内存都会升高,一般内存先达到瓶颈,主要原因有: Prometheus 的内存消耗主要是因为每隔 2 小时做一个 Block 数据落盘,落盘之前所有数据都在内存里面,因此和采集量有关。
192 天前 / hyper0x
点击上方蓝色“Go 语言中文网”关注我们,领全套 Go 资料,每天学习Go语言 Illustration created for “A Journey With Go”, made from the original Go Gopher, created by Renee French 本文基于 Go 1.13。关于内存管理的概念的讨论在我的文章 Go 中的内存管理和分配 [1] 中有详细的解释。 Go GC 的作用是回收不再使用的内存。实现的算法是并发的三色标记和清除回收法。本中文,我们研究三色标记法,以及各个颜色的不同用处。 你可以在 Ken Fox 的 解读垃圾回收算法 [2] 中了解更多关于不同垃圾回收机制的信息。
200 天前 / 编程技术宇宙
内存访问瓶颈我是 CPU 一号车间的阿 Q,前一阵子我们厂里发生了一件大喜事,老板拉到了一笔投资,准备扩大生产规模。 不过老板挺抠门的,拉到了投资也不给我们涨点工资,就知道让我们拼命干活,压榨我们的劳动力。 老板说了,投资的钱要用来添置设备,招聘新员工,咱们原来就有八个车间了,这一下直接 double,变成了十六个!我们的工资要是也能 double 就好了··· 现在我们变成了一个 16 核的 CPU 啦! 原以为我们生产效率也能 double,没想到却遇到了新的问题。
227 天前 / 煎鱼
最近我在回顾思考(写 PPT),整理了现状,发现了这个问题存在多时,经过一番波折,最终确定了元凶和相对可行的解决方案,因此分享一下排查历程,希望能够给大家一些借鉴的经验。 时间线: 在上 Kubernetes 的前半年,只是用 Kubernetes,开发没有权限,业务服务极少,忙着写新业务,风平浪静。 在上 Kubernetes 的后半年,业务服务较少,偶尔会阶段性被运维唤醒,问之 “为什么你们的服务内存占用这么高,赶紧查”。此时大家还在为新业务冲刺,猜测也许是业务代码问题,但没有调整代码去尝试解决。
235 天前 / algorithmdog
1.从TF1 到 TF2, 线上内存爆炸了 最近我们团队使用的框架从 TF1 升级到了 TF 2。升级之后,线上的 Tensorflow Serving 发生了爆内存的现象。具体现象如下图所示:16G 的内存不到半个小时全部耗尽,内存耗尽之后服务挂掉,然后服务管理平台重新拉起服务;不到半个小时,16G 内存又耗尽,服务挂掉又拉起;这个过程反复进行。TensorFlow Serving 进程因 Out-of-Memory 多次重启。 之前,团队使用 TF1 tf.feature_column + tf.estimator 的组合编写训练代码,并基于 TensorFlow Serving 搭建模型推理服务。
246 天前 / 豌豆花下猫
Python 绘制 Android CPU 和内存增长曲线 2020 年 5 月 16 日 | 最近更新于 下午 8:42 在做性能监控的时候,如果能把监控的 CPU 和内存增长变化用图表展示出来会比较直观,花了点时间用 Python 实现了下,来看下怎么用 Python 绘制 Android CPU 和内存变化曲线,生成增长曲线图表的 PNG 图片。 一、实现效果一开始想通过采集的 CPU 和内存数据,导出到 Excel 生成增长曲线图表。做了下调研,并没有比较好的实现方法。后面看了下用 Python 来绘制图表实现起来挺容易的,而且 Python 的学习成本低,语法之类的做过开发的稍微看下就知道怎么用,容易上手。
252 天前 / 高飞
一:背景 1. 讲故事我们有一家 top 级的淘品牌店铺,为了后续的加速计算,在程序启动的时候灌入她家的核心数据到内存中,灌入完成后内存高达 100G,虽然云上的机器内存有 256G,然被这么划掉一半看着还是有一点心疼的,可怜那些被挤压的小啰啰程序,本以为是那些 List,HashSet,Dictionary 需要动态扩容虚占了很多内存,也就没当一回事,后来过了一天发现内存回到了大概 70 多 G,卧槽,不是所谓的集合虚占,而是 GC 没给我回收呀...... 2. windbg 验证一下为了验证我的说法,我就不去生产抓这个庞然大物的 dump 了,去测试环境给大家抓一个,晚上清蒸。
260 天前 / cultus
这周换换口味,记录一下去年踩的一个大坑。 ==起== 大概是去年 8 月份,那会儿我们还在用着 64GB 的“小内存”机器。 由于升级一次版本需要较长的时间(1~2 小时),因此我们每天只发一次车,由值班的同学负责,发布所有已 merge 的 commit。 当天负责值班的我正开着车,突然收到 Bytedance-System 的夺命连环 call,打开 Lark 一看: [规则]:机器资源报警 [报警上下文]: host: 10.x.x.x 内存使用率:0.944 [报警方式]:电话 &Lark 打开 ganglia 一看,更令人害怕: == 承== 这看起来像是典型的内存泄漏 case,那就按正常套路排查: 一方面...