33 天前 / 互联网平头哥
Redis 数据库虽然一直都在使用，但是对其内部存储结构之类的，都没有研究过，哪怕是面试的时候都没有准备过这方面的东西。最近在看一门网课，里面有讲到过这一块的内容，结合了《Redis 设计与实现》这本书，粗略的整理了 Redis 的内部存储结构。就是下面这张图。 对于 Redis 数据库，绝大多数人都知道有每个 Redis 实例有 16 个数据库，但是对于内部是怎么扭转的大部分人可能不太清楚，反正我是不清楚。整体流程差不多就是上图表示的那样吧，知识面有限，难免存在缺漏，凑合着看吧。
55 天前 / yes的练级攻略
点击上方「yes 的练级攻略」加个「星标」，最新文章极速到达 大家好，我是 yes。 我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的，那为什么消息存磁盘读写还可以这么快？有没有做了什么优化？都是存磁盘它们两者的实现之间有什么区别么？各自有什么优缺点？ 今天我们就来一探究竟。 存储介质 - 磁盘一般而言消息中间件的消息都存储在本地文件中，因为从效率来看直接放本地文件是最快的，并且稳定性最高。毕竟要是放类似数据库等第三方存储中的话，就多一个依赖少一份安全，并且还有网络的开销。
68 天前 / 钟子敬07
什么是 GridFSGridFS 是一种大型文件存储在 MongoDB 的文件规范，所有官方支持的驱动都实现了 GridFS，GridFS 是 MongoDB 中的一个内置功能。可以保存文件。 为什么要使用 GridFS 问题一问题一：用 FTP 上传文件，把文件地址保存到 MySql 数据库，与 GridFS 有什么区别。答：文件系统到了后期会相当的难以管理，同时不利于扩展，此外做分布式文件系统也会显的很不容易，但是 GridFS 正好相反，基于 MongoDB 的文件系统，更加便于管理和扩展。 问题二问题二：普通文件系统对于大文件处理相当麻烦，需要考虑文件系统自身的限制，GridFS 提供了什么好方案。
77 天前 / 美团技术团队
总第 401 篇 2020 年 第 24 篇 KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量。 在 2019 年 QCon 全球软件开发大会（上海站）上，美团高级技术专家齐泽斌分享了《美团点评万亿级 KV 存储架构与实践》，本文系演讲内容的整理，第一部分讲述了美团 KV 存储的发展历程；第二部分阐述了内存 KV Squirrel 架构和实践；第三部分介绍了持久化 KV Cellar 架构和实践；最后分享了未来的发展规划和业界新趋势。美团点评 KV 存储发展历程 美团第一代的分布式 KV 存储如下图左侧的架构所示，相信很多公司都经历过这个阶段。
89 天前 / semlinker
前端的数据存储方式，你除了用过 Cookies、localStorage 和 sessionStorage 外，还有用过其它的存储方式么？其实除了前面提到的 3 种存储方式，目前主流的浏览器还支持 Web SQL 和 IndexedDB。 目前市场上主流的浏览器有 Chrome 、Safari、Firefox、Opera、UC Browser 和 Internet Explorer 等，其中截止 2020 年 5 月，Chrome 的市场占有率为 「63.93%」，远远超过第二名 Safari 浏览（「18.19%」）。
95 天前 / 过往记忆大数据
2010 年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇 《RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems》 的论文，介绍了其为基于 MapReduce 的数据仓库设计的高效存储结构，这就是我们熟知的 RCFile（Record Columnar File）。下面介绍 RCFile 的一些诞生背景和设计。
115 天前 / 小粥极客馆
一、前言 近来我司部门内部搭建的电商大数据平台一期工程进入了尾声工作，不仅在技术上短期内从零到一搭建起属于团队的大数据平台，而且在业务上可以满足多方诉求。笔者很有幸参与到其中的建设，在给优秀的团队成员点赞的同时，也抽空整理了一下文档，那么今天就和大家来聊一下我们是如何结合 Kubernetes 实现数据采集与存储的，谈谈里面实现方案、原理和过程。这里笔者放一张我们前期设计时借鉴阿里的大数据架构图： 本文重点讲述的是上图中『数据采集』部分，暂不涉及『数据计算』和『数据服务』的过程。
115 天前 / 宜信技术学院
一、存储发展 数据存储是人类永恒的话题和不断探索的主题绳结记事原始社会，文字未发明之前 ，人们所使用的一种记事方法，在绳子上打结记事。穿孔卡穿孔卡片是始于 20 世纪的主要存储方法，也是最早的机械化信息存储形式，进入 20 世纪 60 年代后，逐渐被其他存储手段取代。目前穿孔卡片已经极少使用，除非用于读出当年存储的历史数据。磁鼓存储器 20 世纪 50 年代，磁鼓作为内存储器应用于 IBM 650。在后续的 IBM 360/91 和 DEC PDP-11 中，磁鼓也用作交换区存储和页面存储。磁鼓的代表性产品是 IBM 2301 固定头磁鼓存储器。
119 天前 / LuXugang
IndexedDISI（二）（Lucene 8.4.0）在文章 IndexedDISI（一）（阅读本文中之前，需要该前置文章）中我们介绍了在 Lucene7.5.0 中 IndexedDISI 的实现原理， 本文基于 Lucene 8.4.0，将介绍优化后的 IndexedDISI，即使用查找表（lookup table）提高了查询性能。 我们先根据源码中的注释看下优化的目的与方式，也可以直接查看 IndexedDISI.java 文件中的 Javadoc： xxxxxxxxxx11To avoid O(n) lookup time complexity, with n being the number of documents, two lookup tables are used: A lookup table for block offset and index, and a rank structure...
136 天前 / OPPO互联网技术
本文根据 OPPO 云平台高级后端工程师蔡逸煌在 DBAplus 的线上分享整理而成，主要讲述 OPPO 云平台存储容器化的实践。 关于作者：蔡逸煌，OPPO 云平台高级后端工程师，主要从事云平台开发工作，擅长 K8S、容器网络、存储等领域。 今天分享的主题是 OPPO 云存储的上云之路。 1. 分布式存储介绍 存储相比于其他组件，更底层，所以有必要做一个简单的科普。 1.1 对象存储 主要是对整个文件进行操作，提供了对整个文件进行增删查改的能力。不支持对对象内容进行增量修改，如七牛的对象存储，AWS S3，阿里 OSS，呈现给我们调用方式是 http api。
146 天前 / sjf0115
漫谈数据治理之一：计算与存储压力背景概要做数据的同学都能够有体会，当我们做业务时间长了以后，数据表的数量就会变得庞大无比，很多过去的逻辑，如果负责的同学离职了，那么能再看懂它的人就很少了。久而久之，就造成了表一大堆，没人敢动的问题。等到计算或者存储遇到瓶颈了，回过头来再改，会让人痛不欲生。主要痛点只建表，不删表：绝大多数做数据工作的同学，都没有及时清理无用表的习惯。交接过程产生漏洞：由于业务的问题比较繁琐，理解起来有一定难度，因此在离职交接时通常不会交接的很好，埋下了坑。
155 天前 / 街道-书记撸代码
本篇文章是《第一行代码 第 3 版》的配套扩展文章，在书中的第 9 章里隐藏了获取本篇文章的关键字。虽然这篇文章在很早之前就已经写好了，但是我估摸着新书才刚刚发售，应该不可能有人看得这么快，想再晚几天发布。结果没想到这两天公众号后台里收到的关键字消息越来越多，我不得不佩服：你们看得实在是太快了 好吧，看来是不能再拖了，今天走一波原创。 / 前言 / 距离 Android 10 系统正式发布已经过去大半年左右的时间了，你的应用程序已经对它进行适配了吗？ 在 Android 10 众多的行为变更当中，有一点是非常值得引起我们重视的，那就是作用域存储。
164 天前 / 老C
接收消息表的信息并没有很多，因为主体部分如消息内容、发送消息时间等都在发送消息表中。 分库分表及访问策略发送消息表，根据msg_from字段做为分库分表的依据，而接收消息表则使用msg_to字段做为分库分表的依据。 另外，还需要添加缓存将群聊消息进行缓存，缓存的key为msg_to和msg_id的组合，这样查询具体群聊消息的时候就可以根据组ID来查询一条具体的消息了。 以上需要对存储之上的业务层完全透明，因此加上一个db proxy来处理消息的读写，除了应付这套流程以外，proxy的引入还有这些好处： 无状态，可以横向扩展。
165 天前 / 后端技术指南针
1.写在前面网络安全是一个非常重要的领域，今天和大家一起来学习和密码相关的话题。 说到密码大家肯定都不陌生，我们每个人都有一些列的密码：邮箱密码、社交网站密码、各种 app 密码等等，密码就如同每个人网络领域的一把钥匙。 对于我们使用者来说，我们尽量避免使用一些烂大街的密码比如：123qaz、qazwsx 等、提高密码的复杂度、避免使用生日等基础信息作为密码、另外要定期更换密码等来确保个人信息安全。 对于功能服务提供商来说，妥善存储保管密码是一个很重要的环节，一旦造成密码泄漏等事故造成的影响会很大，要严肃对待。
165 天前 / 后端技术指南针
1.写在前面网络安全是一个非常重要的领域，今天和大家一起来学习和密码相关的话题。 说到密码大家肯定都不陌生，我们每个人都有一些列的密码：邮箱密码、社交网站密码、各种 app 密码等等，密码就如同每个人网络领域的一把钥匙。 对于我们使用者来说，我们尽量避免使用一些烂大街的密码比如：123qaz、qazwsx 等、提高密码的复杂度、避免使用生日等基础信息作为密码、另外要定期更换密码等来确保个人信息安全。 对于功能服务提供商来说，妥善存储保管密码是一个很重要的环节，一旦造成密码泄漏等事故造成的影响会很大，要严肃对待。