8 天前 / 多颗糖
公众号简介里写着分布式存储，但一直没有写过，这篇简单的小文章，算是一个开篇。 Jeff Dean 在他关于分布式系统的 ppt[1]中列出了“每个程序员都应该了解的数字 (Numbers Everyone Should Know)”，对计算机各类操作的耗时做了大致估计。这些数字在很多地方都很有用。 这些数字最早应该出现在 Peter Norvig 著名的博客《Teach Yourself Programming in Ten Years》[2]，不过略有一些不同： 这些数字还准确吗？这些数字大多是 2009 年给出的，虽然摩尔定律已经失效，但计算机发展到今天，这些数字确实有些过时。
21 天前 / OPPO互联网技术
1. 资源抢占问题随着存储架构的调整，众多应用服务会运行在同一资源池中，对外提供统一的存储能力。资源池内部可能存在多种流量类型，如上层业务的 IO 流量、存储内部的数据迁移、修复、压缩等，不同的流量通过竞争的方式确定下发到硬件的 IO 顺序，因此无法确保某种流量 IO 服务质量，比如内部数据迁移流量可能占用过多的带宽影响业务流量读写，导致存储对外提供的服务质量下降，由于资源竞争结果的不确定性无法保障存储对外能提供稳定的集群环境。 如下面交通图所示，车辆逆行、加塞随心随遇，行人横穿、闲聊肆无忌惮，最终出现交通拥堵甚至安全事故。
29 天前 / mr7
本文链接： [https://blog.openacid.com/algo/paxoskv/] 前言写完 [paxos 的直观解释』 之后， 网友都说疗效甚好， 但是也会对这篇教程中一些环节提出疑问 ( 有疑问说明真的看懂了 ) , 例如怎么把只能确定一个值的 paxos 应用到实际场景中。 既然 Talk is cheap, 那么就 Show me the code, 这次我们把教程中描述的内容直接用代码实现出来， 希望能覆盖到教程中的涉及的每个细节。 帮助大家理解 paxos 的运行机制。 这是一个基于 paxos, 200 行代码的 kv 存储系统的简单实现， 作为 [paxos 的直观解释』 这篇教程中的代码示例部分。
35 天前 / Tiny_熊
大多数 dApp 和游戏都需要将数据存储在区块链上，因此必须与存储进行交互。 优化智能合约的 gas 成本是一项重要的工作。 > * 原文链接：https://medium.com/@novablitz/storing-structs-is-costing-you-gas-774da988895e 作者：[Nova Blitz][https://medium.com/@novablitz]> * 译文出自：[登链翻译计划][https://github.com/lbc-team/Pioneer]> * 译者：[Tiny 熊][https://learnblockchain.cn/people/15]> * 本文永久链接：[learnblockchain.cn/article…][https://learnblockchain.cn/article/1508]我们会很快进入一些非常技术性的 Solidity 概念。
71 天前 / djwang
阅读本文需要大约 5 分钟 点击文末「阅读原文」可查看英文原版 在一些流数据用例场景中，用户希望将数据长时间存储在流中。虽然 Apache Pulsar 对 topic backlog 的大小没有限制，但将所有数据存储在 Pulsar 中较长时间，存储成本比较大。 本文介绍了 Apache Pulsar 的分层存储特性（在 2.1 及之后的版本可用），分层存储支持在不影响终端用户的条件下，将较旧的数据移动到长期存储中。 在推荐服务中，开发者不希望限制 backlog 的大小。以音乐服务为例，终端用户每听一首歌，就向 topic 中添加一条消息。
106 天前 / 互联网平头哥
Redis 数据库虽然一直都在使用，但是对其内部存储结构之类的，都没有研究过，哪怕是面试的时候都没有准备过这方面的东西。最近在看一门网课，里面有讲到过这一块的内容，结合了《Redis 设计与实现》这本书，粗略的整理了 Redis 的内部存储结构。就是下面这张图。 对于 Redis 数据库，绝大多数人都知道有每个 Redis 实例有 16 个数据库，但是对于内部是怎么扭转的大部分人可能不太清楚，反正我是不清楚。整体流程差不多就是上图表示的那样吧，知识面有限，难免存在缺漏，凑合着看吧。
128 天前 / yes的练级攻略
点击上方「yes 的练级攻略」加个「星标」，最新文章极速到达 大家好，我是 yes。 我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的，那为什么消息存磁盘读写还可以这么快？有没有做了什么优化？都是存磁盘它们两者的实现之间有什么区别么？各自有什么优缺点？ 今天我们就来一探究竟。 存储介质 - 磁盘一般而言消息中间件的消息都存储在本地文件中，因为从效率来看直接放本地文件是最快的，并且稳定性最高。毕竟要是放类似数据库等第三方存储中的话，就多一个依赖少一份安全，并且还有网络的开销。
141 天前 / 钟子敬07
什么是 GridFSGridFS 是一种大型文件存储在 MongoDB 的文件规范，所有官方支持的驱动都实现了 GridFS，GridFS 是 MongoDB 中的一个内置功能。可以保存文件。 为什么要使用 GridFS 问题一问题一：用 FTP 上传文件，把文件地址保存到 MySql 数据库，与 GridFS 有什么区别。答：文件系统到了后期会相当的难以管理，同时不利于扩展，此外做分布式文件系统也会显的很不容易，但是 GridFS 正好相反，基于 MongoDB 的文件系统，更加便于管理和扩展。 问题二问题二：普通文件系统对于大文件处理相当麻烦，需要考虑文件系统自身的限制，GridFS 提供了什么好方案。
151 天前 / 美团技术团队
总第 401 篇 2020 年 第 24 篇 KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量。 在 2019 年 QCon 全球软件开发大会（上海站）上，美团高级技术专家齐泽斌分享了《美团点评万亿级 KV 存储架构与实践》，本文系演讲内容的整理，第一部分讲述了美团 KV 存储的发展历程；第二部分阐述了内存 KV Squirrel 架构和实践；第三部分介绍了持久化 KV Cellar 架构和实践；最后分享了未来的发展规划和业界新趋势。美团点评 KV 存储发展历程 美团第一代的分布式 KV 存储如下图左侧的架构所示，相信很多公司都经历过这个阶段。
162 天前 / semlinker
前端的数据存储方式，你除了用过 Cookies、localStorage 和 sessionStorage 外，还有用过其它的存储方式么？其实除了前面提到的 3 种存储方式，目前主流的浏览器还支持 Web SQL 和 IndexedDB。 目前市场上主流的浏览器有 Chrome 、Safari、Firefox、Opera、UC Browser 和 Internet Explorer 等，其中截止 2020 年 5 月，Chrome 的市场占有率为 「63.93%」，远远超过第二名 Safari 浏览（「18.19%」）。
168 天前 / 过往记忆大数据
2010 年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇 《RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems》 的论文，介绍了其为基于 MapReduce 的数据仓库设计的高效存储结构，这就是我们熟知的 RCFile（Record Columnar File）。下面介绍 RCFile 的一些诞生背景和设计。
189 天前 / 小粥极客馆
一、前言 近来我司部门内部搭建的电商大数据平台一期工程进入了尾声工作，不仅在技术上短期内从零到一搭建起属于团队的大数据平台，而且在业务上可以满足多方诉求。笔者很有幸参与到其中的建设，在给优秀的团队成员点赞的同时，也抽空整理了一下文档，那么今天就和大家来聊一下我们是如何结合 Kubernetes 实现数据采集与存储的，谈谈里面实现方案、原理和过程。这里笔者放一张我们前期设计时借鉴阿里的大数据架构图： 本文重点讲述的是上图中『数据采集』部分，暂不涉及『数据计算』和『数据服务』的过程。
189 天前 / 宜信技术学院
一、存储发展 数据存储是人类永恒的话题和不断探索的主题绳结记事原始社会，文字未发明之前 ，人们所使用的一种记事方法，在绳子上打结记事。穿孔卡穿孔卡片是始于 20 世纪的主要存储方法，也是最早的机械化信息存储形式，进入 20 世纪 60 年代后，逐渐被其他存储手段取代。目前穿孔卡片已经极少使用，除非用于读出当年存储的历史数据。磁鼓存储器 20 世纪 50 年代，磁鼓作为内存储器应用于 IBM 650。在后续的 IBM 360/91 和 DEC PDP-11 中，磁鼓也用作交换区存储和页面存储。磁鼓的代表性产品是 IBM 2301 固定头磁鼓存储器。
192 天前 / LuXugang
IndexedDISI（二）（Lucene 8.4.0）在文章 IndexedDISI（一）（阅读本文中之前，需要该前置文章）中我们介绍了在 Lucene7.5.0 中 IndexedDISI 的实现原理， 本文基于 Lucene 8.4.0，将介绍优化后的 IndexedDISI，即使用查找表（lookup table）提高了查询性能。 我们先根据源码中的注释看下优化的目的与方式，也可以直接查看 IndexedDISI.java 文件中的 Javadoc： xxxxxxxxxx11To avoid O(n) lookup time complexity, with n being the number of documents, two lookup tables are used: A lookup table for block offset and index, and a rank structure...
210 天前 / OPPO互联网技术
本文根据 OPPO 云平台高级后端工程师蔡逸煌在 DBAplus 的线上分享整理而成，主要讲述 OPPO 云平台存储容器化的实践。 关于作者：蔡逸煌，OPPO 云平台高级后端工程师，主要从事云平台开发工作，擅长 K8S、容器网络、存储等领域。 今天分享的主题是 OPPO 云存储的上云之路。 1. 分布式存储介绍 存储相比于其他组件，更底层，所以有必要做一个简单的科普。 1.1 对象存储 主要是对整个文件进行操作，提供了对整个文件进行增删查改的能力。不支持对对象内容进行增量修改，如七牛的对象存储，AWS S3，阿里 OSS，呈现给我们调用方式是 http api。