64 天前 / u561252
本文作者： 薛开琪，Kyligence 产品经理 & Scrum Master，Apache Kylin Contributor，帮助管理 Kylin Sprint 和 JIRA issue，并为 Kylin 贡献了许多优质内容和文档的改进。 Kylin 通过预计算技术加速大数据分析，但是依赖预计算，将所有可能分析的维度组合对应的数据都存储下来，会带来一定的存储压力和性能瓶颈。因此，如何剪枝优化 Cuboid，旨在花费尽量少的存储空间即可获得符合预期的查询效率，是运维好 Kylin 的必修课。
81 天前 / sjf0115
导语 |Elasticsearch 7.10 版本最近发布，该版本有一个重磅特性：Searchable snapshots （可搜索快照功能），可以大幅度地降低存储成本。那么 Searchable snapshots 的使用方式和实现效果是怎样的呢，下面就让我们来一探究竟吧！本文作者：高斌龙，腾讯云大数据研发工程师。 一、功能介绍 在 Searchable snapshots 可搜索快照功能发布之前，通过调用 _snapshot API 对索引打的快照，不管是存储在 S3 还是 HDFS 或者是腾讯云的对象存储 COS 上，都是不能够直接进行查询的。
81 天前 / 钟子敬07
大家好，我是云祁！ 前面我们聊过了维度建模的灵魂所在——维度表设计，今天就深入学习下维度建模的核心——事实表。 聊聊维度建模的灵魂所在——维度表设计 事实表是维度建模的核心表和基本表。 它存储了业务过程中的各种度量和事实，而这些度量和事实正是下游数据使用人员所要关心和分析的对象。 目前事实表主要探讨三种： 事务事实表 快照事实表 累计快照事实表 还有一种特殊的事实表——无事实的事实表，最后还将讨论事实表的聚集和汇总。 事务事实表 事务事实表是维度建模事实表中最为常见、使用最为广泛的事实表。
96 天前 / 多颗糖
公众号简介里写着分布式存储，但一直没有写过，这篇简单的小文章，算是一个开篇。 Jeff Dean 在他关于分布式系统的 ppt[1]中列出了“每个程序员都应该了解的数字 (Numbers Everyone Should Know)”，对计算机各类操作的耗时做了大致估计。这些数字在很多地方都很有用。 这些数字最早应该出现在 Peter Norvig 著名的博客《Teach Yourself Programming in Ten Years》[2]，不过略有一些不同： 这些数字还准确吗？这些数字大多是 2009 年给出的，虽然摩尔定律已经失效，但计算机发展到今天，这些数字确实有些过时。
109 天前 / OPPO互联网技术
1. 资源抢占问题随着存储架构的调整，众多应用服务会运行在同一资源池中，对外提供统一的存储能力。资源池内部可能存在多种流量类型，如上层业务的 IO 流量、存储内部的数据迁移、修复、压缩等，不同的流量通过竞争的方式确定下发到硬件的 IO 顺序，因此无法确保某种流量 IO 服务质量，比如内部数据迁移流量可能占用过多的带宽影响业务流量读写，导致存储对外提供的服务质量下降，由于资源竞争结果的不确定性无法保障存储对外能提供稳定的集群环境。 如下面交通图所示，车辆逆行、加塞随心随遇，行人横穿、闲聊肆无忌惮，最终出现交通拥堵甚至安全事故。
117 天前 / mr7
本文链接： [https://blog.openacid.com/algo/paxoskv/] 前言写完 [paxos 的直观解释』 之后， 网友都说疗效甚好， 但是也会对这篇教程中一些环节提出疑问 ( 有疑问说明真的看懂了 ) , 例如怎么把只能确定一个值的 paxos 应用到实际场景中。 既然 Talk is cheap, 那么就 Show me the code, 这次我们把教程中描述的内容直接用代码实现出来， 希望能覆盖到教程中的涉及的每个细节。 帮助大家理解 paxos 的运行机制。 这是一个基于 paxos, 200 行代码的 kv 存储系统的简单实现， 作为 [paxos 的直观解释』 这篇教程中的代码示例部分。
123 天前 / Tiny_熊
大多数 dApp 和游戏都需要将数据存储在区块链上，因此必须与存储进行交互。 优化智能合约的 gas 成本是一项重要的工作。 > * 原文链接：https://medium.com/@novablitz/storing-structs-is-costing-you-gas-774da988895e 作者：[Nova Blitz][https://medium.com/@novablitz]> * 译文出自：[登链翻译计划][https://github.com/lbc-team/Pioneer]> * 译者：[Tiny 熊][https://learnblockchain.cn/people/15]> * 本文永久链接：[learnblockchain.cn/article…][https://learnblockchain.cn/article/1508]我们会很快进入一些非常技术性的 Solidity 概念。
159 天前 / djwang
阅读本文需要大约 5 分钟 点击文末「阅读原文」可查看英文原版 在一些流数据用例场景中，用户希望将数据长时间存储在流中。虽然 Apache Pulsar 对 topic backlog 的大小没有限制，但将所有数据存储在 Pulsar 中较长时间，存储成本比较大。 本文介绍了 Apache Pulsar 的分层存储特性（在 2.1 及之后的版本可用），分层存储支持在不影响终端用户的条件下，将较旧的数据移动到长期存储中。 在推荐服务中，开发者不希望限制 backlog 的大小。以音乐服务为例，终端用户每听一首歌，就向 topic 中添加一条消息。
195 天前 / 互联网平头哥
Redis 数据库虽然一直都在使用，但是对其内部存储结构之类的，都没有研究过，哪怕是面试的时候都没有准备过这方面的东西。最近在看一门网课，里面有讲到过这一块的内容，结合了《Redis 设计与实现》这本书，粗略的整理了 Redis 的内部存储结构。就是下面这张图。 对于 Redis 数据库，绝大多数人都知道有每个 Redis 实例有 16 个数据库，但是对于内部是怎么扭转的大部分人可能不太清楚，反正我是不清楚。整体流程差不多就是上图表示的那样吧，知识面有限，难免存在缺漏，凑合着看吧。
216 天前 / yes的练级攻略
点击上方「yes 的练级攻略」加个「星标」，最新文章极速到达 大家好，我是 yes。 我们都知道 RocketMQ 和 Kafka 消息都是存在磁盘中的，那为什么消息存磁盘读写还可以这么快？有没有做了什么优化？都是存磁盘它们两者的实现之间有什么区别么？各自有什么优缺点？ 今天我们就来一探究竟。 存储介质 - 磁盘一般而言消息中间件的消息都存储在本地文件中，因为从效率来看直接放本地文件是最快的，并且稳定性最高。毕竟要是放类似数据库等第三方存储中的话，就多一个依赖少一份安全，并且还有网络的开销。
229 天前 / 钟子敬07
什么是 GridFSGridFS 是一种大型文件存储在 MongoDB 的文件规范，所有官方支持的驱动都实现了 GridFS，GridFS 是 MongoDB 中的一个内置功能。可以保存文件。 为什么要使用 GridFS 问题一问题一：用 FTP 上传文件，把文件地址保存到 MySql 数据库，与 GridFS 有什么区别。答：文件系统到了后期会相当的难以管理，同时不利于扩展，此外做分布式文件系统也会显的很不容易，但是 GridFS 正好相反，基于 MongoDB 的文件系统，更加便于管理和扩展。 问题二问题二：普通文件系统对于大文件处理相当麻烦，需要考虑文件系统自身的限制，GridFS 提供了什么好方案。
239 天前 / 美团技术团队
总第 401 篇 2020 年 第 24 篇 KV 存储作为美团一项重要的在线存储服务，承载了在线服务每天万亿级的请求量。 在 2019 年 QCon 全球软件开发大会（上海站）上，美团高级技术专家齐泽斌分享了《美团点评万亿级 KV 存储架构与实践》，本文系演讲内容的整理，第一部分讲述了美团 KV 存储的发展历程；第二部分阐述了内存 KV Squirrel 架构和实践；第三部分介绍了持久化 KV Cellar 架构和实践；最后分享了未来的发展规划和业界新趋势。美团点评 KV 存储发展历程 美团第一代的分布式 KV 存储如下图左侧的架构所示，相信很多公司都经历过这个阶段。
250 天前 / semlinker
前端的数据存储方式，你除了用过 Cookies、localStorage 和 sessionStorage 外，还有用过其它的存储方式么？其实除了前面提到的 3 种存储方式，目前主流的浏览器还支持 Web SQL 和 IndexedDB。 目前市场上主流的浏览器有 Chrome 、Safari、Firefox、Opera、UC Browser 和 Internet Explorer 等，其中截止 2020 年 5 月，Chrome 的市场占有率为 「63.93%」，远远超过第二名 Safari 浏览（「18.19%」）。
256 天前 / 过往记忆大数据
2010 年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇 《RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems》 的论文，介绍了其为基于 MapReduce 的数据仓库设计的高效存储结构，这就是我们熟知的 RCFile（Record Columnar File）。下面介绍 RCFile 的一些诞生背景和设计。