7 天前 / u128287
摘要 Shopee ClickHouse 是一款基于开源数据库 ClickHouse 做二次开发、架构演进的高可用分布式分析型数据库。本文将主要介绍 Shopee ClickHouse 的冷热分离存储架构和支持公司业务的实践。 Shopee ClickHouse 的冷热分离存储架构使用 JuiceFS 客户端 mount 远端对象存储到本地机器路径，通过编写 ClickHouse 的存储策略，如同使用多卷存储一样使用远端对象存储。因为我们用同一个 ClickHouse DB 集群支持多个团队的业务，不同团队甚至相同团队的不同业务之间对数据的冷热划分基准可能都不同，所以在做冷热分离时策略需要做到 ClickHouse 的表级别。
48 天前 / 多颗糖
▲点击上方"多颗糖"关注公众号 VLDB 2021 本月刚举办完毕，由于千夜姐姐说过“指望看完 DDIA 就做 infra 没戏。”于是赶紧膜一下本月刚结束的 VLDB 2021 有哪些新东西。 VLDB (Very Large Data Base) 是数据库研究人员、厂商、应用开发者以及用户广泛参与的年度国际会议，它与 SIGMOD、ICDE 被公认为数据管理与数据库领域的三大国际顶尖学术会议。 Storage and in-memory DBMSConstructing and Analyzing the LSM Compaction Design SpaceLSM-tree 作为如今最广泛讨论的存储引擎，每年都有一些新的研究出现。
55 天前 / reesunhuang
导读：都是基础，入门必看。 作者：小枣君来源：鲜枣课堂（ID：xzclasscom） 说到“存储”，大家会想到什么？ 是这个？ 还是这个？ 又或者是这个？ 哈哈，没错，我们现在处于信息时代，每天都在和电脑、手机打交道。我们的工作和生活，已经完全离不开视频、音乐、图片、文本、表格这样的数据文件。 而所有这些数据文件，都需要通过电子设备进行保存，这就是数据存储，简称存储。 01 存储的基本载体——硬盘 对于普通用户来说，最常见的存储设备，就是硬盘。
100 天前 / 携程技术
作者简介 布莱德，携程软件技术专家；蔚浩，携程资深软件工程师；小董，携程技术培训生。 一、背景 过去几年，携程技术保障部门在 Redis 治理方面做了很多工作，解决了运营上的问题，在私有云上也积累了丰富的经验。后又通过引入 Kvrocks，在公有云上实现降本增效的目的，从而支撑了公司的国际化战略。 与此同时，国内业务部门存在降低基础建设成本的客观需要，有些业务方期望提供一种非传统关系数据库来解决某些高性能海量空间的业务需求，并在此基础上支持特殊定制化以面对后疫情时代的挑战。
213 天前 / u581010
经作者授权转载，原文链接，作者：Roronoa Zoro 本文主要讲常见场景的数据加密方案，以及对未来加密技术的展望，先看几条新闻： Facebook 明文存储用户密码： Hundreds of millions of Facebook users had their account passwords stored in plain text and searchable by thousands of Facebook employees — in some cases going back to 2012, KrebsOnSecurity has learned. Facebook says an ongoing investigation has so far found no indication that employees have abused access to this data. 早在 2012 年...
221 天前 / Zoker
Powered By谈谈 Git 存储原理及相关实现February 21, 2021 23:300DevOpsGit摘要：Git 是目前最流行的版本控制系统，从本地开发到生产部署，我们每天都在使用 Git 进行我们的版本控制，除了日常使用的命令之外，如果想要对 Git 有更深一步的了解，那么研究下 Git 的底层存储原理将会对理解 Git 及其使用非常有帮助，就算你不是一个 Git 开发者，也推荐你了解下 Git 的底层原理，你会对 Git 的强大有一个全新的认识，并且将会在日常的 Git 使用过程中更加得心应手。
295 天前 / u561252
本文作者： 薛开琪，Kyligence 产品经理 & Scrum Master，Apache Kylin Contributor，帮助管理 Kylin Sprint 和 JIRA issue，并为 Kylin 贡献了许多优质内容和文档的改进。 Kylin 通过预计算技术加速大数据分析，但是依赖预计算，将所有可能分析的维度组合对应的数据都存储下来，会带来一定的存储压力和性能瓶颈。因此，如何剪枝优化 Cuboid，旨在花费尽量少的存储空间即可获得符合预期的查询效率，是运维好 Kylin 的必修课。
312 天前 / sjf0115
导语 |Elasticsearch 7.10 版本最近发布，该版本有一个重磅特性：Searchable snapshots （可搜索快照功能），可以大幅度地降低存储成本。那么 Searchable snapshots 的使用方式和实现效果是怎样的呢，下面就让我们来一探究竟吧！本文作者：高斌龙，腾讯云大数据研发工程师。 一、功能介绍 在 Searchable snapshots 可搜索快照功能发布之前，通过调用 _snapshot API 对索引打的快照，不管是存储在 S3 还是 HDFS 或者是腾讯云的对象存储 COS 上，都是不能够直接进行查询的。
312 天前 / 钟子敬07
大家好，我是云祁！ 前面我们聊过了维度建模的灵魂所在——维度表设计，今天就深入学习下维度建模的核心——事实表。 聊聊维度建模的灵魂所在——维度表设计 事实表是维度建模的核心表和基本表。 它存储了业务过程中的各种度量和事实，而这些度量和事实正是下游数据使用人员所要关心和分析的对象。 目前事实表主要探讨三种： 事务事实表 快照事实表 累计快照事实表 还有一种特殊的事实表——无事实的事实表，最后还将讨论事实表的聚集和汇总。 事务事实表 事务事实表是维度建模事实表中最为常见、使用最为广泛的事实表。
327 天前 / 多颗糖
公众号简介里写着分布式存储，但一直没有写过，这篇简单的小文章，算是一个开篇。 Jeff Dean 在他关于分布式系统的 ppt[1]中列出了“每个程序员都应该了解的数字 (Numbers Everyone Should Know)”，对计算机各类操作的耗时做了大致估计。这些数字在很多地方都很有用。 这些数字最早应该出现在 Peter Norvig 著名的博客《Teach Yourself Programming in Ten Years》[2]，不过略有一些不同： 这些数字还准确吗？这些数字大多是 2009 年给出的，虽然摩尔定律已经失效，但计算机发展到今天，这些数字确实有些过时。
340 天前 / OPPO互联网技术
1. 资源抢占问题随着存储架构的调整，众多应用服务会运行在同一资源池中，对外提供统一的存储能力。资源池内部可能存在多种流量类型，如上层业务的 IO 流量、存储内部的数据迁移、修复、压缩等，不同的流量通过竞争的方式确定下发到硬件的 IO 顺序，因此无法确保某种流量 IO 服务质量，比如内部数据迁移流量可能占用过多的带宽影响业务流量读写，导致存储对外提供的服务质量下降，由于资源竞争结果的不确定性无法保障存储对外能提供稳定的集群环境。 如下面交通图所示，车辆逆行、加塞随心随遇，行人横穿、闲聊肆无忌惮，最终出现交通拥堵甚至安全事故。
347 天前 / mr7
本文链接： [https://blog.openacid.com/algo/paxoskv/] 前言写完 [paxos 的直观解释』 之后， 网友都说疗效甚好， 但是也会对这篇教程中一些环节提出疑问 ( 有疑问说明真的看懂了 ) , 例如怎么把只能确定一个值的 paxos 应用到实际场景中。 既然 Talk is cheap, 那么就 Show me the code, 这次我们把教程中描述的内容直接用代码实现出来， 希望能覆盖到教程中的涉及的每个细节。 帮助大家理解 paxos 的运行机制。 这是一个基于 paxos, 200 行代码的 kv 存储系统的简单实现， 作为 [paxos 的直观解释』 这篇教程中的代码示例部分。