46 天前 / mr7
供稿 |PADIStorage Team陈晓熹&黄志腾翻译&编辑 | 顾欣怡本文5269字，预计阅读时间16分钟更多干货请关注“eBay技术荟”公众号 导读 eBay存储团队致力于研发与应用业界最好的技术，以支撑最有挑战的业务的存储需求。本文从总体设计方案到具体实现细节，再到遇到的各种软硬件问题，详细描述了如何在生产环境中应用CephFS取代商业存储，支撑起eBay PB级别、每秒GB级别吞吐的集中式日志系统CAL 。希望能对同业人员有所启发。 CAL(Central Application Logging) 系统主要负责收集和处理eBay内部各个应用程序池的日志，日处理超过3PB的数据......
52 天前 / 码到功成
1. 概述 本文将简要介绍下mysql中常见的存储引擎及其特性对比 Mysql的存储引擎有以下特点： 1，插拔式的插件方式 2，存储引擎是指定在表之上的，即一个库中的每一个表都可以指定专用的存储引擎。 3，不管表采用什么样的存储引擎，都会在数据区，产生对应的一个frm文件（表结构定义描述文件） 2. mysql常见的存储引擎 2.1. CSV存储引 数据存储以CSV文件 特点： 不能定义没有索引、列定义必须为NOT NULL、不能设置自增列-->不适用大表或者数据的在线处理 CSV数据的存储用,隔开，可直接编辑CSV文件进行数据的编排-->数据安全性......
69 天前 / marketing-upyun
写文章又拍云叶靖：OpenResty 在又拍云存储中的应用又拍云已认证的官方帐号7 人赞同了该文章2019 年 7 月 6 日，OpenResty 社区联合又拍云，举办 OpenResty × Open Talk 全国巡回沙龙·上海站，又拍云平台开发部负责人叶靖在活动上做了《OpenResty 在又拍云存储中的应用》的分享。OpenResty x Open Talk 全国巡回沙龙是由 OpenResty 社区、又拍云发起，邀请业内资深的 OpenResty 技术专家，分享 OpenResty 实战经验，增进 OpenResty 使用者的交流与学习，推动 OpenResty 开源项目的发展。活动将陆续在深圳、北京、武汉、上海、成都、广州、杭州等......
93 天前 / 码咖
一、使用场景Merge表有点类似于视图。使用Merge存储引擎实现MySQL分表，这种方法比较适合那些没有事先考虑分表，随着数据的增多，已经出现了数据查询慢的情况。 这个时候如果要把已有的大数据量表分开比较痛苦，最痛苦的事就是改代码。所以使用Merge存储引擎实现MySQL分表可以避免改代码。 Merge引擎下每一张表只有一个MRG文件。MRG里面存放着分表的关系，以及插入数据的方式。它就像是一个外壳，或者是连接池，数据存放在分表里面。 merge合并表的要求： 合并的表使用的必须是MyISAM引擎表的结构必须一致，包括索引、字段类型、引擎和字符集对......
117 天前 / 了不起的顾斯比
在stackoverflow 看到一个问题，Redis strings vs Redis hashes to represent JSON: efficiency内容如下： I want to store a JSON payload into redis. There's really 2 ways I can do this: One using a simple string keys and values. key:user, value:payload (the entire JSON blob which can be 100-200 KB) SET user:1 payload Using hashes HSET user:1 username "someone"HSET user:1 location "NY"HSET user:1 bio "STRING WITH OVER 100 lines" Keep in mind that if I use a hash, the value length isn't predictable. They'......
123 天前 / xF0rk
女主宣言 本文介绍360基础架构团队自研的分布式海量小文件存储系统(NebulasFs)。 本文首发于“360技术”公众号 PS：丰富的一线技术、多元化的表现形式，尽在“360云计算”，点关注哦！ 背景 近年来，公司业务发展迅猛，为数众多的业务场景产生了大量的图片，文档，音频，视频等非结构化数据，尤其是随着移动互联网、AI、IoT技术的成熟和应用市场的全面爆发，大量智能硬件设备将会生成更大规模的非结构化多媒体数据。如此大量的小文件如何存储，问题应运而生。传统存储厂商出售的存储服务价格昂贵，公有云厂商对具体业务场景的定制化改造略......
136 天前 / 王下_邀月熊
写文章MySQL 索引的原理与应用：索引类型，存储结构与锁王下邀月熊公众号：某熊的技术之路11 人赞同了该文章本文节选自 MySQL 引擎架构与性能优化 https://url.wx-coder.cn/IF5HH，参考文档声明在 Awesome MySQL List https://parg.co/htL。MySQL 索引的原理与应用：索引类型，存储结构与锁在数据结构与算法--索引 https://url.wx-coder.cn/O07eI一节中，我们讨论了 B+Tree, LSM-Tree 这样的文件索引以及全文索引的基础算法，本文则会针对文件索引在关系型数据库中的实际应用进行探讨。 索引（Index）是帮助数据库系统高效获取数据的数据结构，而......
140 天前 / 知否专栏
回顾 上一篇文章《MySQL索引为什么要用B+树》讲了MySQL为什么选择用B+树来作为底层存储结构，提了两个知识点： B+树索引并不能直接找到行，只是找到行所在的页，通过把整页读入内存，再在内存中查找。 索引的B+树高度一般为2-4层，查找记录时最多只需要2-4次IO。 为进一步知其所以然，今天来聊聊B+树索引在物理磁盘上是怎么设计存储的。 一、理解为什么要减少磁盘IO次数众所周知，MySQL的数据实际是存储在文件中，而磁盘IO的查找速度是要远小于内存速度的，所以减少磁盘IO的次数能很大程度的提高MySQL性能。 1.1 磁盘IO为什么慢先温习下知......
142 天前 / RoughRoar
SQL的全称是Structured Query Language，翻译成中国话就是结构化查询语言。这是一种声明式的语法，何为声明式？可以联想一下我们生活中的老板，老板在布置任务的时候会告诉你：小王啊，今天把这些砖从A地搬到B地啊，然后就没然后了。老板并不关心你是用手抬，还是用车拉，老板只关心结果：你把砖搬过去就好了。我们之于数据库而言，就是一个老板，SQL语句就是我们给数据库下达的任务，至于具体数据库怎么执行我们并不关心，我们只关心最后数据库给我们返回的结果。 对于设计数据库的人而言，语句怎么执行就得好好考虑了，老板不操心，事儿总还得干......
143 天前 / silenceshell
本地临时存储：local ephemeral storage 介绍作为kubernetes平台的提供方，必须要对某些“流氓”应用做出一些限制，防止它们滥用平台的CPU、内存、磁盘、网络等资源。 例如，kubernetes提供了对CPU，内存的限制，可以防止应用无限制的使用系统的资源；kubernetes提供的PVC，如cephfs、RBD，也支持容量的限制。 但是，早期kubernetes版本并没有限制container的rootfs的容量，由于默认容器使用的log存储空间是在 /var/lib/kubelet/ 下，rootfs在/var/lib/docker下，而这两个目录默认就在宿主机node的根分区，如果应用恶意攻击，可以通过在容器内大......
146 天前 / 玲珑南书
作者：Kirill Goltsman 译者：国恒（23mofang） 编辑：小君君（才云） 随着 Kubernetes 的迅速发展，容器存储正变得日益成熟，其地位也越来越重要。从产品角度来看，存储分为本地存储、网络存储、存储局域网和软件定义存储四大类。今天，我们就详细了解一下，软件定义存储的那些事儿。 根据 Gartner（全球第一家信息技术研究和分析公司）的分析数据显示[1]，到 2020 年，全球 50％ 的企业将在生产环境中使用容器。到那时，在企业中将有超过 20％ 的存储容量被分配给容器使用（而今只有 1％）。 然而，迁移到容器会对存储的配置带来新的挑战......
153 天前 / AIOps智能运维
作者简介 运小军 百度云资深研发工程师 负责百度智能运维方向大规模日志处理、海量事件数据存储相关设计研发工作，在分布式系统架构、大数据存储计算、高性能网络服务和即时通讯服务有广泛实践经验。 前文回顾 面对海量事件数据，我来告诉你怎么办！ 干货概览 前文《面对海量事件数据，我来告诉你怎么办！》中我们介绍了百度线上业务运维场景下海量事件数据存储与计算平台EventDB的系统架构、集群规划及未来发展方向，本文将介绍我们在EventDB高可用方向面临的问题、建设经验及后续计划，希望与业界同行一起交流学习。 问题 作为......
156 天前 / 崔秀龙
如果你正在运行 Kubernetes，你可能正在使用，或者准备使用动态供给的块存储卷，而首当其冲的问题就是为集群选择合适的存储技术。这个事情并不能用一个简单的测试来做出简单的回答，告诉你目前市面上最好的技术是什么。存储技术的选择过程中，集群上运行的负载类型是一个重要的输入。对于裸金属集群来说，需要根据实际用例进行选择，并集成到自己的硬件之中。公有云中的托管 K8s，例如 AKS、EKS 或者 GKE，都具有开箱可用的块存储能力，然而这也不见得就是最好的选择。有很多因素需要考虑，比如说公有云的 StorageClass 的故障转移时间太长。例如在......
157 天前 / 杉枫
技术选型是研发过程中一件重要的事，技术选型需要考虑多种因素，最重要的是首先搞清楚应用场景、业务场景这是根基，根基不稳可能后续很多决策都是错误的，做的越多会导致错的越多。 存储作为软件系统核心，是任何一个应用程序都离不开的，感兴趣同学可以思考反馈一下哪个程序离得开存储能够运行，我们可以探讨一下是否存在这么个程序。 在程序中应用的存储系统，我们应该有详尽的调研，深刻的理解以及简单的应用，是很好应用技术前提。 硬件基础，存储核心涉及cpu、IO、网络三个核心因素。硬件架构的发展方向是由追求单机主......
157 天前 / sjf0115
来这里找志同道合的小伙伴！ 引言 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。因此，HBase被广泛使用在大数据存储的解决方案中。 为何使用HBase 1、HBase的优点： 列可以动态增加，并且列为空就不存储数据，节省存储空间 HBase自动切分数据，使得数据存储自动具有水平scalability HBase可以提供高并发读写操作的支持 2、HBase的缺点： 不能支持条件查询，只支持按照Row key来查询 HBase并不......