4 天前 / mr7
来这里找志同道合的小伙伴！ 导 读JMQ是京东中间件团队自研的消息中间件，诞生于2014年，服务京东近万个应用，2018年11.11大促期间的峰值流量超过5000亿条消息。 2018年，JMQ完成第四次大版本的迭代，在性能上有极大的提升，单个Broker节点的写入性能超过100万TPS。 性能 在相同的硬件环境下，选取2个典型的场景，分别对JMQ4、JMQ2和Kafka进行消息生产对比性能测试，测试结果如下图： 单条同步刷盘场景 单条同步刷盘是业务最长使用的场景：一个微服务由多个节点提供相同的服务组成微服务集群，每个微服务节点接收一个请......
4 天前 / hyper0x
导读：etcd是用于共享配置和服务发现的分布式，一致性的KV存储系统，在CoreOS和Kubernetes等开源项目中广泛使用。本文作者深入分析了etcd存储模块的设计和实现，对于深入学习Go存储有很大参考作用。 作者 codedump codedump.info 博主，多年从事互联网服务器后台开发工作。可访问作者博客阅读 codedump 更多文章。 在前面已经分析了Raft算法原理、etcd raft库的实现，接着就可以看etcd如何使用raft实现存储服务的了。 以下的分析主要针对etcd V3版本的实现。 概览 下图中展示了etcd如何处理一个客户端请求的涉及到的模块和......
19 天前 / 虞大胆
最近要开发一个项目，其中涉及到了用户口令存储（大家习惯称之为密码），毫不夸张的说，如果方案设计的不合格，未来再想补救就会困难重重。 记得在写《深入浅出HTTPS：原理到实战》这本书的时候，也研究了很多密码学算法，和口令加密有关的算法也有很多，参考了很多资料，最近又温习了这些资料，感觉理解的更透彻了，为了把口令加密的事情说清楚，打算写4-5篇文章。 首先，口令加密是非常系统化的一个工程，涉及到多方面，比如代码安全性，系统安全性，数据存储安全性，任何一个方面出现漏洞，可能就会导致口令的泄漏。严格的说，谁也不能保证自......
21 天前 / 头条机器人
首发于分布式和存储的那些事写文章优雅的Bitcask/BeansDB丁凯工程师，期望当一个坐台歌手，个人主页：www.d-kai.me21 人赞了该文章说明 Bitcask是由Basho提出的海量小文件存储场景下的解决方案，主要解决以下问题: 读写低延迟随机写请求的磁盘高吞吐量故障时的快速恢复且不丢数据使用简单在bitcask的论文（或者说概要设计更合适）中主要描述了Bitcask对文件存储格式的定义以及一些优化措施。 BeansDB是Douban参考bitcask论文开发的适合于douban使用场景的海量小文件存储系统。作者Davies通过匠心独具的设计和深厚的技术水平将这一复杂的问题解决......
41 天前 / Jartto
数据存储一直是前端的软肋，从 4KB 左右的 Cookie 到最多 10MB 的 Storage，存储之争从未停止。然而有些问题还是不能解决，这时候我们遇见了她：IndexedDB。 一、前端存储困境随着业务场景的深入，前端对数据存储有了更高的要求，更多的问题也逐渐暴露出来。 1.存储空间小2.无法搜索数据3.大量数据如何存储4.无法提供事务支持 二、目前存储方式1.Cookie Cookie 的大小不超过4KB，且每次请求都会发送回服务器，占用额外的流量；此外，Cookies 只能是字符串；浏览器里存储 Cookies 的空间有限，很多用户禁止浏览器使用 Cookies；Safari 中 Cookie......
50 天前 / 杉枫
存储发展与线上业务发展类似，都是依据业务发展而不断发展，需要不断演进，不可能一蹴而就，应用程序由单体到集群到大规模分布式，存储也类似演进路径。 最开始访问量比较小，直接单体存储就可以解决问题，比如单机MySQL、单机Oracle，再到读写分离把读写分开来解决问题，再到Oracle集群承载更大存储量以及并发量，后来并发量再大通过分库分表来扩大存储以及承载更大并发量。 单机数据库事务性方面做的非常好，明显特点是ACID，即原子性、一致性、隔离性、持久性，并且单机数据库事物也分成很多级别，可以根据性能以及我们业......
51 天前 / 唯技术
VDL简介 VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储，而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面，从DB的存储引擎、DB的复制、分布式一致性算法到消息系统，本质上都是Log的存储和分发。 外部应用通过Kafka协议来发送数据到VDL，VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。 VDL主要功能 ▲支持kafka协议生产和消费数据，对用户来说VDL就是一个kafka消息系统。 ......
53 天前 / UCloud云计算
随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。由于其前瞻性，众多企业都将其作为进军云计算的第一步。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。 对于大多数专注于云计算本身的IT技术人员来说，对分布式文件系统和分布式块存储未必有深入的了解。为此，UCan下午茶-武汉站，我们邀请了分布式文件系统、分布式块存储以及云存储相关的技术专家，一起聊......
56 天前 / Jing维
写在前面Kubernetes（简称k8s）是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能，具体的大家可以参考 Kubernetes中文文档或者Kubernetes官网的文档。 K8s的架构复杂，涉及到概念非常多，其基础组件包含 ETCD、kube-apiserver、kube-controller-manager、kube-scheduler、kubelet、kube-proxy等，其运行时环境为docker或Rkt，当然还包含很多插件。在我看来，k8s是DevOps的未来，因此不禁想写一些它的故事。 ETCD在k8s技术栈的地位，就仿佛数据库（Mysql、Postgresql或oracle等）在Web应用中的地位，......
66 天前 / carlosfl
前言 binlog相关的文件包含两部分: manifest和write2file，其中manifest记录了日志元信息，包括当前日志文件编号、当前日志文件偏移量,write2file+num记录了pika接收到的所有redis写命令、参数。 文件格式 manifest文件格式: 日志偏移量(8字节)|con_offset(8字节，未使用)|元素个数(4字节，未使用)|日志文件编号(4字节)。 Binlog文件格式: Binlog文件固定大小为100MB，每个Binlog文件由多个Block组成，每个Block大小固定为64KB，每一个写redis命令称为一个Record。一个Record可以分布在多个Block中，但只会分布在一个Binlog文件里，所......
74 天前 / 杉枫
对于分布式存储，要实际去使用，了解了原理是一方面，基于磁盘分布式存储，整体规划、监控、管理是一个挺重要方面。规划主要包含初始存储规模，以及存储能不能独立的物理空间存在，与其他线上业务或者服务隔离，因为存储有可能节点负载很高，在docker模式下，可能会影响服务计算。这个一定要避免影响别人，另外一点也能避免别人服务过于繁忙从而影响自己。独立存储对于存储来说很重...
78 天前 / 杉枫
最近两天促销开始，零点流量大幅增加，通过还是比较平稳的，到是到了白天一个节点流量有大幅增加，但是量远没有达到系统极限，但是系统多个业务性能有一段时间下降。 首先分析问题原因，流量本身不正常因为白天突然增加七倍访问量，这个基本是不可能的，再有就是就算流量真的涨七倍，如果是正常流量本身系统也是没有问题的，那么可以说流量本身异常的，不然系统本身没有问题。经下游同学...
81 天前 / Yeming
作者 | 杨洋 杏仁Java程序员，关注后端和底层技术InnoDBInnoDB 是由 Innobase Oy 公司开发，该存储引擎是第一个完整支持 ACID 事务的 MySQL 存储引擎。具有插入缓存、两次写、自适应哈希索引等关键特性，是一个高性能、高可用的存储引擎。 整体架构InnoDB 有多个内存块，这些内存块组合在一起组成了一个大的内存池。而 Inno...
101 天前 / u347468
序haystack 是facebook 开发的对象存储系统,用来存储facebook的照片,面对海量的图片数据,从中取回一张图片确实很像大海捞针,文章的名字还是比较有有意思的,相关的设计发表在了osdi原文链接 文章总体分为6大部分，主要总结了facebook遇到的问题,总结过去遇到的问题,回顾过去的解决方案，进而规避过去方案的不足从而设计了haystack...