9 天前 / 半栈工程师
首发于半栈工程师写文章RocketMQ源码分析之消息存储汪先生1100101111000009 人赞同了该文章一：前言上周末写了一篇文章《RocketMQ源码分析之消息发送》，讲解了消息是如何从生产者发送出去的，掐指一算，这条消息已经在Broker堆积了近一个礼拜，是时候该讲讲服务端是如何进行消息存储的了。 二：存储设计试想一下，如果让你来设计消息的存储，你会如何设计呢？ 首先我们肯定需要有块内存缓冲区，用来接收消息但是内存毕竟有限，当消息大量堆积的时候，全放在内存肯定是不合适的，所以我们肯定需要将消息从内存写到文件中。如果所有消息全都存放到......
10 天前 / 玲珑南书
翻译：小君君（才云） 技术校对：星空下的文仔（才云）、bot（才云） 大多数开发人员都认为在部署集群时选择合适的存储技术极为重要。但是，在 Kubernetes 这片市场上，人们对于存储技术的选择并没有一个标准的答案。本文将介绍 Kubernetes 中常用的 6 种存储，分析它们的使用场景和优缺点，并对它们进行性能测试，找出哪种存储解决方案才是最理想的选择。 存储技术的选择在很大程度上取决于工程师们要运行的工作负载类型。如果你正在使用 Kubernetes，你可能偏向于通过动态配置使用 volume 来进行块存储。对于裸机集群，你就需要为你的用例......
17 天前 / __七把刀__
Innodb架构图InnoDB 的架构分为两块：内存中的结构和磁盘上的结构。InnoDB 使用日志先行策略，将数据修改先在内存中完成，并且将事务记录成重做日志(Redo Log)，转换为顺序IO高效的提交事务。这里日志先行，说的是日志记录到数据库以后，对应的事务就可以返回给用户，表示事务完成。但是实际上，这个数据可能还只在内存中修改完，并没有刷到磁盘上去。内存是易失的，如果在数据落地前，机器挂了，那么这部分数据就丢失了。 InnoDB 通过 redo 日志来保证数据的一致性。如果保存所有的重做日志，显然可以在系统崩溃时根据日志重建数据。当然记录所有......
19 天前 / 恒生技术君
在MySQL中有一个UUID() 函数，通常用UUID做唯一标识，需要在数据库中进行存储。使用此函数可以让MySQL生成一个UUID值，并以VARCHAR(36)类型的可读形式返回。如图1： 图1 UUID值是非常随机的，因此常常被用来当做主键值(PRIMARY KEY)，而且这些以UUID作为主键的数据可以很容易的从不同的数据库中汇聚到一起。但是对于像MySQL的InnoDB存储引擎来说，使用UUID作为主键(PRIMARY KEY)会带来一些问题。 1、问题阐述 问题一：UUID的长度问题 UUID的长度为36个字符。假设数据库的字符集为UTF8，那么UUID的最大长度为2+3*26=110字节。如......
33 天前 / 子曰五溪
首发于我们可以学更多写文章关于 Flutter 本地存储的一些事五溪ICEPY给你的生活加点阳光 :)7 人赞了该文章对于本地存储而言，可能前端的同学就要失望了，本身 Flutter 并未提供像 localStorage 这样的 API 来处理数据的本地存储，你需要依赖 iOS 或 Android 本身平台给你提供的本地存储方案，实现一个插件提供给 Flutter 应用来使用。 比如 https://flutter.io/docs/get-started/flutter-for/ios-devs#databases-and-local-storage这一小节中给大家详细说明了一些状况。如果在 iOS 中你想使用 UserDefaults 来存储一些数据（这是一个键值对的集合......
38 天前 / 杀死那个程序员
本文是左耳耗子推荐的Medium上的一篇关于MySQL的文章Some study on database storage internals，本人觉得文章十分好，就取得了作者的许可，自行进行了翻译，原文链接见文末。 本文是一篇介绍性的文字，所以文中并没有对一些概念进行详细介绍，比如说Sorted Strings Table结构和Bloom filters算法等专业概念，感兴趣的小伙伴可以学习参考中给出的链接或持续关注本人后续文章。 我一直以来都在不断的研究和探索数据库的内部存储原理。我认为这个话题是非常巨大且复杂的，我努力所学也只占其千万分之一。在这篇文章中，我将会讲解一些数据库存储的......
54 天前 / 虞大胆
最后谈一谈安全保护口令的的标准算法，这就是 bcrypt 算法。为了把事情说清楚，分两篇文章描述： 说说 bcrypt 算法，以及通过PHP的crypt()算法进一步参数阐述，虽然crypt()算法已经不推荐使用了，但对于理解 bcrypt 算法还是非常好的，可以看看它的历史。 在一个系统中，如果有多种开发语言，那么 bcrypt 算法是否通用呢？通过 PHP 和 Ptyhon 语言进行描述。 本文主要理解 bcrypt 算法，bcrypt 算法可以认为是 KDF 函数的一种实现，也有迭代因子的概念。 bcrypt 算法基于 Blowfish 块密钥算法，bcrypt 算法已经有10多年的历史，而 Blowfish 密......
57 天前 / openio
潘卫华 / 唯品会基础架构部架构师，唯品会Dragonfly日志系统负责人。 对 Elasticsearch 和大数据流式处理有丰富经验，对Golang及其程序的性能优化也有较多研究。 前言 大家下午好！我是来自唯品会基础架构部的潘卫华。今天我们来跟大家一起看看在大数据领域里面，Golang的应用。我们知道在大数据领域里，Java 和 Scala 语言基本是处于统治地位的，主要是因为像 Hadoop 以及基于 Hadoop 的一些工具栈，比如 HBase/Hive/Spark/Flink 等等，这些都是基于 Java 或者 Scala开发，他们提供 的api 也是主要给 Java 系的语言来使用的。不过实......
64 天前 / mr7
来这里找志同道合的小伙伴！ 导 读JMQ是京东中间件团队自研的消息中间件，诞生于2014年，服务京东近万个应用，2018年11.11大促期间的峰值流量超过5000亿条消息。 2018年，JMQ完成第四次大版本的迭代，在性能上有极大的提升，单个Broker节点的写入性能超过100万TPS。 性能 在相同的硬件环境下，选取2个典型的场景，分别对JMQ4、JMQ2和Kafka进行消息生产对比性能测试，测试结果如下图： 单条同步刷盘场景 单条同步刷盘是业务最长使用的场景：一个微服务由多个节点提供相同的服务组成微服务集群，每个微服务节点接收一个请......
64 天前 / hyper0x
导读：etcd是用于共享配置和服务发现的分布式，一致性的KV存储系统，在CoreOS和Kubernetes等开源项目中广泛使用。本文作者深入分析了etcd存储模块的设计和实现，对于深入学习Go存储有很大参考作用。 作者 codedump codedump.info 博主，多年从事互联网服务器后台开发工作。可访问作者博客阅读 codedump 更多文章。 在前面已经分析了Raft算法原理、etcd raft库的实现，接着就可以看etcd如何使用raft实现存储服务的了。 以下的分析主要针对etcd V3版本的实现。 概览 下图中展示了etcd如何处理一个客户端请求的涉及到的模块和......
79 天前 / 虞大胆
最近要开发一个项目，其中涉及到了用户口令存储（大家习惯称之为密码），毫不夸张的说，如果方案设计的不合格，未来再想补救就会困难重重。 记得在写《深入浅出HTTPS：原理到实战》这本书的时候，也研究了很多密码学算法，和口令加密有关的算法也有很多，参考了很多资料，最近又温习了这些资料，感觉理解的更透彻了，为了把口令加密的事情说清楚，打算写4-5篇文章。 首先，口令加密是非常系统化的一个工程，涉及到多方面，比如代码安全性，系统安全性，数据存储安全性，任何一个方面出现漏洞，可能就会导致口令的泄漏。严格的说，谁也不能保证自......