23 天前 / BloomingRose
工作中总是遇到数据存储相关的 Bug 工单，新需求开发设计中也多多少少会有数据模型设计和存储相关的问题。经过几次存储方案设计选型和讨论后发现需要有更全面的思考框架。 日常开发中常用的存储方案选型很多都是 “拿来主义” 的，凭借着经验、习惯选用，但对它们的细节特性或约束少有研究。 除了手边会用的存储方案，也应该关注市面上更合适的存储方案。 一定的技术预研和储备能够帮助未来更好的技术方案设计。 故写了这篇文章，抛出我的观察和思考，希望日后可以将一些更先进 ( 合适) 的技术引入公司业务，助力业务发展。
39 天前 / 路强
RedKV 是小红书自研的一款基于 NVMeSSD 的分布式 NoSQL KV 存储系统，支持无中心和有中心的两种管控架构，旨在解决公司内实时落盘的 KV 存储需求。RedKV1.0 基于 Gossip 协议做节点管理，在全公司已经大规模使用，实时 QPS 接近 1 亿 / 秒，存储量在数 PB 级别。RedKV2.0 采用中心 Shard 管理架构，支持全球多云多副本在线弹性伸缩，异地容灾和服务秒级切换。 通过分层优化，RedKV 对比开源同类产品，聚合写吞吐能力平均提升 3 倍，读 1.5 倍；对标 HBase，成本优化近 40%。
57 天前 / StorPlus
1. 大规模 C++ 编译性能优化系统 OMAX 介绍。本文探索 & 研究了大规模 C/C++ 服务编译性能优化相关技术，优化服务性能，降低机器成本，同时为了支持规模推广应用，降低业务线接入成本，保障优化效果，进行面向云上微服务，开展平台化优化服务系统 OMAX 建设，并在百度推荐系统上大规模应用，取得线上服务 CPU 性能优化 10%+ 和上线速度提升 40%+ 双收益，优化后服务运行稳定，性能收益持续。 2. Linux 5.19 发布。
58 天前 / StorPlus
1. 数据湖架构权威指南（使用 Iceberg 和 MinIO）。 2. 群晖宣布了 Samba 的一个重要安全问题，该问题影响 Samba 4.13 及更高版本。 3. Ceph v17.2.3 版本发布。 详情请点击下面的阅读原文。
79 天前 / StorPlus
1. 最近 TiDB 从 v6.1.0 开始默认使用引擎 Raft Engine 作为 TiKV 的日志存储引擎。新引擎与 RocksDB 相比，可以减少至多 40% 的 TiKV I/O 写流量和 10% 的 CPU 使用，同时在特定负载下提升 5% 左右前台吞吐，减少 20% 长尾延迟。相关设计文档请看链接。 2. 根据美光发布的白皮书，与 DDR4 相比 DDR5 系统级仿真示例表明有效带宽大约提高了 1.36 倍。值得注意的是 DDR5-4800 性能大约是 DDR4-3200 的两倍（确切的说是 1.87 倍）。 3. Stratis Storage 3.2 发布，具备停止 / 启动池的能力。
83 天前 / Juicedata
AI场景存储优化：云知声超算平台基于 JuiceFS 的存储实践吕冬冬2022.06.28本文作者介绍：吕冬冬，云知声超算平台架构师，负责云知声大规模分布式机器学习平台架构设计与新功能演进，负责深度学习算法应用优化与 AI 模型加速。研究领域包括大规模集群调度、高性能计算、分布式文件存储、分布式缓存等。云原生开源社区爱好者。 01 背景云知声是一家专注于语音及语言处理的技术公司。Atlas 超级计算平台是云知声的计算底层基础架构，为云知声在 AI 各个领域（如语音、自然语言处理、视觉等）的模型迭代提供训练加速等基础计算能力。
91 天前 / sjf0115
英文原文：Deep dive into Apache Kafka storage internals: segments, rolling and retention[1] 作者：Paolo Patierno[2] Apache Kafka 采用类似提交日志的方式处理消息的存储。消息一个接一个的追加在每个日志的末尾，每个日志也会被分成段。分段有助于删除较旧的消息记录及提高性能等。所以，日志是一个由段（文件）组成的消息记录的逻辑序列，每个段内存储的是一部分消息。消息代理（Broker）的配置允许您调整与日志相关的参数。您可以使用这些配置来控制段的滚动、记录的保留策略等。 译注：Kafka 中使用主题（topic）对消息进行分类隔离。
96 天前 / StorPlus
1. iXsystems 宣布推出第二版 TrueNAS SCALE，用于横向扩展存储和开放式超融合。TrueNAS SCALE 具有高可用 (HA) 和对 SMB 集群的支持，并且通过 TrueCommand 轻松创建 SMB 集群。TrueNAS SCALE 基于 Linux 构建，支持 Docker 容器、Kubernetes、KVM 和具有开源经济性的横向扩展 OpenZFS。 主要更新如下： 默认使用 SHA-512 校验提高了重复数据删除性能 改进了极端情况下的 pool importing 允许多个容器共享 Intel GPU UPS 监控和报告修复 集群 SMB API 随着驱动器数量的增加，中间件性能得到改善 2. 美光推出全球首款 1.5TB microSD 卡：i400。
98 天前 / 开发者头条
本文内容节选自「码农周刊 VIP 会员专属邮件周报 Vol.095」，感谢阅读。 想邮件订阅周报？扫码即刻订阅！ ↓↓↓ 对话罗永浩：再创业可能后悔，不再创业百分之百后悔 https://mp.weixin.qq.com/s/l-jZBoVC29H-dyGeWL_NDQ 一个被理想化了的理想主义者、一个更成熟的创业者、一个更合格的商人。 被高薪“惯坏”的年轻人：离开大厂，从降薪开始？ https://mp.weixin.qq.com/s/e_Nv4bBrMPx9J3AMqnlwiQ 跳槽就涨薪，仿佛不灵了。
99 天前 / sjf0115
背景 字节跳动特征存储痛点当前行业内的特征存储整体流程主要分为以下四步： 特征存储的整体流程 业务在线进行特征模块抽取； 抽取后的特征以行的格式存储在 HDFS，考虑到成本，此时不存储原始特征，只存抽取后的特征； 字节跳动自研的分布式框架会将存储的特征并发读取并解码发送给训练器； 训练器负责高速训练。字节跳动特征存储总量为 EB 级别，每天的增量达到 PB 级别，并且每天用于训练的资源也达到了百万核心，所以整体上字节的存储和计算的体量都是非常大的。在如此的体量之下，我们遇到了以下三大痛点： 特征抽取周期长。
104 天前 / 码小生
大厂技术坚持周更精选好文 手把手教你理解轮子之 git 当年他陈刀仔，能用 20 块赢到 3700 万，今天我卢。.... Sry，串台了 当年他 linus 能用两个星期写完 Git， 今天我叶某人。... ( 好吧，当场给 linus 跪下) 前言本文试图理解 git 的原理，重写部分 git 命令，从最底层的几个命令开始，听起来很离谱，做起来也很离谱，但是真正去做了，发现，诶，好像没有那么离谱。 俗话说得好（我也不知道哪里来的俗话，maybe 我自己说的），理解一个东西最好的方法就是实现它。
109 天前 / sjf0115
本文转自：DataFunTalk，分享嘉宾：翟佳，StreamNative 联合创始人 编辑整理：张晓伟 美团点评 导读：多数读者们了解 BookKeeper 是通过 Pulsar，实际上 BookKeeper 在数据库和存储场景都有着非常广泛的应用。BookKeeper 是 Pulsar 的底层存储，Pulsar 有着广泛数据入口，Pulsar 跟 Kafka 及各类 MQ（RabbitMQ、ACTIVEMQ）的较大区别是 Pulsar 是统一的云原生消息流平台，不但是分布式系统，而且做了存算分离，可以让用户在云的环境下，体验到云原生的优势，例如随意扩缩容、数据灵活迁移复制等。
113 天前 / sjf0115
作者｜Jingsong [email protected] 一、数仓中的计算 在计算机领域，数据仓库（DW 或 DWH），是一个用于报告和数据分析的系统，被认为是商业智能的一个核心组成部分。它将当前和历史数据存储在一个地方，为整个企业的工作人员创建分析报告。[1] 典型的基于提取、转换、加载（ETL）的数据仓库使用 ODS 层、DWD 层和 DWS 层来容纳其关键功能。数据分析师可以灵活的查询 (Query) 数仓中的每一层，获取有价值的商业信息。 数仓中有三个关键指标[2]： 数据的新鲜度：数据从产生开始，到在仓库中经过一系列处理后可供用户查询所经过的时间长度。
127 天前 / HueiFeng
Apache RocketMQ 自 2012 年开源以来，因其架构简单、业务功能丰富、具备极强的可扩展性等特点被广泛采用。RocketMQ 在阿里巴巴集团内部有着数千台的集群规模，每天十万亿消息流转的规模。在阿里云上，RocketMQ 的商业化产品也以弹性云服务的形式为全球数万个用户提供企业级的消息解决方案，被广泛应用于互联网、大数据、移动互联网、物联网等领域的业务场景，成为了业务开发的首选消息中间件。尽管消息中间件 RocketMQ 在阿里巴巴和开源社区已经走过了十多个年头，但在云原生浩浩荡荡的浪潮下，我们开始对 RocketMQ 的架构有了一些新的思考。