11 天前 / semlinker
前端的数据存储方式，你除了用过 Cookies、localStorage 和 sessionStorage 外，还有用过其它的存储方式么？其实除了前面提到的 3 种存储方式，目前主流的浏览器还支持 Web SQL 和 IndexedDB。 目前市场上主流的浏览器有 Chrome 、Safari、Firefox、Opera、UC Browser 和 Internet Explorer 等，其中截止 2020 年 5 月，Chrome 的市场占有率为 「63.93%」，远远超过第二名 Safari 浏览（「18.19%」）。
17 天前 / 过往记忆大数据
2010 年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇 《RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems》 的论文，介绍了其为基于 MapReduce 的数据仓库设计的高效存储结构，这就是我们熟知的 RCFile（Record Columnar File）。下面介绍 RCFile 的一些诞生背景和设计。
38 天前 / 小粥极客馆
一、前言 近来我司部门内部搭建的电商大数据平台一期工程进入了尾声工作，不仅在技术上短期内从零到一搭建起属于团队的大数据平台，而且在业务上可以满足多方诉求。笔者很有幸参与到其中的建设，在给优秀的团队成员点赞的同时，也抽空整理了一下文档，那么今天就和大家来聊一下我们是如何结合 Kubernetes 实现数据采集与存储的，谈谈里面实现方案、原理和过程。这里笔者放一张我们前期设计时借鉴阿里的大数据架构图： 本文重点讲述的是上图中『数据采集』部分，暂不涉及『数据计算』和『数据服务』的过程。
38 天前 / 宜信技术学院
一、存储发展 数据存储是人类永恒的话题和不断探索的主题绳结记事原始社会，文字未发明之前 ，人们所使用的一种记事方法，在绳子上打结记事。穿孔卡穿孔卡片是始于 20 世纪的主要存储方法，也是最早的机械化信息存储形式，进入 20 世纪 60 年代后，逐渐被其他存储手段取代。目前穿孔卡片已经极少使用，除非用于读出当年存储的历史数据。磁鼓存储器 20 世纪 50 年代，磁鼓作为内存储器应用于 IBM 650。在后续的 IBM 360/91 和 DEC PDP-11 中，磁鼓也用作交换区存储和页面存储。磁鼓的代表性产品是 IBM 2301 固定头磁鼓存储器。
41 天前 / LuXugang
IndexedDISI（二）（Lucene 8.4.0）在文章 IndexedDISI（一）（阅读本文中之前，需要该前置文章）中我们介绍了在 Lucene7.5.0 中 IndexedDISI 的实现原理， 本文基于 Lucene 8.4.0，将介绍优化后的 IndexedDISI，即使用查找表（lookup table）提高了查询性能。 我们先根据源码中的注释看下优化的目的与方式，也可以直接查看 IndexedDISI.java 文件中的 Javadoc： xxxxxxxxxx11To avoid O(n) lookup time complexity, with n being the number of documents, two lookup tables are used: A lookup table for block offset and index, and a rank structure...
59 天前 / OPPO互联网技术
本文根据 OPPO 云平台高级后端工程师蔡逸煌在 DBAplus 的线上分享整理而成，主要讲述 OPPO 云平台存储容器化的实践。 关于作者：蔡逸煌，OPPO 云平台高级后端工程师，主要从事云平台开发工作，擅长 K8S、容器网络、存储等领域。 今天分享的主题是 OPPO 云存储的上云之路。 1. 分布式存储介绍 存储相比于其他组件，更底层，所以有必要做一个简单的科普。 1.1 对象存储 主要是对整个文件进行操作，提供了对整个文件进行增删查改的能力。不支持对对象内容进行增量修改，如七牛的对象存储，AWS S3，阿里 OSS，呈现给我们调用方式是 http api。
68 天前 / sjf0115
漫谈数据治理之一：计算与存储压力背景概要做数据的同学都能够有体会，当我们做业务时间长了以后，数据表的数量就会变得庞大无比，很多过去的逻辑，如果负责的同学离职了，那么能再看懂它的人就很少了。久而久之，就造成了表一大堆，没人敢动的问题。等到计算或者存储遇到瓶颈了，回过头来再改，会让人痛不欲生。主要痛点只建表，不删表：绝大多数做数据工作的同学，都没有及时清理无用表的习惯。交接过程产生漏洞：由于业务的问题比较繁琐，理解起来有一定难度，因此在离职交接时通常不会交接的很好，埋下了坑。
78 天前 / 街道-书记撸代码
本篇文章是《第一行代码 第 3 版》的配套扩展文章，在书中的第 9 章里隐藏了获取本篇文章的关键字。虽然这篇文章在很早之前就已经写好了，但是我估摸着新书才刚刚发售，应该不可能有人看得这么快，想再晚几天发布。结果没想到这两天公众号后台里收到的关键字消息越来越多，我不得不佩服：你们看得实在是太快了 好吧，看来是不能再拖了，今天走一波原创。 / 前言 / 距离 Android 10 系统正式发布已经过去大半年左右的时间了，你的应用程序已经对它进行适配了吗？ 在 Android 10 众多的行为变更当中，有一点是非常值得引起我们重视的，那就是作用域存储。
87 天前 / 后端技术指南针
1.写在前面网络安全是一个非常重要的领域，今天和大家一起来学习和密码相关的话题。 说到密码大家肯定都不陌生，我们每个人都有一些列的密码：邮箱密码、社交网站密码、各种 app 密码等等，密码就如同每个人网络领域的一把钥匙。 对于我们使用者来说，我们尽量避免使用一些烂大街的密码比如：123qaz、qazwsx 等、提高密码的复杂度、避免使用生日等基础信息作为密码、另外要定期更换密码等来确保个人信息安全。 对于功能服务提供商来说，妥善存储保管密码是一个很重要的环节，一旦造成密码泄漏等事故造成的影响会很大，要严肃对待。
88 天前 / 后端技术指南针
1.写在前面网络安全是一个非常重要的领域，今天和大家一起来学习和密码相关的话题。 说到密码大家肯定都不陌生，我们每个人都有一些列的密码：邮箱密码、社交网站密码、各种 app 密码等等，密码就如同每个人网络领域的一把钥匙。 对于我们使用者来说，我们尽量避免使用一些烂大街的密码比如：123qaz、qazwsx 等、提高密码的复杂度、避免使用生日等基础信息作为密码、另外要定期更换密码等来确保个人信息安全。 对于功能服务提供商来说，妥善存储保管密码是一个很重要的环节，一旦造成密码泄漏等事故造成的影响会很大，要严肃对待。
94 天前 / 方丈的寺院
摘要在存储优化 (2)- 排序引起的慢查询优化中我们提到过排序对查询选择索引的影响。但是的解决办法就是增加一个索引。在线上给 mongo 的大表增加一个索引要慎重。在增加索引的过程中也遇到了一些问题，这边进行相关的记录与分析。 问题描述表结构 _id, biz_Id, version, name 索引 1. 主键索引 2. biz_id,version 联合索引 查询语句 "query":{"find":"historyRecord","filter":{"bizId":1234567},"sort":{"_id":-1},"limit":1}} 增加一个索引 bizId,_id 增加索引过程对于大表（该表记录数 5 亿），建立索引过程涉及到锁表，大量的读写操作、数据同步...
150 天前 / 咖啡拿铁
1.背景 这篇文章是我一直想写的一篇，因为“计算和存储分离”最近几年在大家的视野中出现得越来越多，但其实很多对于其到底代表着什么也是模糊不清，这里我查阅了很多的资料再结合平时自己的理解，聊聊到底什么是“计算和存储分离” 2.何为计算？何为存储？ 要了解计算和存储分离到底是什么，那么我们就需要理解什么是计算，什么是存储。 计算这个单词有运算之义，和数学的关系密不可分。大家回想一下以前数学考试的时候，那一道道的数学题怎么得出结果的，这一过程其实称之为计算。
155 天前 / 果冻虾仁
首发于后台公论写文章你可曾听过网络编程中应用线程本地存储？果冻虾仁百度 研发工程师 8 人赞同了该文章壹：你可曾听过线程本地存储？1. 什么是线程本地存储？线程本地存储：thread local storage（简称 TLS）。也叫线程特有存储：thread specific storage（简称 TSS）或线程私有存储：thread private storage。 顾名思义，就是在多线程编程的环境中给全局或静态的变量每个线程分配不同的存储空间互不干扰。 注意区分 TLS 不是 SSL 网络协议的那个 TLS，切莫混淆。2. 什么时候需要线程本地存储？不管是 pthread 还是 C++ 的 std::thread。
195 天前 / xF0rk
0x01 HIDS的背景 企业有各种安全防护手段，HIDS与网络流量监听一样， 是一种威胁检测的手段。HIDS（Host-based Intrusion Detection System）基于主机型入侵检测系统。与网络监听这种形式的主要区别是， HIDS的主要数据源来至于主机本身产生的各种审计信息。 各公司在构架这样的系统时， 多多少少都会面临时相同的问题，其中有一个共通地方就是审计数据的存储方案如何建设，我们回顾了一下，讨论一下HIDS的数据处理流程，与相应存储方案的优劣。