5 天前 / 靳刚同学
“一致性hash的设计初衷是解决分布式缓存问题，它不仅能起到hash作用，还可以在服务器宕机时，尽量少地迁移数据。因此被广泛用于状态服务的路由功能” 01 — 分布式系统的路由算法 假设有一个消息推送系统，其简易架构如下 设备接入层不仅要接收设备的登录、下线等状态命令，还要把开发者的消息推送给设备。这个时候设备接入层就需要维护设备的状态信息（当然可以专门拆一个状态服务去维护这些信息，要求这部分必须少有代码更新，具体原因自己去想哦=_=）。这个时候设备接入层的每台server都保留一批设备的状态......
56 天前 / 了不起的顾斯比
在stackoverflow 看到一个问题，Redis strings vs Redis hashes to represent JSON: efficiency内容如下： I want to store a JSON payload into redis. There's really 2 ways I can do this: One using a simple string keys and values. key:user, value:payload (the entire JSON blob which can be 100-200 KB) SET user:1 payload Using hashes HSET user:1 username "someone"HSET user:1 location "NY"HSET user:1 bio "STRING WITH OVER 100 lines" Keep in mind that if I use a hash, the value length isn't predictable. They'......
74 天前 / Yu_Hao
先看代码： >>>inf=float('inf')>>>hash(inf)314159 这个 hash 值看着眼熟，不就是 π （约为 3.1415926）的前面几位嘛。 而在 Python 3 中，这个 hash 值位于系统信息中 >>>importsys>>> sys.hash_info.inf314159那么，无限大 inf 和圆周率有什么关系呢？ 思考的分割线 答案是，（大概）并没有什么关系。只是恰好默认的 CPython 的实现中硬编码了这个数字而已。 #define _PyHASH_INF 314159#define _PyHASH_NAN 0 这个数字最早是由 Tim Peters (发明了排序算法 Timsort， 也是 Python 的主要贡献者之一)在 2......
114 天前 / Tiny_熊
区块链能够实现去中心化无信任情形下的资产安全，很关键的一点儿就是充分的把公私钥体系引入并使用起来了。通过对每笔交易进行私钥签名的方式保证每个人都只能花费他自己账号里的钱，别人也可以很容易的去验证某笔交易确实是账号所有人所发出的。其实私钥不只是可以签名交易，还可以签名其它数据。 排名第一的去中心化交易所 IDEX下面是从 etherscan上截取的以太坊去中心化交易所在过去七天的交易量分布图，我们可以清楚的看到，IDEX 的交易量是远远超过其它交易所的。 IDEX 有啥特别的呢？与其它去中心化交易所不同，IDEX 采取的是中心化交易......
171 天前 / crossoverJie
前言记得一年前分享过一篇《一致性 Hash 算法分析》，当时只是分析了这个算法的实现原理、解决了什么问题等。 但没有实际实现一个这样的算法，毕竟要加深印象还得自己撸一遍，于是本次就当前的一个路由需求来着手实现一次。 背景看过《为自己搭建一个分布式 IM(即时通讯) 系统》的朋友应该对其中的登录逻辑有所印象。 先给新来的朋友简单介绍下 cim是干啥的： 其中有一个场景是在客户端登录成功后需要从可用的服务端列表中选择一台服务节点返回给客户端使用。 而这个选择的过程就是一个负载策略的过程；第一版本做的比较简单，默认只支持轮......
216 天前 / 虞大胆
在《如何安全存储口令？了解下Hash加盐的原理》这篇文章中，从原理、用途、特点等方面讲解了安全存储口令的一种方案，这就是Hash加盐，为了更好的理解，这篇文章从实战的角度，设计一个可实践的技术方案。 以企业邮箱应用来说，企业用户（每个用户有一个 email 地址）、企业管理员、客服人员、销售人员都有一个登录口令；这些用户可以通过 IMAP、POP、SMTP、WEB（包括 webmail、客服管理平台、销售管理平台、企业管理平台）登录校验口令。 Hash加盐虽然不是口令保护最好的技术手段，但如果实施得当，也是比较安全的，除了Hash加盐算法，基本的解......
229 天前 / 虞大胆
最近要开发一个项目，其中涉及到了用户口令存储（大家习惯称之为密码），毫不夸张的说，如果方案设计的不合格，未来再想补救就会困难重重。 记得在写《深入浅出HTTPS：原理到实战》这本书的时候，也研究了很多密码学算法，和口令加密有关的算法也有很多，参考了很多资料，最近又温习了这些资料，感觉理解的更透彻了，为了把口令加密的事情说清楚，打算写4-5篇文章。 首先，口令加密是非常系统化的一个工程，涉及到多方面，比如代码安全性，系统安全性，数据存储安全性，任何一个方面出现漏洞，可能就会导致口令的泄漏。严格的说，谁也不能保证自......
381 天前 / Tomcat那些事儿
前面一篇文章通过生活化的场景为例，来描述RPC中的一些核心且常用的技术，(RPC是什么？为什么要学习RPC)在负载均衡的时候，我们提到一个「一致性Hash」, 这个在RPC之外的许多场景也会使用到。下面转载的这篇文章写的很清晰，各位请慢用。文章来源：https://blog.csdn.net/lihao21/article/details/54193868...
496 天前 / u188085
前段时间在了解分布式，发现firefoxbug在博客中写的这篇《一致性hash在分布式系统中的应用》对这个问题说明得比较清晰易懂，本文主要是自己的理解和实践。在后端一般会遇到这样的场景：随着应用系统的访问量或者DB/文件存储系统的数据量增大，系统由于负载增大而出现响应延迟甚至down掉的情况。为了解决这个问题，往往会对系统采用垂直扩展和水平扩展的架构设计，而...
497 天前 / 张逸
一、前言在解决分布式系统中负载均衡的问题时候可以使用Hash算法让固定的一部分请求落到同一台服务器上，这样每台服务器固定处理一部分请求（并维护这些请求的信息），起到负载均衡的作用。但是普通的余数hash（hash(比如用户id)%服务器机器数）算法伸缩性很差，当新增或者下线服务器机器时候，用户id与服务器的映射关系会大量失效。一致性hash则利用hash环对...
508 天前 / magicly
在区块链开发中涉及到很多密码学知识， 不懂得相关原理，可能很难理解设计思路更不要说阅读源码了。 我们就花一点时间来了解下区块链开发设计到的密码学知识， 本文简单介绍Hash函数的一些性质， 要想更深入了解请阅读相关专业文献。什么是Hash函数 这里说的Hash函数不是哈希表这种数据结构， 而是一种密码学概念，具有如下一些性质：输入是任意长度，输出为固定长度（...
525 天前 / 姜家志
摘要 该BIP主要描述了广义的 off-chain 合约谈判的脚本。总结hash 时间锁定合约（HTLC）是一种脚本，允许指定方（“卖方”）通过公开 hash 的原始信息来花费资金。 在退款情况下，它还允许第二方（“买方”）在超时达到后花费这笔资金。该脚本采用以下形式：OP_IF [HASHOP] <digest> OP_EQUALVERIFY OP...
588 天前 / crossoverJie
当我们在做数据库分库分表或者是分布式缓存时，不可避免的都会遇到一个问题:如何将数据均匀的分散到各个节点中，并且尽量的在加减节点时能使受影响的数据最少。Hash 取模随机放置就不说了，会带来很多问题。通常最容易想到的方案就是hash 取模了。可以将传入的 Key 按照index = hash(key) % N这样来计算出需要存放的节点。其中 hash 函数是一...
657 天前 / SRK.Lyu
摘要一致哈希是一种特殊的哈希算法。在使用一致哈希算法后，哈希表槽位数（大小）的改变平均只需要对 K/n 个关键字重新映射，其中 K是关键字的数量，n是槽位数量, 因为这个特性, 一致性hash经常用于分布式存储系统中算法描述业务情景假设有这么一个场景: 有10亿条数据, 需要放在N台机器上的缓存里, 应该怎么设计一个规则将这些数据均衡的放在这些机器中. 一...