5 天前 / Float_Luuu
学而不思则罔，思而不学则殆。-《论语》 一、缓存概念"A cache is a hardware or software component that stores data so that future requests for that data can be served faster"，对来自 wikipedia 的定义，我们使用亚里士多德的“四因说”方法论来分解一下缓存的定义得到如下视图： 图 1-1缓存定义 使用缓存的目的是提升性能，缓存的表现形式通常是用于存储数据的硬件和或软件组件。 二、缓存使用策略缓存的具体使用方式有多种策略，下面科普一下常见的缓存使用策略。2.1 Read Through/Write Through VS Cache Aside 这里把 Read Through/Wr......
26 天前 / flyhero
码上实战 理论实践相结合，做个好好学习的宝宝！^_^ 关注 为什么需要缓存？因为我们从磁盘中读取文件的速度相较于读取内存中的数据的速度是比较慢的，因此我们将常用的数据存入内存中（我们称之为缓存），以此来加快数据的读取速度。 为什么要淘汰缓存这个很简单，就是因为我们现在服务器内存有限，不可能不断的将数据存入内存中而不淘汰。况且Java应用会有GC问题，过多的使用内存会造成频繁的FullGC，从而导致应用停顿。我们要做到就是通过淘汰算法让存入内存中的数据能发挥最大价值。 常用算法FIFO（先进先出）先进先出算法，很容易理解，核......
34 天前 / 后端技术指南针
1.无处不在的缓存 缓存在计算机系统是无处不在，在CPU层面有L1-L3的Cache，在Linux中有TLB加速虚拟地址和物理地址的转换，在应用层有Redis等内存数据库缓存、在浏览器有本地缓存、手机有本地文件缓存等等。 可见，缓存在计算机系统中有非常重要的地位，主要作用就是提高响应速度、减少磁盘读取等，本文主要讨论在高并发系统中的缓存系统。一句话概括缓存系统在高并发系统中的地位的话，就是： 如果高并发系统是烤羊肉串，那么缓存系统就是那一撮孜然...... 2.高并发系统中的缓存 缓存系统的作用 缓存系统在高并发系统的作用巨大，没......
44 天前 / u553049
场景描述比如一条数据同时存在数据库、缓存，现在你要更新此数据，你会怎么更新？ 先更新数据库？还是先更新缓存？ 其实这两种方式都有问题。 （1）先更新数据库，后更新缓存 这样会造成数据不一致。 A 先把数据库更新为 123，由于网络问题，更新缓存的动作慢了。 这时，B 去更新数据库了，改为了 456，紧接着把缓存也更新为 456。 现在 A 更新缓存的请求到了，把缓存更新为了 123。 那么这时数据就不一致了，数据库里是最新的 456，而缓存是 123，是旧数据。 因为数据库更新、缓存更新这2个动作不是原子的，在高并发操作时，这2个动作直......
65 天前 / sjf0115
在过去，由于粗粒度缓存过期策略和外部缓存的缺乏，查询缓存在 Kylin 中的使用效率不高。由于激进的缓存过期策略，有用的缓存经常被不必要地清理。因为查询缓存存储在本地服务器中，它们因而不能在服务器之间共享。同时，由于本地缓存的大小限制，并不是所有有用的查询结果都可以被缓存。 针对这些不足，我们使用签名检查来实现新的查询缓存失效策略，并引入 memcached 作为 Kylin 的分布式缓存，使 Kylin 服务器能够在服务器之间共享缓存。同时添加 memcached 服务器来扩展分布式缓存也是很容易的。 这些功能由 eBay Kylin 团队提出和开......
67 天前 / Yeming
作者 | 姜日游 杏仁 Java 工程师。今日持续在线的程序玩家。 起因 起因是线上的一个 bug ：项目某个列表页面的分页功能不生效。该列表数据大致有 300 多个，按照每页 100 的方式，至少也有三页，但是页数展示只有一页。 可能性分析1.首先查看是不是页面处理问题，这只需要确认后端传来的数据是否有分页信息。（因为没有权限查看，所以被告知，是后端返回数据的问题）2.后端返回的总页数只有 1 页，说明分页没有起作用。3.定位问题代码，该列表数据的分页管理是基于内部封装的一个切面处理实现的，说明这个地方出现了问题。嗯，由于造数据需要......
72 天前 / 宜信技术学院
文章来源：宜信技术学院 & 宜信支付结算团队技术分享第4期-支付结算部支付研发团队高级工程师陶红《JAVA类反射技术&优化》 分享者：宜信支付结算部支付研发团队高级工程师陶红 在实际工作中的一些特定应用场景下，JAVA类反射是经常用到、必不可少的技术，在项目研发过程中，我们也遇到了不得不运用JAVA类反射技术的业务需求，并且不可避免地面临这个技术固有的性能瓶颈问题。通过近两年的研究、尝试和验证，我们总结出一套利用缓存机制、大幅度提高JAVA类反射代码运行效率的方法，和没有优化的代码相比，性能提高了20～30倍。本文将与大家分享在......
77 天前 / 封心SH
1 为什么需要缓存 如果没有缓存，那么所有业务请求会直接指向数据库，以MySQL为例的数据库基本都是基于磁盘的，而磁盘I/O开销大，面对大规模请求时，会降低系统性能。 对一些热点数据，将其从数据库中抽离出来放进缓存，每次查询时先走缓存，缓存命中则直接返回结果，能提高效率。 2 缓存带来的问题 有三个经典问题： 缓存雪崩：指缓存大面积失效，导致大量查询落到了数据库上，使数据库挂掉。缓存击穿：缓存中热点key突然失效，原本走缓存的大量请求直接打向了数据库，就好像在缓存中击穿了一个洞。 缓存穿透：用户一直请......
124 天前 / 编程一生
Tair是为了解决什么问题而生？ Redis很好用，相比memcached多了很多数据结构，支持持久化。但是在很长一段时间里，原生是不支持分布式的。后来就出现了很多redis集群类产品，Tair是其中胜出的优秀作品之一。 所以Tair的特性都是一些集群的特性，比如：容错、解决单点故障、跨机房管理、多集群管理、支持副本等。总而言之，是redis的高可用版本。 Tair的架构 Tair的整体风格是简约实用，包括三个必选模块：client、configserver和dataserver。一个可选模块：invalidserver。还有一个必要软设施：一致性哈希算法提供分布式的负载均衡计......
135 天前 / 知了一笑
一、Cache缓存简介从Spring3开始定义Cache和CacheManager接口来统一不同的缓存技术； Cache接口为缓存的组件规范定义，包含缓存的各种操作集合； Cache接口下Spring提供了各种缓存的实现； 如RedisCache，EhCacheCache ,ConcurrentMapCache等； 二、核心API说明1、Cache缓存接口 定义缓存操作。实现有：RedisCache、EhCacheCache、ConcurrentMapCache等 2、CacheManager 缓存管理器，管理各种缓存（cache）组件 3、@Cacheable 主要针对方法配置，能够根据方法的请求参数对其进行缓存 Cacheable执行流程 1）方法运行之前，按照cacheNames......
145 天前 / GO语言中文网
这篇文章登上了 Golang 在 Reddit subreddit 板块的顶部，并在 Hacker News 首页排名到第二名。欢迎各位来阅读讨论，并在 Github 上面给我们一个小星星。 每个数据库都需要一个智能的缓存系统。缓存需要保存最近最频繁访问的内容，并且支持配置一些限制上的配置。 作为一个图形数据库，Dgraph 可以在每次查询中，访问数千甚至数百万的 key。这个功能主要依赖于他中间结果的数量。由于通过键值对访问数据库会导致磁盘上的查询操作，出于对性能方面的考虑 ( 磁盘访问速度不及内存 )，我们希望优化这块的性能。 通常的访问模式都遵循 ZipFian 分......
149 天前 / 小柒2012
点击▲关注 “爪哇笔记” 给公众号标星置顶更多精彩 第一时间直达前言前阵子有网友询问，如何优化网站？这个问题真的很大，跟他简单的聊了一下，随便说了几点，觉得有必要整理一篇文章出来，正好前阵子在做爬虫博客，于是把大体思路分享出来，与大家互通有无，共同进步。优化版本一系统开始是这样子的，一个 Tomcat 拖着一个 MySql 服务，跑在一个 2C 4G 的Linux服务器上，所有的请求都走 Tomcat，所有的查询都走 MySql，看起来像一句废话？资源是有限的，那么如何有效的利用资源，提升服务性能？Tomcat 号称能抗住数十万并发访问，但是这事也得分......
150 天前 / 小柒2012
点击▲关注 “爪哇笔记” 给公众号标星置顶 更多精彩 第一时间直达 前言在博客系统中，为了提升响应速度，加入了 Redis 缓存，把文章主键 ID 作为 key 值去缓存查询，如果不存在对应的 value，就去数据库中查找 。这个时候，如果请求的并发量很大，就会对后端的数据库服务造成很大的压力。 造成原因业务自身代码或数据出现问题 恶意攻击、爬虫造成大量空的命中，会对数据库造成很大压力 案例分析由于文章的地址是这样子的： https://blog.52itstyle.top/49.html 大家很容易猜出，是不是还有 50、51、52 甚至是十万+？如果是正儿八经的爬虫......
156 天前 / 猿天地
点击上方蓝字,关注猿天地！1. 导读 按照现在流行的互联网分层架构模型，最简单的架构当属Web响应层+DB存储层的架构。从最开始的单机混合部署Web和DB，到后来将二者拆分到不同物理机以避免共享机器硬件带来的性能瓶颈，再随着流量的增长，Web应用变为集群部署模式，而DB则衍生出主从机来保证高可用，同时便于实现读写分离。这一连串系统架构的升级，本质上是为了追求更高的性能，达到更低的延时。 高德作为一款国民级别的导航软件，导航路线的数据质量是由数据中心统一管理的。为了保证数据的鲜度，数据中心需要对不断变化的现实道路数据进行收集......