1 天前 / mr7
摘要：作为noSql中的kv数据库的王者，redis以其高性能，低时延，丰富的数据结构备受开发者青睐，但是由于redis在水平伸缩性上受限，如何做到能够水平扩容，同时对业务无侵入性是很多使用redis的开发人员都会面临的问题，而redis分布式解决方案的一个开源产品【codis】较好的弥补了这一弱势，本文主要讲解codis是如何做到对业务无感知，平滑迁移，迁移性能高，迁移异常处理，高可用以及常见的redis的避坑指南，虽然codis目前随着公司的nosql产品越来越成熟，生命周期也即将结束，不过鉴于还有很多同学对codis的原理比较感兴趣，于是将......
2 天前 / 猿天地
这篇文章主要讲了Codis作为分布式集群的开源方案带来的优势和面临的弊端，毕竟原生的Redis集群坑太多了。前言 Redis 集群，顾名思义就是使用多个 Redis 节点构成的集群，从而满足在数据量和并发数大的业务需求。 在单个 Redis 的节点实例下，存储的数据量大和高并发的情况下，内存很容易就暴涨。同时，一个 Redis 的节点，内存也是受限的，两个原因，一个是内存过大，在进行数据同步的时候，全量同步的时候会导致时间过长，会增加同步失败的风险；另一个原因就是一般的 Redis 都是部署在云服务器上的，这个也会受到CPU的使用率的影响。 所以，......
22 天前 / 秦夏
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。 但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据。这些公司通常规模不小，但盈利不一定理想。就算能稳定盈利，也一定有不小的成本压力。因为，大数据，如果真的够大，是真的很费钱。 以我所在的公司为例，每年的服务器采购成本就已经好几千万，眼看奔着8位数去了。 因此我们有很强的节省成本的动力。 另一方面，之前我在思考作为公共部门和基础设施部门，在不做业务不赚钱的情况下，怎......
22 天前 / TaoBeier
首发于k8s生态写文章使用 Kind 搭建你的本地 Kubernetes 集群TaoBeier二次元/程序猿 公众号: MoeLove7 人赞同了该文章Kind是我很喜欢也一直在参与的项目，我计划将 Kind 相关的文章写成一个系列。（flag++） 这是第一篇。Kind 介绍Kind 是 Kubernetes In Docker 的缩写，顾名思义是使用 Docker 容器作为 Node 并将 Kubernetes 部署至其中的一个工具。官方文档中也把 Kind 作为一种本地集群搭建的工具进行推荐。 安装二进制安装Kind 使用 Golang 进行开发，在仓库的 Release页面，已经上传了构建好的二进制，支持多种操作系统，可直接按需下载进行......
23 天前 / 匡匡
导语：atlas是开源的元数据管理系统，其包含了元数据治理的基本功能；包括对术语和标签的定义、数据血缘的记录、元数据的采集等功能。对于了解元数据的治理系统的构建过程具有参考意义。本文从实际搭建角度列出一些注意事项，以帮助调研元数据系统的开发者少走弯路。 一、修改依赖的kafka版本1、出现的错误 由于atlas官网用的kafka官网版本1.0.0，而CDH上用的是0.9.0-kafka-2.0.2版本。api的版本不一致，导致报下面的错误。 2、解决方案 要么改atlas源码中kafka的版本，要么hadoop机器集群改用atlas源码当中兼容的kafka版本。 这里我......
35 天前 / php-v
作者介绍 冯武，目前在瓜子从事大数据集群运维管理，主要负责Hadoop、Ansible、Ambari、ClouderaManager等技术栈的维护调优工作。 公司从建设Hadoop起，采用了Apache社区版本的Hadoop，随着业务的发展，集群规模越来越来大，现已突破百余节点。 在频繁的更改配置、增删节点、监控告警等操作中，传统手工运维的弊端被放得越来越大，日常维护消耗了工程师大量的时间和精力。 现状的产生是可以理解的，公司基础架构的发展往往始于快速搭建，然后在崩溃中挣扎，最后瓶颈痛苦后经历重构。本文将介绍，我们团队如何一步一步优化Had......
41 天前 / xF0rk
前言Kubernetes是一个开源的，用于编排云平台中多个主机上的容器化的应用，目标是让部署容器化的应用能简单并且高效的使用, 提供了应用部署，规划，更新，维护的一种机制。其核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行着，管理员可以加载一个微型服务，让规划器来找到合适的位置，同时，Kubernetes在系统提升工具以及人性化方面，让用户能够方便的部署自己的应用。有着以上优点，让kubernetes越来越流行。同时，安全问题逐渐明显起来。 一、核心组件与资源对象常见的Kubernetes集群结构图如下，Master节点是集......
42 天前 / 微服务蜂巢
点击上方蓝色字关注我们~Alpha可以通过扩展部署节点个数实现高可用集群部署，并且通过在节点上设置启动参数 alpha.event.scanner.enabled=false 关闭某些节点的后台定时执行的事务扫描，避免多个节点同时扫描事物表而可能导致的性能问题。但是当启动事务扫描的进程宕机后会导致没有进程进行事务扫描，从而导致事务补偿失败。 在0.4.0版本中，我们通过一种基于数据库表的抢占锁机制，实现Alpha集群中主节点的动态选举，并让事务扫描方法只在主节点上执行。当主节点宕机后其他节点通过抢占的方式选出一个新的主节点，本文将介绍在0.4.0版本相......
46 天前 / WilliamGuo
不负众望，1.5.0版本正式发布 https://github.com/Qihoo360/wayne/releases 本次更新基本涵盖了Kubernetes常用资源管理（可以彻底抛弃官方dashbord啦），并且还增加了service和ingress自动注入注解，更好的支持了公有云。## 更新详情：## [v1.5.0](https://github.com/Qihoo360/wayne/tree/v1.5.0) (2019-03-01)[Full Changelog](https://github.com/Qihoo360/wayne/compare/v1.4.3...v1.5.0)**Implemented enhancements:**- Model support toggle full screen [\#311](https://github.com/Qihoo360/wayne/issues/311)- Support command and args ......
47 天前 / phperzone
对于分布式系统而言，整个集群处理请求的效率和存储容量，往往取决于集群中响应最慢或存储增长最快的节点。所以在系统设计和容量规划时，我们尽量保障集群中各节点的“数据和请求分布均衡“。但在实际生产系统中，出现数据容量和请求倾斜(类似Data Skew）问题是比较常见的。 示例：2019年春节抽奖服务，业务评估峰值qps是2w，转化到redis集群为10w qps和5GB内存存储，部署5个分片每个分片1GB+2W qps的redis集群（包含预留容量）。结果活动开始时，才发现服务存在”热点key"，请求严重倾斜, 峰值时的6w qps都集中到其中一个分片,导致这分片过载，整......
50 天前 / yangyidba
前言因为公司技术方面的需求，前一段时间折腾了一下elasticsearch,总体技术水平能够达到简历上的“熟悉”的程度。 有管理ES集群经验的朋友肯定都知道elasticsearch的head插件能够实现对es集群的查看，索引分片，展示数据分布等功能，但是在页面美观上有点欠缺。本文介绍一款es集群管理平台--cerebro。 cerebro简介cerebro算是一款"绿色"软件，只要有标准的java环境，下载解压之后即可使用。 在功能上cerebro支持节点状态监控 服务器磁盘空间，cpu，load，索引数量大小 ，数据分布位置等监控。 支持查询。 安装wget "https://github.com/lmeneze......
50 天前 / 2020Labs小助手
作者：Anton Hgerstrand 翻译：杨振涛 Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。 从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。在经历了一些波折之后，最终我们认为做出了正确的技术选型。 Elasticsearch用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将......
56 天前 / 程序猿DD-翟永超
前情回顾： 《Spring Cloud Alibaba基础教程：使用Nacos实现服务注册与发现》《Spring Cloud Alibaba基础教程：支持的几种服务消费方式》《Spring Cloud Alibaba基础教程：使用Nacos作为配置中心》《Spring Cloud Alibaba基础教程：Nacos配置的加载规则详解》《Spring Cloud Alibaba基础教程：Nacos配置的多环境管理》《Spring Cloud Alibaba基础教程：Nacos配置的多文件加载与共享配置》《Spring Cloud Alibaba基础教程：Nacos的数据持久化》继续说说生产环境的Nacos搭建，通过上一篇《Spring Cloud Alibaba基础教程：Nacos的数据持久化》的介绍......