13 天前 / luoxn28
戳蓝字「TopCoder」关注我们哦！ 编者注：笔者整理了一份【Redis不完全指南】，包含了很多详细的知识点和Redis经典面试题，可关注「TopCoder」公众号，发送 Redis 来获取~ 随着Redis中保存数据越来越多，单个Redis节点已不堪负重，需要引入Redis集群方案，Redis常见集群方案有：client分片方案、基于代理方案、redis cluster方案。 基于代理的方案一般也是基于分片或者redis cluster方案，不过对于client端来说是无感知的。从本质上来说，这三种实现方案都是以分片为实现基础：分片是分割数据到多个redis实例的过程，差别是分片动作发生在clie......
20 天前 / WilliamGuo
## 现象Kubernetes集群版本1.15.2，使用了kube-proxy，使用的 iptables 模式。 在kubernetes的一个node节点上直接访问kubernetes中的service不通，注意是访问服务不通，不是ping不通。 以apiserver对应的kubernetes service为例：```bash$ kubectl get service -o wideNAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTORkubernetes ClusterIP 172.254.0.1 443/TCP 1y```直接在node上发起访问是不通的，如下：```bash$ telnet 172.254.0.1 443Trying 172.254.0.1...```注意只是从node上、在使用......
26 天前 / sjf0115
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素，并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实：在kafka中，单个patition是kafka并行操作的最小单元。在producer和broker端，向每一个分区写入数据是可以完全并行化的，此时，可以通过加大硬件资源的利用率来提升系统的吞吐量，例如对数据进行压缩。在consumer段，kafka只允许单个partition的数据被一个consumer线程消费。因此，在consumer端，每一个Consumer Group内部的consumer并行度完全依赖于......
33 天前 / 美团技术团队
总第353篇 2019年 第31篇 亲爱的大朋友、小朋友们，中秋节快乐！ 值此佳节之际，美美为大家呈送一份技术干货作为中秋礼物。本文根据美团基础架构部/弹性策略团队负责人涂扬在2019 QCon（全球软件开发大会）上的演讲内容整理而成。本文涉及Kubernetes集群管理技术的部分，相关的技术实践可参考此前发布的《美团点评Kubernetes集群管理实践》。 一、背景HULK是美团的容器集群管理平台。在HULK之前，美团的在线服务大部分部署都是在VM上，在此期间，我们遇到了很大的挑战，主要包括以下两点：环境配置信息不一致：部分业务线下验证正常......
43 天前 / wphmoon
首发于编码花写文章便宜有便宜的办法-小微企业云上的springboot集群方案1：有个planblue sky
49 天前 / 小柒2012
点击▲关注 “爪哇笔记” 给公众号标星置顶更多精彩 第一时间直达前言前阵子有网友询问，如何优化网站？这个问题真的很大，跟他简单的聊了一下，随便说了几点，觉得有必要整理一篇文章出来，正好前阵子在做爬虫博客，于是把大体思路分享出来，与大家互通有无，共同进步。优化版本一系统开始是这样子的，一个 Tomcat 拖着一个 MySql 服务，跑在一个 2C 4G 的Linux服务器上，所有的请求都走 Tomcat，所有的查询都走 MySql，看起来像一句废话？资源是有限的，那么如何有效的利用资源，提升服务性能？Tomcat 号称能抗住数十万并发访问，但是这事也得分......
54 天前 / 楼外青山
总第351篇 2019年 第29篇 背景作为国内领先的生活服务平台，美团点评很多业务都具有非常显著、规律的“高峰”和“低谷”特征。尤其遇到节假日或促销活动，流量还会在短时间内出现爆发式的增长。这对集群中心的资源弹性和可用性有非常高的要求，同时也会使系统在支撑业务流量时的复杂度和成本支出呈现指数级增长。而我们需要做的，就是利用有限的资源最大化地提升集群的吞吐能力，以保障用户体验。本文将介绍美团点评Kubernetes集群管理与使用实践，包括美团点评集群管理与调度系统介绍、Kubernetes管理与实践、Kubernetes优化与改造以及资......
57 天前 / 王下_邀月熊
首发于某熊的技术之路写文章K8s 实战之概念、集群部署与服务配置王下邀月熊公众号：某熊的技术之路9 人赞同了该文章本文是对于 Kubernetes 实战系列文章的提炼。 Kubernetes [koo-ber-nay'-tice] 是 Google 基于 Borg 开源的容器编排调度引擎，其支持多种底层容器虚拟化技术，具有完备的功能用于支撑分布式系统以及微服务架构，同时具备超强的横向扩容能力；它提供了自动化容器的部署和复制，随时扩展或收缩容器规模，将容器组织成组，并且提供容器间的负载均衡，提供容器弹性等特性。作为 CNCF（Cloud Native Computing Foundation）最重要的组件......
66 天前 / 知了一笑
写在前面，阅读本文前，你需要了解熔断器相关内容 SpringCloud微服务：Hystrix组件，实现服务熔断 一、聚合监控简介1、Dashboard组件微服务架构中为了保证程序的可用性，防止程序出错导致网络阻塞，出现了断路器模型。断路器的状况反应程序的可用性和健壮性，它是一个重要指标。HystrixDashboard是作为断路器状态的一个组件，提供了数据监控和直观的图形化界面。 2、Turbine组件Hystrix Dashboard组件监控服务的熔断情况时,每个服务都有图形界面,当微服务数量很多时,监控非常繁杂.为了同时监控多个服务的熔断状况,Netflix开源了Hystrix的另一个......
71 天前 / 猿天地
Nacos的单节点，也就是我们最开始使用的standalone模式，配置的数据是默认存储到内嵌的数据库derby中。 如果我们要搭建集群的话，那么肯定是不能用内嵌的数据库，不然数据无法共享。集群搭建的时候我们需要将Nacos对接Mysql进行数据存储。 集群模式跟我们平时进行扩容是一样的，可以通过Nginx转发到多个节点，最前面挂一个域名即可，如下图： 通常如果我们只是为了体验的话直接在本地起动3个实例就可以了，没必要真的去搞三台服务器，下面我们就以在本地的方式来搭建集群。 将Nacos的解压包复制分成3份，分别是: nacos nacos1 nacos2 进......
85 天前 / CainGao0
由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka由于当前海外的数据节点较多,同时也较为分散,原本海外数据直接通过公网写入到Kafka集群中。但是由于海外网络进行公网传递的问题，存在非常大的延迟。导致某些业务直接无法使用。例如异常告警等。 海外数据延迟问题 我们海外的节点很多，但是又非常的分散。可能某个国家仅仅有几台机器，为了实现日志分析的业务需要把海外的数据传输回国内的数据中心上来。当前的选型是通过Kafka进行传输。直接通过公网的方式把数据写入到Kafka，国内的数据中心节点对Kafka的......
89 天前 / php-v
作者介绍 吴怡燃，京东大数据平台资深研发工程师，HBase平台负责人。 一、数据存储之HBase 随着信息化数字化的发展，越来越多的数据以数字化的方式存储在计算机系统中。而传统的数据库已经无法满足海量数据存储的需求。数据存储技术也由原来的单机演变成了现在的多机分布式。 虽然已经有很多数据存储、实现方式以及访问策略，但其在构建数据模型时并没有考虑超大规模分布式的特点。比较典型是关系型数据库，虽然他们都已经支持了集群模式，但其数据组织方式在分布式高并发读写场景下受到了很大的制约。同时因为其架构基因，导致如......
89 天前 / 服务器维护
在EKS集群中，有些时候对一些deployment服务有IO要求，这时候可以使用EBS块设备进行挂载到服务中使用。再加上EBS有各种容量尺寸、存储介质、卷快照可供选择，以此保证系统IO的需要和数据的可靠性。 awsElasticBlockStore卷，简称EBS，将Amazon Web Services（AWS）EBS Volume 挂载到您的容器中。 EBS的数据是会保留的，就算你删除了Deployment。卷里面的数据还是会保留下来，删除仅仅是被卸载而已。 首先的通过EC2的控制台或者AWS的CLI创建一个块设备。 重要提示：您必须使用 aws ec2 create-volume 或 AWS API 创建 EBS 卷，才能使用它。 使......
90 天前 / K8sMeetup
作者 ｜高朋（科赛网后端研发工程师） 编辑 ｜ bot（才云） 在这篇文章中，科赛网后端研发工程师高朋首先介绍了 Cluster Auto Scaler 的主要设计、功能和他们对 Cluster-Autoscaler 的一些改动，使得这个组件可以支持预测性伸缩。 Kubernetes 本身有很多方面的 scaling，包括 Pod 的垂直扩展和集群物理节点的扩展等。今天我想介绍的是 Cluster-Autoscaler 用于物理节点的扩展。如果大家经常关注 Kubernetes scaling 相关的一些 talk，应该会比较了解这一块。我会先从子项开始，然后介绍我们怎么做预测性扩展，谈谈在这个预测性扩展中我们尝......