3 天前 / 编程一生
背景 先澄清一下，整个过程问题都不是我解决的，我在里面就是起了个打酱油的角色。因为实际上我负责这个项目，整个过程也比较清楚。之前也跟具体负责的同事说过，等过段时间带他做做项目复盘。结果一直忙，之前做的事情都快忘了也没带他做复盘。所以趁着还记得，总结一下这个问题，也算一起做个复盘总结了。 本周一的时候，我们测试环境遇到一个问题：启动一个服务就会导致后端调用耗时增加。当时咨询了对这个问题之前有了解的同事得到的答复是因为一笔请求发到两套测试环境 ( 一个请求需要在两套环境下运行结果做对比)...
12 天前 / OPPO互联网技术
1.问题背景 某核心 JAVA 长连接服务使用 MongoDB 作为主要存储，客户端数百台机器连接同一 MongoDB 集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、MongoDB 内核链接认证不合理、代理配置不全等一系列问题，最终经过多方努力确定问题根源。 该集群有十来个业务接口访问，每个接口部署在数十台业务服务器上面，访问该 MongoDB 机器的客户端总数超过数百台，部分请求一次拉取数十行甚至百余行数据。
19 天前 / reesunhuang
作者 | 高相林（禅鸣） 导读：集群升级是 Kubernetes集群生命周期中最为重要的一环，也是众多使用者最为谨慎对待的操作之一。为了更好地理解集群升级这件事情的内涵外延，我们首先会对集群升级的必要性和难点进行阐述；随后会对集群升级前必须要做的前置检查进行逐一讲解；接下来会对两种常见的升级方式进行展开介绍；最后对集群升级的三个步骤进行讲解，帮助读者从理论走入实践。 升级的必要性 & 难点 在 Kubernetes 领域，得益于活跃的开源社区，Kubernetes 的迭代速度较快，目前保持在每个季度发行一个新版本的节奏。
24 天前 / 服务器维护
很多人觉得，在 Kubernetes 中不是只要用 Service 就可以做负载均衡了吗？SVC 确实有负载均衡的作用。它是由 Kube-proxy 提供，但是由于 Grpc 的特性没有办法让它很好的处理负载均衡。 SVC 负载调度原理在 k8s 的文档中阐述了 kube-proxy 的特点： The kube proxy:runs on each node #运行在每个节点 proxies UDP, TCP and SCTP #可以代理 UDP、TCP、SCTP 协议 does not understand HTTP #但是不能识别 HTTP 协议 provides load balancing #提供负载均衡 is just used to reach services #只用于到达服务 proxies UDP, TCP and SCTP #可以代理 UDP、TCP、...
27 天前 / Michael_翔_
Search 简介首先引用 Elasticsearch （下文简称 ES）官网的一段描述： Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。 本文主要介绍 Elasticsearch 集群的搭建。通过在一台服务器上创建 3 个 ES 实例来创建一个建议的 ES 集群。 Elasticsearch/ES 官方的 Elasticsearch Reference 提供了不同版本的文档连接，真是赞！ 如果英文的不想看，还提供了中文版的 Elasticsearch 2.x: 权威指南，版本不是最新的...
27 天前 / 知了一笑
一、基础环境 1、环境版本环境：centos7 hadoop 版本：2.7.2 jdk 版本：1.8 2、Hadoop 目录结构 bin 目录：存放对 Hadoop 的 HDFS,YARN 服务进行操作的脚本 etc 目录：Hadoop 的相关配置文件目录 lib 目录：存放 Hadoop 的本地库，提供数据压缩解压缩能力 sbin 目录：存放启动或停止 Hadoop 相关服务的脚本 share 目录：存放 Hadoop 的依赖 jar 包、文档、和相关案例 3、配置加载 vim/etc/profile #添加环境 exportJAVA_HOME=/opt/jdk1.8 exportPATH=$PATH:$JAVA_HOME/bin exportHADOOP_HOME=/opt/hadoop2.7 exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME...
56 天前 / 后场技术
在上一篇文章中，我们完成了 K8S 系列之 K8S 集群之 Master 节点部署，在这篇文章中，我们将开始部署 Node 节点相关的组件。在 node 节点上，需要部署 kubelet 和 kube-proxy 两个 K8S 组件，除此之外，还需要部署 Docker 环境、CNI 网络插件 flannel 以及 coredns 服务。 根据我们的架构，我们在 10.4.7.21 和 10.4.7.22 两台服务器上同时部署 Master 节点和 Node 节点，所以，这两台服务器既是 Master 节点，又是 Node 节点。
57 天前 / 陆道峰-MLSys
论文研读系列是阅读、总结计算机领域优秀论文的系列文章。由于论文的学术性较高，无法面面俱到，只会就关键思想进行概括介绍。 简介 Google 的 Borg 集群系统需要管理数十万个 jobs，要能够提高资源使用率、隔离性，通过调度策略降低关联故障发生率，通过声明式 job 描述语言简化复杂性。 Borg 提供三个主要优势： 1.隐藏资源管理与故障处理的细节，用户可以集中在应用开发上 2.高可用、高稳定 3.O(10000)机器规模内高效任务调度 相关术语 1.job and task，一个 job 包含多个 task，每个 task 包含多个进程 2.nameing and monitoring...
65 天前 / 陆道峰-MLSys
简介 Mesos 是一个在多个集群计算框架中共享集群资源的管理系统，它提高了集群资源利用率，避免了每个计算框架数据复制。 通过分布式两层调度模型实现了细粒度的资源分配：由 Mesos 决定为每个框架提供多少资源，框架决定接受哪些资源，以及把计算任务分配到哪里去执行。 问题与方案 2010 年代计算框架百花齐放，相继出现 MapReduce[1]、MPI、Dryad、Pregel 等。很明显，新的集群计算框架还会不断涌现，不存在满足所有应用需求的集群计算框架，因此企业、研究机构会在同一个集群中运行多个计算框架。
70 天前 / 知了一笑
一、Cassandra 简介 1、基础描述 Cassandra 是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发，用于储存收件箱等简单格式数据，此后，由于 Cassandra 良好的可扩展性，逐渐发展成为了一种流行的分布式结构化数据存储方案。 2、特点分析弹性可扩展性 Cassandra 是高度可扩展的；它允许添加更多的硬件以适应更多的客户和更多的数据根据要求，可以根据业务的数据流量轻松扩展集群规模。 架构特点 Cassandra 可以基于分布式运行，并采用了许多容错机制。由于去中心化无主的策略，所以没有单点故障。可以做到不停服滚动升级。
76 天前 / sjf0115
作者：bellen，腾讯云大数据研发工程师。 腾讯云 Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。 背景某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。 因为游戏业务本身的日志数据量非常大 ( 写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的 ES 集群调整得比较稳定...
91 天前 / kafeidou
本周四晚上 8 点，K3s 技术实践训练营第二期将准时开播！K3s 最常见的问题大汇总！你遇到的、正遭受困扰的网络问题、高可用问题通通打包一并解决啦，提升 K3s 幸福感在此一举，赶紧报名咯！ 扫描下方二维码即可报名： 假如你正在一家典型的企业里工作，需要与多个团队一起工作，并为客户提供一个独立的软件，组成一个应用程序。你的团队遵循微服务架构，并拥有由多个 Kubernetes 集群组成的广泛基础设施。 由于微服务分布在多个集群中，你需要设计一个解决方案来集中管理所有微服务。
94 天前 / 后场技术
在上一篇文章中，我们介绍了 K8S 集群的整体架构和各角色节点上的组成组件及其作用，在这篇文章中，我们来实际搭建一个 K8S 集群。 在 K8S 集群中，各个组件之间通信是通过 http/https 协议来完成的，而这些都需要我们提供证书，因为在集群中，我们对证书的签发机构并没有什么要求，所以这些用到的证书可以由我们自己来签发，然后我们需要将这些证书配置到各个组件中。这其中是非常复杂的，所以，靠手动来安装各个组件是一件耗时费力的事情，为此，K8S 官方提供了一个很方便的安装部署工具，这个工具就是 kubeadm...
96 天前 / 知了一笑
一、集群环境搭建 1、环境概览 ES 版本 6.3.2，集群名称 esmaster，虚拟机 centos7。 ElasticSearch 基础功能和用法： MySQL 数据全量和增量方式向 ES 搜索引擎同步 Linux 系统 Centos7 环境搭建 ElasticSearch 中间件 SpringBoot2 整合 ElasticSearch 搜索引擎框架 在真正海量数据的业务场景中，ElasticSearch 搜索引擎都是需要集群化管理的，实时搜索几十亿的数据十分常见。 2、集群配置配置文件 vim/opt/elasticsearch-6.3.2/config/elasticsearch.yml 主节点配置 #集群主节点配置 cluster.name:esmaster node.master:true #节点名称 node.name:esnode1...
101 天前 / K8sMeetup
解决多租户集群的安全隔离问题对企业上云而言至关重要。本文介绍了多租户集群的基本概念、几种常见的应用场景以及相应的安全管理功能，希望可以帮助大家进一步了解多租户集群。 作者：Kuang Dahu 翻译：Bach（才云） 校对：星空下的文仔（才云）、bot（才云） 解决多租户集群的安全隔离问题对于企业上云而言至关重要。本文讨论了 Kubernetes 多租户集群的概念和常见的应用模式、企业内共享集群的业务场景以及 Kubernetes 现有的安全管理功能。 K8sMeetup 什么是多租户集群 首先，我们讨论一下“租户”是什么。