24 天前 / 后场技术
在上一篇文章中，我们完成了 K8S 系列之 K8S 集群之 Master 节点部署，在这篇文章中，我们将开始部署 Node 节点相关的组件。在 node 节点上，需要部署 kubelet 和 kube-proxy 两个 K8S 组件，除此之外，还需要部署 Docker 环境、CNI 网络插件 flannel 以及 coredns 服务。 根据我们的架构，我们在 10.4.7.21 和 10.4.7.22 两台服务器上同时部署 Master 节点和 Node 节点，所以，这两台服务器既是 Master 节点，又是 Node 节点。
25 天前 / 陆道峰-MLSys
论文研读系列是阅读、总结计算机领域优秀论文的系列文章。由于论文的学术性较高，无法面面俱到，只会就关键思想进行概括介绍。 简介 Google 的 Borg 集群系统需要管理数十万个 jobs，要能够提高资源使用率、隔离性，通过调度策略降低关联故障发生率，通过声明式 job 描述语言简化复杂性。 Borg 提供三个主要优势： 1.隐藏资源管理与故障处理的细节，用户可以集中在应用开发上 2.高可用、高稳定 3.O(10000)机器规模内高效任务调度 相关术语 1.job and task，一个 job 包含多个 task，每个 task 包含多个进程 2.nameing and monitoring...
33 天前 / 陆道峰-MLSys
简介 Mesos 是一个在多个集群计算框架中共享集群资源的管理系统，它提高了集群资源利用率，避免了每个计算框架数据复制。 通过分布式两层调度模型实现了细粒度的资源分配：由 Mesos 决定为每个框架提供多少资源，框架决定接受哪些资源，以及把计算任务分配到哪里去执行。 问题与方案 2010 年代计算框架百花齐放，相继出现 MapReduce[1]、MPI、Dryad、Pregel 等。很明显，新的集群计算框架还会不断涌现，不存在满足所有应用需求的集群计算框架，因此企业、研究机构会在同一个集群中运行多个计算框架。
38 天前 / 知了一笑
一、Cassandra 简介 1、基础描述 Cassandra 是一套开源分布式 NoSQL 数据库系统。它最初由 Facebook 开发，用于储存收件箱等简单格式数据，此后，由于 Cassandra 良好的可扩展性，逐渐发展成为了一种流行的分布式结构化数据存储方案。 2、特点分析弹性可扩展性 Cassandra 是高度可扩展的；它允许添加更多的硬件以适应更多的客户和更多的数据根据要求，可以根据业务的数据流量轻松扩展集群规模。 架构特点 Cassandra 可以基于分布式运行，并采用了许多容错机制。由于去中心化无主的策略，所以没有单点故障。可以做到不停服滚动升级。
44 天前 / sjf0115
作者：bellen，腾讯云大数据研发工程师。 腾讯云 Elasticsearch 被广泛应用于日志实时分析、结构化数据分析、全文检索等场景中，本文将以情景植入的方式，向大家介绍与腾讯云客户合作过程中遇到的各种典型问题，以及相应的解决思路与方法，希望与大家一同交流。 背景某中型互联网公司的游戏业务，使用了腾讯云的 Elasticsearch 产品，采用 ELK 架构存储业务日志。 因为游戏业务本身的日志数据量非常大 ( 写入峰值在 100w qps)，在服务客户的几个月中，踩了不少坑，经过数次优化与调整，把客户的 ES 集群调整得比较稳定...
59 天前 / kafeidou
本周四晚上 8 点，K3s 技术实践训练营第二期将准时开播！K3s 最常见的问题大汇总！你遇到的、正遭受困扰的网络问题、高可用问题通通打包一并解决啦，提升 K3s 幸福感在此一举，赶紧报名咯！ 扫描下方二维码即可报名： 假如你正在一家典型的企业里工作，需要与多个团队一起工作，并为客户提供一个独立的软件，组成一个应用程序。你的团队遵循微服务架构，并拥有由多个 Kubernetes 集群组成的广泛基础设施。 由于微服务分布在多个集群中，你需要设计一个解决方案来集中管理所有微服务。
62 天前 / 后场技术
在上一篇文章中，我们介绍了 K8S 集群的整体架构和各角色节点上的组成组件及其作用，在这篇文章中，我们来实际搭建一个 K8S 集群。 在 K8S 集群中，各个组件之间通信是通过 http/https 协议来完成的，而这些都需要我们提供证书，因为在集群中，我们对证书的签发机构并没有什么要求，所以这些用到的证书可以由我们自己来签发，然后我们需要将这些证书配置到各个组件中。这其中是非常复杂的，所以，靠手动来安装各个组件是一件耗时费力的事情，为此，K8S 官方提供了一个很方便的安装部署工具，这个工具就是 kubeadm...
64 天前 / 知了一笑
一、集群环境搭建 1、环境概览 ES 版本 6.3.2，集群名称 esmaster，虚拟机 centos7。 ElasticSearch 基础功能和用法： MySQL 数据全量和增量方式向 ES 搜索引擎同步 Linux 系统 Centos7 环境搭建 ElasticSearch 中间件 SpringBoot2 整合 ElasticSearch 搜索引擎框架 在真正海量数据的业务场景中，ElasticSearch 搜索引擎都是需要集群化管理的，实时搜索几十亿的数据十分常见。 2、集群配置配置文件 vim/opt/elasticsearch-6.3.2/config/elasticsearch.yml 主节点配置 #集群主节点配置 cluster.name:esmaster node.master:true #节点名称 node.name:esnode1...
69 天前 / K8sMeetup
解决多租户集群的安全隔离问题对企业上云而言至关重要。本文介绍了多租户集群的基本概念、几种常见的应用场景以及相应的安全管理功能，希望可以帮助大家进一步了解多租户集群。 作者：Kuang Dahu 翻译：Bach（才云） 校对：星空下的文仔（才云）、bot（才云） 解决多租户集群的安全隔离问题对于企业上云而言至关重要。本文讨论了 Kubernetes 多租户集群的概念和常见的应用模式、企业内共享集群的业务场景以及 Kubernetes 现有的安全管理功能。 K8sMeetup 什么是多租户集群 首先，我们讨论一下“租户”是什么。
75 天前 / K8sMeetup
搭建集群时，我们应该选择少量大型集群，还是多个小型集群？本文对两种方法进行了详细的利弊分析，希望可以帮助大家确定哪种才最适合自己。 作者：Daniel Weibel 翻译：Bach（才云） 校对：星空下的文仔（才云）、bot（才云） 如果我们想在 Kubernetes 上运行一组给定的应用程序，那么会遇到一些使用集群的基本问题： 我应该在同一集群中运行所有应用程序，还是在多个集群中运行？ 每个集群应该要多大？ 我要在各个集群中分别运行哪些应用程序？ 我们通常遵循两个基本方向：大型集群（数量较少），其中运行相对大量的应用程序；小型集群（但数量较多）...
83 天前 / KevinYan
前言 Minikube 是一个可以在本地电脑上运行 Kubernetes 的工具。Minikube 会在笔记本电脑中的虚拟机上运行一个单节点的 Kubernetes 集群，让用户能对 Kubernetes 进行体验或者在之上进行 Kubernetes 的日常开发。 Windows，MacOS 和 Linux 系统上都可以安装 Minikube，不过在安装前需要确认系统的版本已经支持虚拟化（一般只要不是太老的系统版本都支持虚拟化） kubectl 在电脑上安装 Minikubne 前需要先安装 kubectl，它是 Kubernetes 的命令行工具，可以使用 kubectl 部署应用程序，检查和管理集群资源以及查看日志。
96 天前 / ???米?开?朗?基?杨???
最近一两年各大云服务商都出了各种福利活动，很多小伙伴薅了一波又一波羊毛，比如腾讯云 1C2G 95/ 年 真香系列，华为云和阿里云也都有类似的活动，薅个两三台就能搭建一个 Kubernetes 集群。但是跨云服务商搭建 Kubernetes 集群并不像我们想象中的那么容易，首先就是原生的 Kubernetes 组件本身对资源的消耗量很大，而云服务器的资源非常有限，经不起这么大家伙的折腾，对此我们可以选择使用轻量级 Kubernetes 发行版：k3s。 k3s 将安装 Kubernetes 所需的一切打包进仅有 60MB 大小的二进制文件中，并且完全实现了 Kubernetes API。
98 天前 / reesunhuang
“Prometheus 监控 Docker Swarm 集群（一） cAdvisor 简介为了解决容器的监控问题，Google 开发了一款容器监控工具 cAdvisor（Container Advisor），它为容器用户提供了对其运行容器的资源使用和性能特征的直观展示。它是一个运行守护程序，用于收集，聚合，处理和导出有关正在运行的容器的信息。 cAdvisor 可以对节点机器上的资源及容器进行实时监控和性能数据采集，包括 CPU、内存、网络及文件系统使用情况。
117 天前 / 知了一笑
一、列式库简介 ClickHouse 是俄罗斯的 Yandex 公司于 2016 年开源的列式存储数据库（DBMS），主要用于 OLAP 在线分析处理查询，能够使用 SQL 查询实时生成分析数据报告。 列式存储 行式存储和列式存储，数据在磁盘上的组织结构有着根本不同，数据分析计算时，行式存储需要遍历整表，列式存储只需要遍历单个列，所以列式库更适合做大宽表，用来做数据分析计算。 絮叨一句：注意这里比较的场景，是数据分析计算的场景。 二、集群配置 1、基础环境 ClickHouse 单服务默认已经安装完毕 Linux 下安装 ClickHouse 单机服务 SpringBoot 整合 ClickHouse 列式数据...