54 天前 / u277623
对于生产环境以及一个有追求的运维人员来说,哪怕是毫秒级别的宕机也是不能容忍的。对基础设施及应用进行适当的日志记录和监控非常有助于解决问题,还可以帮助优化成本和资源,以及帮助检测以后可能会发生的一些问题。前面我们学习使用了 Prometheus 来进行监控报警,但是如果我们使用 Loki 收集日志是否可以根据采集的日志来进行报警呢?答案是肯定的,而且有两种方式可以来实现:Promtail 中的 metrics 阶段和 Loki 的 ruler 组件。
56 天前 / 我是阳明
前面我们提到了 Loki 部署的单体模式和读写分离两种模式,当你的每天日志规模超过了 TB 的量级,那么可能我们就需要使用到微服务模式来部署 Loki 了。 微服务部署模式将 Loki 的组件实例化为不同的进程,每个进程都被调用并指定其目标,每个组件都会产生一个用于内部请求的 gRPC 服务器和一个用于外部 API 请求的 HTTP 服务。 ingesterdistributorquery-frontendquery-schedulerquerierindex-gatewayrulercompactor 将组件作为单独的微服务运行允许通过增加微服务的数量来进行扩展,定制的集群对各个组件具有更好的可观察性。
60 天前 / sjf0115
Loki 由多个微服务组件构建而成,可以作为一个可水平扩展的分布式系统运行,Loki 的独特设计可以将整个分布式系统的代码编译成单个二进制或 Docker 映像,单个二进制文件的行为由 -target 命令行标志控制。 单体模式最简单的操作模式是设置 -target=all,这是默认的方式,不需要指定,这就是单体模式,它以单个二进制文件或 Docker 映像的形式在单个进程中运行 Loki 的所有微服务组件。 单体模式对于快速开始使用 Loki 以及每天数据量约 100GB 的读写量非常有用。
75 天前 / reesunhuang
cLoki 是一个构建在 ClickHouse 之上的比较灵活的 Loki 兼容 LogQL API。 内置 Explore UI 和 LogQL CLI 用于查询和提取数据用于查询、处理、摄取、跟踪和报警的原生 Grafana 和 LogQL API 强大的管道,可从日志、事件等进行动态搜索、过滤和提取数据摄取和推送 API 与 LogQL、PromQL、InfluxDB、Elastic 等兼容可与 Promtail、Grafana-Agent、Vector、Logstash、Telegraf 等代理一起使用云原生、无状态的设计 Loki API 及其 Grafana 原生集成非常出色、简单易用 - 但我们更喜欢 ClickHouse。
105 天前 / sjf0115
URL:https://grafana.com/blog/2018/12/12/loki-prometheus-inspired-open-source-logging-for-cloud-natives/ 简介 Grafana Labs 简介 Grafana 是用于时序数据的事实上的仪表盘解决方案。它支持近百个数据源。Grafana Labs 想从一个仪表盘解决方案转变成一个可观察性 (observability) 平台,成为你需要对系统进行调试时的首选之地。 完整的可观察性可观察性。关于这意味着什么,有很多的定义。可观察性就是对你的系统以及它们的行为和表现的可见性。
327 天前 / sjf0115
- 背景 - 最近,在对公司容器云的日志方案进行设计的时候,发现主流的 ELK 或者 EFK 比较重,再加上现阶段对于 ES 复杂的搜索功能很多都用不上最终选择了 Grafana 开源的 Loki 日志系统,下面介绍下 Loki 的背景。 - 缘起 - 当我们的容器云运行的应用或者某个节点出现问题了,解决思路应该如下: 我们的监控使用的是基于 Prometheus 体系进行改造的,Prometheus 中比较重要的是 Metric 和 Alert,Metric 是来说明当前或者历史达到了某个值,Alert 设置 Metric 达到某个特定的基数触发了告警,但是这些信息明显是不够的。
340 天前 / u128287
背景 Loki 日志系统 2.1Loki 架构 2.2Loki 读写组件 2.3Loki 查询语法京东到家应用日志系统 3.1架构图 3.2日志接入 3.3实时日志 3.4历史日志 3.5技术难点 3.6配置文件总结及规划 1、背景随着业务的高速发展,目前基于 ELK 架构的日志系统无法满足京东到家的日志存储和查询需求。这是因为 ELK 架构中要用全文索引来支撑搜索服务,需要为日志的原文建立反向索引,这会导致最终存储数据相较原始内容成倍增长,产生较高的存储成本。
695 天前 / reesunhuang
正文共:1969 字 预计阅读时间:5 分钟 前段时间小白发了很多关于 Loki 的实践分享,有同学就问了,我该如何把现在运行在 kubernetes 上的容器日志接入到 Loki 里面呢?那么今天小白在这里就主要跟大家分享下 loki 跟 fluentd 结合的一些实践。 为什么是 FluentdFluentd 是一个由云原生基金会 (CNCF)管理的统一日志层数据收集器。它可以从多种数据源里采集、处理日志,并集中将它们存储到文件或者数据库当中。其主要的目的也是让你的基础设施能够实现统一的数据收集和分发,以便业务可以更好的使用和理解数据。
790 天前 / 小姐姐味道
原创:小姐姐味道(微信公众号 ID:xjjdog),欢迎分享,转载请保留出处。 前两天,我们安利了一个轻量级的日志收集工具 Loki。有多轻呢?假如她是个姑娘的话,我觉得是可以在手掌上跳舞的。你说她年轻?这不正是魅力所在么? 日志系统新贵 Loki,确实比笨重的 ELK 轻 对此不太熟悉的同学,可以先看这篇文章。可以看到,他是 grafana 家族的,界面支持上自然有保证。有了它,就不用在 grafana 和 kibana 之间来回切换了。 但是,事情并不是那么简单。作为一个日志收集工具,不可避免的要有 agent 收集端、日志存储端、日志展现端。