29 天前 / 九卷
“ 日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双 11 大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。 本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。 日志系统架构基准 有过项目开发经验的朋友都知道：从平台的最初搭建到实现核心业务，都需要有日志平台为各种业务保驾护航。
37 天前 / 鱼儿塘
openstack 中的日志由 oslo_log 统一实现，延续了 openstack 一贯的封装大法，以十分友好的方式将接口提供给各个组件使用。 context 中的 TLS 在 oslo_context 库的 context.log 入口定义了一个 TLS 线程变量 _request_store = threading.local()凡是引入该 context 的都会首先初始化这样一个变量 oslo_context 库提供一个接口供调用方更新自己的 contextoslo_context/context.log#RequestContext def update_store(self): """Store the context in the current thread.""" _request_store.context = self 同时提供这样一个接口获取当前的 context 实例 ...
42 天前 / 张张
日志实现框架 Log4jLog4j 是目前最为流行的 Java 日志框架之一，1999 年发布首个版本，2012 年发布最后一个版本，2015 年正式宣布终止，官方也已不建议使用，并逐步被 Logback 和 Log4j2 等日志框架所替代，可是无法掩饰光辉历程，以及优良的设计理念。尽管 Log4j 有着出色的历史战绩，但早已不是 Java 日志框架的最优选择，还在使用该日志框架的项目往往是历史遗留问题。 Log4j API 核心类： 日志对象：org.apache.log4j.Logger 日志级别：org.apache.log4j.Level 日志管理器：org.apache.log4j.LogManager 日志仓储：org.apache.log4j.spi.LoggerReposit...
45 天前 / 小姐姐味道
原创：小姐姐味道（微信公众号 ID：xjjdog），欢迎分享，转载请保留出处。 关于日志收集的文章，xjjdog 已经写了不少了，比如下面这八篇文章。今天主要介绍一下关于日志的划分。工具虽然有力，落地才能有效。 [1] 这么多监控组件，总有一款适合你 [2] elkb 实践经验，再赠送一套复杂的配置文件 [3] 昔日教人类用火的 prometheus，如今在努力报警 [4] 你的野花，朕的 kibana [5] 2w 字长文，让你瞬间拥有「调用链」开发经验 [6] 这一轮，skywalking 胜出 [7] 冷门 instrument 包，功能 d 炸天 [8] 微服务不是全部...
61 天前 / limall
打印端通过 Udp 协议来接收日志消息，方便移植到其它平台通过 Udp 接收消息的好处还有，不需要将调试设备连接到 mac 上，仅通过局域网便可打印日志可同时打印多个设备发送来的日志，可通过 logid 筛选各个设备的日志 logcat-swift 分为打印端和发送端两部分，打印端是一个单独的 app，它基于 electron 开发，通过 udp 协议接收发送端发来的 log 信息并分条理地打印出来；发送端是一些 swift 文件，将它们复制到你的 swift 项目中，调用其 api 将 log 信息发送给打印端打印。
97 天前 / 蚂蚁金服分布式架构SOFAStack
SOFAStack（Scalable Open Financial Architecture Stack）是蚂蚁金服自主研发的金融级云原生架构，包含了构建金融级云原生架构所需的各个组件，是在金融场景里锤炼出来的最佳实践。本文为《剖析 | SOFABoot 框架》第二篇，本篇作者盲僧，来自遨游酒店信息技术。《剖析 | SOFABoot 框架》系列由 SOFA 团队和源码爱好者们出品，项目代号：，文章尾部有参与方式，欢迎同样对源码热情的你加入。SOFABoot 是蚂蚁金服开源的基于 SpringBoot 的研发框架，提供了诸如 Readiness Check、类隔离、日志空间隔离等能力，用于快速、敏捷地开发 Spring 应用程序...
103 天前 / kafeidou
前言 logstash 是一个开源的日志统一处理数据收集器，属于 ELK 中的 L,在日志收集领域应用广泛。 docker 默认的日志驱动是 json-file,每一个容器都会在本地生成一个 /var/lib/docker/containers/containerID/containerID-json.log,而日志驱动是支持扩展的，本章主要讲解的是使用 logstash 收集 docker 日志。 docker 是没有 logstash 这个驱动的，但是可以通过 logstash 的 gelf input 插件收集 gelf 驱动的日志。 前提 docker 了解 logstash 配置 docker-compose 准备配置文件 docker-compose.yml version: '3.7' x-logging: &default-logging driver...
110 天前 / 虞大胆
点击上方蓝字关注我们！ 作者介绍 王竹峰，去哪儿网数据库专家，擅长数据库开发、数据库管理及维护，一直致力于 MySQL 数据库源码的研究与探索，对数据库原理及实现具有深刻的理解。曾就职于达梦数据库，多年从事数据库内核开发的工作，后转战人人网，任职高级数据库工程师，目前在去哪儿网负责 MySQL 源码研究与运维、数据库管理和自动化运维平台设计开发及实践工作，是 Inception 开源项目及《MySQL 运维内参》的作者，也是 Oracle MySQL ACE。
113 天前 / BeckJin～
.NET Core 提供了独立的日志模型，采用统一的 API 来完成日志的记录，支持各种内置日志记录器（如：Console、Debug、EventSource、EventLog、TraceSource 等 ）和第三方日志框架 （如：Log4Net[1]、NLog[2]、Loggr[3]、Serilog[4]、Sentry[5] 等），同时基于日志模型的扩展性，也可自定义更多的日志记录器。 三大核心对象 Loggerpublic interface ILogger{ IDisposable BeginScope(TState state); bool IsEnabled(LogLevel logLevel); void Log(LogLevel logLevel, EventId eventId, TState state, Exception exception, Func formatter);}Logger 是实现...
113 天前 / 鸡员外
各位新年快乐，过了个新年，休（hua）息（shui）了三周，不过我又回来更新了，经过前面四篇想必小伙伴已经了解日志的使用以及最佳实践了，这个系列的文章也差不多要结束了，今天我们来总结一下。 概览这篇文章我们讨论一下 SLF4j 的设计，以及 SLF4j 好在哪，之后进行一些答疑与前系列文章勘误，最最后我们来了解一下如何正确的分文件输出日志。 分析设计 SLF4j 并没有使用网上所谓的编译时绑定，实际上是采用了约定俗成的方式，如何做的？很简单，就是直接加载 org/slf4j/impl/StaticLoggerBinder.class，找到一个直接使用，没找到或者找到多个报警告...
126 天前 / 携程技术
作者简介 Gavin Zhu，携程软件技术专家，负责监控系统运维开发、ES 系统运维及 Clickhouse 技术应用推广及运维工作。 ElasticSearch 是一种基于 Lucene 的分布式全文搜索引擎，携程用 ES 处理日志，目前服务器规模 500+，日均日志接入量大约 200TB。随着日志量不断增加，一些问题逐渐暴露出来：一方面 ES 服务器越来越多，投入的成本越来越高；另一方面用户的满意度不高，日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户；而从运维人员的角度看，ES 的运维成本较高，运维的压力越来越大。
138 天前 / ThoughtWorks
摘要： 对于敏捷团队，安全卡应该提到比业务卡更高的优先级，同样需要放在backlog里面进行track，需要kick off、deskcheck，需要一个正经的流程或者仪式感强化成员的意识：安全卡和业务卡、Bug卡都是项目交付中的一等公民。 与“中国人愿意用隐私交换便利性”的心态完全不同，欧美国家在个人隐私保护方面明显走得更早也更远一些。在2018年5月GDPR发布前后的一段时间里，保护个人隐私相关的需求被迅速提高了优先级，而像我这样一个开发涉及欧美产品的普通程序员，日常工作也因此受到影响，我们放下手中的业务需求卡（Story）...
138 天前 / 鸡员外
本文是一个系列，欢迎关注更新 本文全篇高能，请做好心理准备后再食用，读完请记得点赞。 前言上一篇我们讨论了日志的性能以及日志的优缺点，有朋友说我没有干货，痛定思痛，决定来一篇干货，让小伙伴们见识一下员外真正的实力，讨论一下生产环境如何动态按一次请求、一个用户来调整日志级别，甚至输出独立文件。本文代码较多，建议读者运行一下。 设想一个需求：客服妹妹反馈有用户线上发现了BUG，你拿来日志分析，一个 200M 的日志文件看的头大，最后还是没找到有用的信息，你终于决定开启 DEBUG 日志，重启了项目，让用户再次操作一下...