2 天前 / zZhao
来这里找志同道合的小伙伴！ 引言 本文讲述如何去构建一个日志系统，用到了哪些技术？为什么用这些技术？遇到的问题及优化的过程，希望给大家在实践中提供一些参考。 这是一个有关于日志的项目，负责收集、处理、存储、查询京东卖家相关操作的日志，这里就叫它“卖家日志”。在日常的开发过程中，可能对日志这个词并不陌生，例如常接触到的Log4j、slf4j等等，这些日志工具通常用来记录代码运行的情况，当系统出问题时，可以通过查看日志及时的定位问题所在，从而很快的解决问题。 今天所讲的“卖家日志”，与普通的日志有些许的不......
32 天前 / 雷语
作者介绍 张永翔，现任网易云RDS开发，持续关注MySQL及数据库运维领域，擅长MySQL运维，知乎ID：雁南归。 MySQL 8.0中一个重要的新特性是对Redo Log子系统的重构，通过引入两个新的数据结构recent_written和recent_closed，移除了之前的两个热点锁：log_sys_t::mutex和log_sys_t::flush_order_mutex。 这种无锁化的重构使得不同的线程在写入redo_log_buffer时得以并行写入，但因此带来了log_buffer不再按LSN增长的顺序写入的问题，以及flush_list中的脏页不再严格保证LSN的递增顺序问题。 本文将介绍MySQL 8.0中对log_buffer......
35 天前 / 好学的阳明
上节课和大家介绍了 Kubernetes 集群中的几种日志收集方案，Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。 Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。 Elasticsearch 通常与 Kibana 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。 Fluentd是一个流行的开源......
44 天前 / 小米运维
本文主要从日志分类、分割日志和日志收集等几个方面介绍了和服务器日志有关的工具。 上篇文章回顾：阵列卡缓存电池充放电问题详解 对经常在服务器上面工作的人来说，日志的阅读和利用往往是非常重要的。偶尔出现了问题或解决之后，查看相关日志往往是定位问题原因的主要方法。因此，让我们来了解一下和服务器日志有关的工具。 1/var/log 下的日志分类首先来看看这个目录，下面存放大部分的系统日志，以下是比较常用的几个日志文件： /var/log/message ：核心系统日志文件，包含系统启动引导，系统运行状态和大部分错误信息等都会记录到......
50 天前 / u233940
说到 Java 虚拟机，不得不提的就是 Java 虚拟机的 GC（Garbage Collection）日志。而对于 GC 日志，我们不仅要学会看懂，而且要学会如何设置对应的 GC 日志参数。今天就让我们来学习一下 Java 虚拟机中所有与 GC 日志有关的参数。相信掌握了这些参数之后，对于大家线上打印 GC 日志是有不少帮助的。 为了能够更直观地显示出每个参数的作用，我们将以下面的 Demo 为例子去设置 GC 日志参数。 /** *@author陈树义 *@date2018.09.29 */ publicclassGCDemo{ publicstaticvoidmain(String[]args){ //allocate4Mspace byte[]b=newbyte[4*1024*......
52 天前 / 好学的阳明
前面的课程中和大家一起学习了 Kubernetes 集群中监控系统的搭建，除了对集群的监控报警之外，还有一项运维工作是非常重要的，那就是日志的收集。 介绍应用程序和系统日志可以帮助我们了解集群内部的运行情况，日志对于我们调试问题和监视集群情况也是非常有用的。而且大部分的应用都会有日志记录，对于传统的应用大部分都会写入到本地的日志文件之中。对于容器化应用程序来说则更简单，只需要将日志信息写入到 stdout 和 stderr 即可，容器默认情况下就会把这些日志输出到宿主机上的一个 JSON 文件之中，同样我们也可以通过 docker logs 或者 k......
75 天前 / 哈皮阿呆
介绍 近几年，互联网生成数据的速度不断递增，为了便于用户能够更快更精准的找到想要的内容，站内搜索或应用内搜索成了不可缺少了的功能之一。同时，企业积累的数据也再不断递增，对海量数据分析处理、可视化的需求也越来越高。 在这个领域里，开源项目ElasticSearch赢得了市场的关注，比如，去年Elastic公司与阿里云达成合作伙伴关系提供阿里云 Elasticsearch 的云服务、今年10月Elastic公司上市，今年11月举行了Elastic 中国开发者大会、目前各大云厂商几乎都提供基于Elasticsearch的云搜索服务，等等这些事件，都反映了Elasticsearch在企业的......
84 天前 / 唯技术
VDL简介 VDL(Vip Distributed Log)的定位是高吞吐、低延时的分布式日志存储，而多副本、强一致性是其关键特征。 这里的Log不是指syslog或者log4j产生的用于跟踪或者问题分析的应用程序日志。Log贯穿于互联网企业应用开发的方方面面，从DB的存储引擎、DB的复制、分布式一致性算法到消息系统，本质上都是Log的存储和分发。 外部应用通过Kafka协议来发送数据到VDL，VDL通过Raft协议来保证数据的强一致和高可靠。客户端通过Kafka协议来消费VDL中的数据。 VDL主要功能 ▲支持kafka协议生产和消费数据，对用户来说VDL就是一个kafka消息系统。 ......
88 天前 / Hollis
作为Java程序员，我想很多人都知道日志对于一个程序的重要性，尤其是Web应用。很多时候，日志可能是我们了解应用程序如何执行的唯一方式。 所以，日志在Java Web应用中至关重要，但是，很多人却以为日志输出只是一件简单的事情，所以会经常忽略和日志相关的问题。 在接下来的几篇文章中，我会来介绍介绍这个容易被大家忽视，但同时也容易导致故障的知识点。 Java语言之所以强大，就是因为他很成熟的生态体系。包括日志这一功能，就有很多成熟的开源框架可以被直接使用。 首先，我们先来看一下目前有哪些框架被广泛的使用。 常用日志框架j.u.l......
89 天前 / 37丫37
前边有两篇ELK的文章分别介绍了MySQL慢日志收集和Nginx访问日志收集，那么各种不同类型应用程序的日志该如何方便的进行收集呢？且看本文我们是如何高效处理这个问题的 日志规范规范的日志存放路径和输出格式将为我们后续的收集和分析带来极大的方便，无需考虑各种不同路径、格式的兼容问题，只需要针对固定几类日志做适配就可以了，具体的规范如下： 日志存放路径规范 项目日志只能输出到固定的位置，例如/data/logs/目录下 同一类型（例如java web）的日志文件名保持统一，例如都叫application.log 一个类型的项目可以记录多个不同的日志文件......
91 天前 / 蚂蚁金服移动开发平台mPaaS
1 前言 《支付宝客户端架构解析》系列将从支付宝客户端的架构设计方案入手，细分拆解客户端在“容器化框架设计”、“网络优化”、“性能启动优化”、“自动化日志收集”、“RPC 组件设计”、“移动应用监控、诊断、定位”等具体实现，带领大家进一步了解支付宝在客户端架构上的迭代与优化历程。 本节将结合禾兮在 OSChina 珠海站现场的分享《移动端分析方案在蚂蚁金服 mPaaS 中的实践》，介绍支付宝客户端自动化日志收集与分析的具体思路。内容将分成三个部分展开： 支付宝客户端分析方案的探索； MAS 移动分析框架浅析； mPaaS 技术......