5 天前 / zZhao
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。需求：（1）按照某些特定检索条件查询日志；（2）通过前台Web页面查询并显示相关日志信息；（3）检索需求包含用户，时间段区间，类型等特定字段； 希望做到：（1）查询速度尽可能快；（2）支持分页查询； 目前方案：日志信息存储在Oracle中，根据日期对Oracle做了分区处理，每天生成一个分区表，每个分区表中的数据总量大概在1000W左右。在相关查询字段例如用户，类型上建立索引，来满足不同维度的查询需求。潜在问题：跨分区的查询，求记录总数（计算分页时的查询），耗时要3-......
11 天前 / 蚂蚁金服分布式架构SOFAStack
SOFAStack（Scalable Open Financial Architecture Stack）是蚂蚁金服自主研发的金融级分布式架构，包含了构建金融级云原生架构所需的各个组件，是在金融场景里锤炼出来的最佳实践。
SOFAJRaft 是一个基于 Raft 一致性算法的生产级高性能 Java 实现，支持 MULTI-RAFT-GROUP，适用于高负载低延迟的场景。本文为《剖析 | SOFAJRaft 实现原理》第六篇，本篇作者徐家锋，来自专伟信息，力鲲，来自蚂蚁金服。《剖析 | SOFAJRaft 实现原理》系列由 SOFA 团队和源码爱好者们出品，项目代号：
26 天前 / 戚银
我们业务每天需要记录大量的日志数据，且这些数据十分重要，它们是公司收入结算的主要依据，也是数据分析部门主要得数据源，针对这么重要的日志，且高频率的日志，我们需要一个高性能且安全的日志组件，能保证每行日志格式完整性，我们设计了一个类 csv 的日志拼接组件，它的代码在这里 datalog。 它是一个可以保证日志各列完整性且高效拼接字段的组件，支持任意列和行分隔符，而且还支持数组字段，可是实现一对多的日志需求，不用记录多个日志，也不用记录多行。它响应一个 []byte 数据，方便结合其它主键写入数据到日志文件或者网络中。 使用说......
28 天前 / 新亮笔记
概述上篇文章分享了 Gin 框架的路由配置，这篇文章分享日志记录。 查了很多资料，Go 的日志记录用的最多的还是 github.com/sirupsen/logrus。 Logrus is a structured logger for Go (golang), completely API compatible with the standard library logger. Gin 框架的日志默认只会在控制台输出，咱们利用 Logrus 封装一个中间件，将日志记录到文件中。 这篇文章就是学习和使用 Logrus 。 日志格式比如，我们约定日志格式为 Text，包含字段如下： 请求时间、 日志级别、 状态码、 执行时间、 请求IP、 请求方式、 请求路由。 ......
35 天前 / 一猿小讲
上面蓝色“一猿小讲”点击加关注 觉得好看，记得再设置“星标”哦 【这是一猿小讲的第 30篇原创分享】 关注“一猿小讲”公众号的粉丝都清楚，在《傻瓜也能玩转日志归集》一文中，分享过一个业界使用成熟的日志归集方案 EFK。而今天，咱们再谈日志归集，但是今天的分享，却不再傻瓜般的 EFK，而是一款可定制开发的日志归集工具 Flume。 请准备好小板凳，我们的故事开始。 01. 缘起 9012 年 4 月 1 日，为了庆祝上次 EFK 日志归集，在生产投入使用，BOSS 召集大家开个庆功会。 大家都面带微笑的走进会......
56 天前 / xF0rk
ox01 Web日志Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析，不仅可以帮助我们定位攻击者，还可以帮助我们还原攻击路径，找到网站存在的安全漏洞并进行修复。 我们来看一条Apache的访问日志： 127.0.0.1 - - [11/Jun/2018:12:47:22 +0800] "GET /login.html HTTP/1.1" 200 786 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"通过这条Web访问日志，我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么......
58 天前 / xF0rk
背景前段时间，接入了公司部分日志流量，大约每分钟30万的请求日志。计划做一个恶意URL检测的系统，分2个阶段： 第一阶段：基于黑规则检测 第二阶段：基于机器学习检测 期间参考过很多文章，大部分都在讨论怎么去发现恶意请求，这无可厚非。但是实际环境中恶意请求的占比又是多少呢？观察我们的日志发现90%的请求都是正常请求，其中一些请求非常明显(一看就是没问题那种),例如： /1/api/new_gamesv=0.06540659188776337 /5tBARviOXjSbscQH9AzRiw==/109951164132869215.jpgparam=36y36 /Active_Page/js/vue.min.js /api.phpformat=json&t=1 ......
61 天前 / 让我思考一下
一、基本思路日志库的设计，抓住最核心的一条，就是日志从产生到到达最终目的地期间的处理流程。一般而言，为了设计一个灵活可扩展，可配置的日志库，可将日志库抽象为4个部分：记录器、过滤器、格式化器、输出器四部分。 组成描述记录器负责产生日志记录的原始信息，比如（原始信息，日志等级，时间，记录的位置）等信息过滤器负责按指定的过滤条件过滤掉我们不需要的日志（比如按日志等级过滤）格式化器负责对原始日志信息按照我们想要的格式去格式化输出器负责将将要进行记录的日志（一般经过过滤器及格式化器的处理后）记录到日志目的地（例如......
62 天前 / xF0rk
常见的数据库攻击包括弱口令、SQL注入、提升权限、窃取备份等。对数据库日志进行分析，可以发现攻击行为，进一步还原攻击场景及追溯攻击源。 0x01 Mysql日志分析general query log能记录成功连接和每次执行的查询，我们可以将它用作安全布防的一部分，为故障分析或黑客事件后的调查提供依据。 1、查看log配置信息 show variables like '%general%';2、开启日志 SET GLOBAL general_log = 'On';3、指定日志文件路径 SET GLOBAL general_log_file = '/var/lib/mysql/mysql.log';比如，当我访问 /test.phpid=1，此时我们得到这样的日志： 190604......
80 天前 / 蚂蚁金服移动开发平台mPaaS
作者：曲仁军（骁然），蚂蚁金服技术专家。本文将聚焦支付宝在移动端如何构建日志自动化采集和分析能力，从而通过“数据采集、计算、分析、决策”完成针对业务性能的监控与用户行为分析。 现场视频（复制地址到浏览器中打开）： http://t.cn/AiKXsaob 0 背景 结合《蚂蚁金服面对亿级并发场景的组件体系设计》，我们能够通盘了解支付宝移动端基础组件体系的构建之路和背后的思考。本文基于服务端组件体系的基础，着重探讨“自动化日志收集与分析”在支付宝 App 内的演进之路。 1 支付宝移动端技术服务框架 这是整个支付宝移动端无线基础团......
87 天前 / 人人贷大前端技术中心
首发于大前端博客园写文章nodejs 日志规范人人贷大前端技术中心人人贷大前端团队14 人赞同了该文章nodejs 日志规范一般前端开发同学，对日志其实不太敏感，毕竟前端大多数情况下，不太关心日志。即使有，也可能调用一些第三方的统计，比如百度统计或者别的等。在 Node.js(下文中简称node) 推进过程中，也发现我们平常打日志太随意，该打的日志没有打，打的一些关键日志缺少必要上下文信息，导致在线上定位问题的时候很困难。 本文主要梳理了目前我们团队在nodejs开发中日志方面存在的问题，以及通过统一日志规范，希望达到什么样的效果。 问题nod......
96 天前 / wsgzao
前言iptables作为经典的软件防火墙大家已经很熟悉了，不过各位应该比较少会使用到log日志记录保存的功能。这次因为Ngnix stream模块的编译和获取realip(ngx_http_realip_module / ngx_stream_realip_module)的方案改动成本过高，退而求其次的方式是通过iptables做转发，需要解决的问题就是如何保存日志和按时间rotate。原本计划使用Filebeat直接接入EFK但因为某些原因暂时搁浅了，最后选择比较简单的rsyslog在本地服务器上做处理。 使用rsyslog单独保存iptables log日志实践 更新历史2019年05月09日 - 初稿 阅读原文 - https://wsgzao.github.io......