14 小时前 / xF0rk
ox01 Web日志Web访问日志记录了Web服务器接收处理请求及运行时错误等各种原始信息。通过对WEB日志进行的安全分析，不仅可以帮助我们定位攻击者，还可以帮助我们还原攻击路径，找到网站存在的安全漏洞并进行修复。 我们来看一条Apache的访问日志： 127.0.0.1 - - [11/Jun/2018:12:47:22 +0800] "GET /login.html HTTP/1.1" 200 786 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"通过这条Web访问日志，我们可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么......
3 天前 / xF0rk
背景前段时间，接入了公司部分日志流量，大约每分钟30万的请求日志。计划做一个恶意URL检测的系统，分2个阶段： 第一阶段：基于黑规则检测 第二阶段：基于机器学习检测 期间参考过很多文章，大部分都在讨论怎么去发现恶意请求，这无可厚非。但是实际环境中恶意请求的占比又是多少呢？观察我们的日志发现90%的请求都是正常请求，其中一些请求非常明显(一看就是没问题那种),例如： /1/api/new_gamesv=0.06540659188776337 /5tBARviOXjSbscQH9AzRiw==/109951164132869215.jpgparam=36y36 /Active_Page/js/vue.min.js /api.phpformat=json&t=1 ......
6 天前 / 让我思考一下
一、基本思路日志库的设计，抓住最核心的一条，就是日志从产生到到达最终目的地期间的处理流程。一般而言，为了设计一个灵活可扩展，可配置的日志库，可将日志库抽象为4个部分：记录器、过滤器、格式化器、输出器四部分。 组成描述记录器负责产生日志记录的原始信息，比如（原始信息，日志等级，时间，记录的位置）等信息过滤器负责按指定的过滤条件过滤掉我们不需要的日志（比如按日志等级过滤）格式化器负责对原始日志信息按照我们想要的格式去格式化输出器负责将将要进行记录的日志（一般经过过滤器及格式化器的处理后）记录到日志目的地（例如......
7 天前 / xF0rk
常见的数据库攻击包括弱口令、SQL注入、提升权限、窃取备份等。对数据库日志进行分析，可以发现攻击行为，进一步还原攻击场景及追溯攻击源。 0x01 Mysql日志分析general query log能记录成功连接和每次执行的查询，我们可以将它用作安全布防的一部分，为故障分析或黑客事件后的调查提供依据。 1、查看log配置信息 show variables like '%general%';2、开启日志 SET GLOBAL general_log = 'On';3、指定日志文件路径 SET GLOBAL general_log_file = '/var/lib/mysql/mysql.log';比如，当我访问 /test.phpid=1，此时我们得到这样的日志： 190604......
25 天前 / 蚂蚁金服移动开发平台mPaaS
作者：曲仁军（骁然），蚂蚁金服技术专家。本文将聚焦支付宝在移动端如何构建日志自动化采集和分析能力，从而通过“数据采集、计算、分析、决策”完成针对业务性能的监控与用户行为分析。 现场视频（复制地址到浏览器中打开）： http://t.cn/AiKXsaob 0 背景 结合《蚂蚁金服面对亿级并发场景的组件体系设计》，我们能够通盘了解支付宝移动端基础组件体系的构建之路和背后的思考。本文基于服务端组件体系的基础，着重探讨“自动化日志收集与分析”在支付宝 App 内的演进之路。 1 支付宝移动端技术服务框架 这是整个支付宝移动端无线基础团......
32 天前 / 人人贷大前端技术中心
首发于大前端博客园写文章nodejs 日志规范人人贷大前端技术中心人人贷大前端团队14 人赞同了该文章nodejs 日志规范一般前端开发同学，对日志其实不太敏感，毕竟前端大多数情况下，不太关心日志。即使有，也可能调用一些第三方的统计，比如百度统计或者别的等。在 Node.js(下文中简称node) 推进过程中，也发现我们平常打日志太随意，该打的日志没有打，打的一些关键日志缺少必要上下文信息，导致在线上定位问题的时候很困难。 本文主要梳理了目前我们团队在nodejs开发中日志方面存在的问题，以及通过统一日志规范，希望达到什么样的效果。 问题nod......
41 天前 / wsgzao
前言iptables作为经典的软件防火墙大家已经很熟悉了，不过各位应该比较少会使用到log日志记录保存的功能。这次因为Ngnix stream模块的编译和获取realip(ngx_http_realip_module / ngx_stream_realip_module)的方案改动成本过高，退而求其次的方式是通过iptables做转发，需要解决的问题就是如何保存日志和按时间rotate。原本计划使用Filebeat直接接入EFK但因为某些原因暂时搁浅了，最后选择比较简单的rsyslog在本地服务器上做处理。 使用rsyslog单独保存iptables log日志实践 更新历史2019年05月09日 - 初稿 阅读原文 - https://wsgzao.github.io......
52 天前 / AIOps智能运维
作者简介 董涵 百度资深研发工程师 负责百度智能运维（Noah）服务管理和分布式监控架构研发工作，在分布式系统和大规模数据处理、可用性工程方向有广泛的实践经验。 干货概览 对于互联网行业来说，最有价值的数据往往蕴含在服务的日志之中。从日志中，我们不仅仅可以获取到服务的使用量、服务效果、问题定位信息等，还可以通过监控系统及时地识别出服务的”健康”状态，规避风险，推动服务优化升级。 在监控系统中，日志处理就是采集服务运行时生成的原始日志，根据用户配置的解析规则，从中提取可用数据，形成监控指标的过程，这个......
54 天前 / 公众号_小哈学Java
其实，小哈在之前就出过一篇关于如何使用 AOP 切面统一打印请求日志的文章，那为什么还要再出一篇呢？没东西写了？ 哈哈，当然不是！原因是当时的实现方案还是存在缺陷的，原因如下： 不够灵活，由于是以所有 Controller 方法中的方法为切面，也就是说切死了，如果说我们不想让某个接口打印出入参日志，就办不到了； Controller包层级过深时，导致很多包下的接口切不到； 今天主要说说如何通过自定义注解的方式，在 Spring Boot 中来实现 AOP 切面统一打印出入参日志。小伙伴们可以收藏一波。 废话不多说，进入正题 ！ 目录一、先看看切面......
63 天前 / 深夜里的程序猿
前言 关于日志，在大家的印象中都是比较简单的，只须引入了相关依赖包，剩下的事情就是在项目中“尽情”的打印我们需要的信息了。但是往往越简单的东西越容易让我们忽视，从而导致一些不该有的bug发生，作为一名严谨的程序员，怎么能让这种事情发生呢？所以下面我们就来了解一下关于日志的那些正确使用姿势。 正文 日志规范 命名 首先是日志文件的命名，尽量要做到见名知意，团队里面也必须使用统一的命名规范，不然“脏乱差”的日志文件会影响大家排查问题的效率。这里推荐以“projectName_logName_logType.log”来命名，这......
79 天前 / u128287
作者简介 赵朋川 百度高级研发工程师 负责百度智能运维产品（Noah）数据采集Agent程序的设计研发工作，在运维数据采集方向有着丰富的实践经验。 干货概览 前期文章《监控数据从哪来？（入门篇）》介绍采集程序的架构和不同场景下数据的采集方式。本文我们将针对日志监控，介绍一下多维度数据采集方面的思考和实践。 多维度数据 多维度数据目前已经成为大数据分析和处理领域的基本模型，与维度打平的单维度数据相比，多维度数据具有监控配置管理简单、处理灵活、快速的优点，多维度数据监控在百度智能运维平台中具有广泛的应用。......
96 天前 / 张张
日志为什么需要日志？什么是日志？ 日志是用于记录系统的关键信息，帮助我们及时、全面的了解系统运行的轨迹、状态等信息，从而让我们可以更好的掌控系统： 在系统出现问题时，能够快速、准确的定位出问题；通过日志发现系统存在的潜在问题，及时有效解决避免问题的出现；生产环境下，采集业务数据进行整理分析，了解各种业务的数据量、数据特点等消息，接口是否出现性能瓶颈等，为系统下一步的开发设计、重构优化等提供有效的数据支撑；项目开发阶段，我们可以依赖IDE开发工具的Debug调试功能追踪解决Bug，但是项目发布到测试、生产环境就不允许......