18 天前 / 路强
本文读完需 3 分钟，速读仅需 1 分钟。 前言阿星在前面两篇文章都详细聊过 redo log 与 binlog，有兴趣的朋友可以去看看前面两篇文章： 聊聊 redo log 是什么？你必须知道的 binlog 日志今天就来聊聊 InnoDB 是如何保证 redo log 与 binlog 两份日志之间的逻辑一致。 两阶段提交 redo log（重做日志）让 InnoDB 存储引擎拥有了崩溃恢复能力。 binlog（归档日志）保证了 MySQL 集群架构的数据一致性。 虽然它们都属于持久化的保证，但是则重点不同。
24 天前 / hyper0x
个人认为理解并掌握这个 logistic regression 是学习神经网络和深度学习最重要的部分，也是最基础的部分，学完这个再去看浅层神经网络、深层神经网络，会发现后者就是 logistic 重复了若干次（当然一些细节会有不同，但是原理上一模一样）。 一、什么是 logictic regression？下面的图是 Andrew Ng 提供的一个用 logistic regression 来识别主子的图片的算法结构示意图： 左边的 x0 到 x12287 是输入（input），我们称之为特征（feature），常常用列向量 x(i)来表示（这里的 i 代表第 i 个训练样本，下面在只讨论一个样本的时候，就暂时省略这个标记...
37 天前 / yybbb
2022 年 6 月 29 日，阿里云 iLogtail 开源后迎来首次重大更新，正式发布完整功能的 iLogtail 社区版。本次更新开源全部 C++ 核心代码，该版本在内核能力上首次对齐企业版，开发者可以构建出与企业版性能相当的 iLogtail 云原生可观测性数据采集器。本次发布新增日志文件采集、容器文件采集、无锁化事件处理、多租户隔离、基于 Pipeline 的新版配置方式等诸多重要特性，全面增强社区版的易用性和性能，欢迎广大开发者关注、共建。可观测性数据采集挑战 可观测性是通过检查其输出来衡量系统内部状态的能。
57 天前 / reesunhuang
全文建立在 MySQL 的存储引擎为 InnoDB 的基础上 先看一条 SQL 如何入库的： 这是一条很简单的更新 SQL，从 MySQL 服务端接收到 SQL 到落盘，先后经过了 MySQL Server 层和 InnoDB 存储引擎。 Server 层就像一个产品经理，分析客户的需求，并给出实现需求的方案。 InnoDB 就像一个基层程序员，实现产品经理给出的具体方案。 在 MySQL”分析需求，实现方案“的过程中，还夹杂着内存操作和磁盘操作，以及记录各种日志。 他们到底有什么用处？他们之间到底怎么配合的？MySQL 又为什么要分层呢？InnoDB 里面的那一块 Buffer Pool 又是什么？ 我们慢慢分析。
161 天前 / u561252
近日，由网易和中国工商银行联合发起的云原生日志系统 Loggie 项目（github.com/loggie-io/loggie/）正式开源。这是网易数帆向云原生日志痛点发起的一次冲锋，也是团队联合合作伙伴践行“架构开放，内核开源”技术理念、把控制权交给客户的又一行动。 Loggie 项目：破解云原生日志之痛 企业数字化转型浪潮中，采用云原生技术解决数字化软件研发、运维新挑战已成主流选择，然而在云原生环境下，容器大规模及频繁动态迁移、日志存储多样性、Kubernetes 元信息查询等特点，迫使日志管理方式发生变化。
170 天前 / HueiFeng
前言 Relay log 类似 binary log，是指一组包含数据库变更事件的文件，加上相关的 index 和 mata 文件，具体细节参考官方文档。在 DM 中针对某个上游开启 relay log 后，相比不开启，有如下优势：不开启 relay log 时，每个 subtask 都会连接上游数据库拉取 binlog 数据，会对上游数据库造成较大压力，而开启后，只需创建一个连接拉取 binlog 数据到本地，各个 subtask 可读取本地的 relay log 数据。 上游数据库对 binlog 一般会有一个失效时间，或者会主动 purge binlog，以清理空间。
172 天前 / 简
前言最近写一个项目，用到了 Flask-Login 实现用户登录状态。项目最后需要编写测试用例，但是测试代码卡在确认用户登录状态的部分就写不下去了，研究了好久才找到原因，分享一下 pytest 测试 Flask 应用上的一个坑儿。 一个最基础的例子为了演示这个问题，我写了一个小型应用，全部代码可以从 dongweiming/mp 获取。 这里只列出部分核心代码。首先是测试部分代码： from app import db, User def test_user_info(client): response = client.get('/api/user/info') assert response.json == {} def test_login(client): db.session.add(User(n...
205 天前 / 趣编程
一 前言 前段时间，iLogtail[1]阿里千万实例可观测采集器开源，其中介绍了 iLogtail 采集性能可以达到单核 100MB/s，相比开源采集 Agent 有 5-10 倍性能优势。很多小伙伴好奇 iLogtail 具体的性能数据和资源消耗如何，本文将针对目前业界使用度较高且性能相对较优的 Agent FileBeat 进行对比，测试这两个 Agent 在不同压力场景下的表现如何。 二 测试试验描述 随着 Kubernetes 普及，Kubernetes 下的日志收集的需求也日益常态化...
662 天前 / 阿斯兰
每天早上七点三十，准时推送干货 一、摘要不管是使用何种编程语言，何种框架，日志输出几乎无处不再，也是任何商业软件中必不可少的一部分。 总结起来，日志的用途大致可以归纳成以下三种： 问题追踪：通过日志不仅仅包括我们程序的一些 bug，也可以在安装配置时，通过日志可以发现问题。状态监控：通过实时分析日志，可以监控系统的运行状态，做到早发现问题、早处理问题。安全审计：审计主要体现在安全上，通过对日志进行分析，可以发现是否存在非授权的操作。
841 天前 / 鱼儿塘
openstack 中的日志由 oslo_log 统一实现，延续了 openstack 一贯的封装大法，以十分友好的方式将接口提供给各个组件使用。 context 中的 TLS 在 oslo_context 库的 context.log 入口定义了一个 TLS 线程变量 _request_store = threading.local()凡是引入该 context 的都会首先初始化这样一个变量 oslo_context 库提供一个接口供调用方更新自己的 contextoslo_context/context.log#RequestContext def update_store(self): """Store the context in the current thread.""" _request_store.context = self 同时提供这样一个接口获取当前的 context 实例 ...
1151 天前 / 秦小风啊
Crash LogCrash Log的主要来源有两种： Apple提供的，可以从用户设备中直接拷贝，或者从iTunes Connect（XCode）下载 三方或者自研Framework统计，三方服务包括Fabric，Bugly等。 这篇文章讲到的Crash Log是Apple提供的。 获取设备获取USB连接设备，接着在XCode菜单栏依次选择：Window -> Devices And Simulators，接着选择View Device Logs 然后，等待XCode拷贝Crash Log，在右上角可以通过App的名字搜索，比如这里我搜索的是微信，可以右键导出Crash Log到本地来分析： 在查看Crash Log的时候，XCode会自动尝试Symboliate...
1191 天前 / wsgzao
前言iptables作为经典的软件防火墙大家已经很熟悉了，不过各位应该比较少会使用到log日志记录保存的功能。这次因为Ngnix stream模块的编译和获取realip(ngx_http_realip_module / ngx_stream_realip_module)的方案改动成本过高，退而求其次的方式是通过iptables做转发，需要解决的问题就是如何保存日志和按时间rotate。原本计划使用Filebeat直接接入EFK但因为某些原因暂时搁浅了，最后选择比较简单的rsyslog在本地服务器上做处理。
1555 天前 / 務急不僅
代码差异（diff）可以告知改动的内容，但只有提交信息才能正确地告诉你为什么（why）。Git仓库的贡献者知道，和后续开发者（事实上未来就是他们自己）沟通一个改动的上下文（context），最好方法就是通过一个好的 git 提交信息。如果你对如何写好 git 提交信息没有仔细想过，那你很可能没有怎么使用过 git log 和相关工具。
1602 天前 / mr7
作者：祝欣鸿，任职Java工程师，负责新达达账户系统的研发工作，对工程规范、代码质量有深入理解。 工程师在日常开发工作中，更多的编码都是基于现有系统来进行版本迭代。在软件生命周期中，工程维护的比重也往往过半。当我们维护的系统出现问题时，第一时间想到的是查看日志来判断问题原因，这时候日志记录如果没有提供有效的信息，我们能做的只有深度 Code Review...