3 天前 / 十三少
多任务切换，会造成极大的浪费。只有在单个任务上投入全部时间，才会产生最大绩效。 这个道理对于从事软件开发的程序员来说都是深有体会的。可它却很少被领导者们所理解。今天这里想再次说明下为什么软件开发人员总会抱怨多任务切换。 其实道理很简单，就是任务切换会造成极大的浪费。 如果一个程序员每周工作 40 小时，他把所有工作时间都用在一个项目上面，他可以产出 4000 单位的智力。而如果他被分派到两个并行开展项目上，当他从 A 项目的上下文切换到 B 项目，需要耗费一些工时和智力来了解 B 项目的状态，他需要找齐所有正确的 B 项目文件...
8 天前 / 莫若
对于 SQL 语句的执行来说，定位 B-TREE 索引中的一条记录，是个举足轻重的能力。 InnoDB 是基于索引组织数据的，更新、删除操作都需要先去索引中找到具体的记录。 插入操作也需要先找到记录要插入到索引的哪个位置。 查询语句的 WHERE 条件能够命中索引时，也需要先找到 WHERE 条件对应的扫描区间的第一条记录，然后从这条记录开始沿着索引页内记录之间的单向链表、索引页之间的双向链表依次读取后续的记录。 通过以上简短的介绍，定位 B-TREE 索引中的记录的重要性就显而易见了。 本文是 MySQL 8 的第一篇文章，也是查询优化器的开篇。
12 天前 / 数栈DTinsightu580540
点击上方蓝字关注我们 8 月 27 日，ChunJun 社区与 OceanBase 社区联合组织的开源线下 Meetup 成功举办，会上重磅发布了「OceanBase&ChunJun：构建一体化数据集成方案」。 这是 OceanBase&ChunJun 联合解决方案的首次发布，将针对分库分表的实时数据集成、跨集群 / 租户的数据集成、不同数据源的实时数据集成、日志类型数据的全增量一体化处理等诸多场景，提供高可靠数据集成解决方案。 下面为大家带来具体介绍，欢迎分享给更多的开发者和爱好者共同学习、探讨。
14 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文 10382 字 题图 ssyer.com “算是对个人过去比较长一段时间工作的总结吧，也算是对广告算法技术体系中一个垂直领域时代谢幕的祭奠。” 主体的内容很大一部分算是对笔者个人过去比较长一段时间的总结和回顾吧，只是行文逻辑可能更多会从技术领域的演化视角来展开，这部分内容基本上已经在 datafun 组织的“2022 年在线数据科学峰会”上分享过，所以也不存在技术不可言说的问题（并且很多素材是截图自当时分享的 PPT）。 咱，可以聊。
14 天前 / hyper0x
Datawhale 干货来源：AI 科技评论，编辑：数据派 THU 本文约 4100 字，建议阅读 7 分钟数据的设计、完善、评估三大步骤是关键。 在当前 AI 模型的开发以模型为中心转向以数据为中心的趋势下，数据的质量变得尤为重要。 在以往的 AI 开发流程中，数据集通常是固定的，开发工作的重点是迭代模型架构或训练过程来提高基准性能。而现在，数据迭代成为重心，因此我们需要更系统的方法来评估、筛选、清洗和注释用于训练和测试 AI 模型的数据。
19 天前 / 小渣
阅读本文大约需要 30 分钟。 今天我们来聊聊 Kafka 生产环境大家都比较关心的问题。 Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？ 只有掌握了这些， 我们才能处理好 Kafka 生产级的一些故障，从而更稳定地服务业务。 认真读完这篇文章，我相信你会对 Kafka 如何解决丢数据问题，有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 越来越多的互联网公司使用消息队列来支撑自己的核心业务。
20 天前 / 前端De早读课
前言 看思路和方法。今日前端早读课文章由 @ 百度商业前端团队分享，公号：百度 Geek 说授权。 正文从这开始～～ 在大部分场景中，前后端可以在开发前约定好数据接口，双方能够围绕约定并行地完成开发和自测 。然而在大型系统中一些后端模块有时并非直连前端，在它们之间可能包含一些其它模块的处理过程，为了保证数据真实有效，前端需要搭建整套环境来调试渲染效果，导致效率和研发体验不断劣化。本文主要介绍百度商业前端团队结合接口平台和数据直达能力优化前后端协作效率的尝试，有效的提升了团队协作效能。
27 天前 / 数据虫巢
作者·黄崇远 『数据虫巢』 全文共 9897 字 题图 ssyer.com “搜索这种东西，天然跟广告是相悖的，因为没有人是奔着搜索广告的内容而去的。所以在做搜索广告产品以及算法逻辑的时候，一边需要考虑用户搜索本身诉求的满足，一方面又得顾及到 Money，就会做得分外痛苦。而今天，我们的主题就是，如何在用户搜索得过程中，优雅地夹带私货’。这将是一个非常有趣，又充满挑战的话题。” 想要一边愉快的赚着钱，一边让用户“毫无察觉”，就必须深入“敌后”-- 了解搜索是怎么做的。
37 天前 / 冷星1024
大厂技术高级前端Node 进阶 点击上方程序员成长指北，关注公众号 回复 1，加入高级 Node 交流 英文 | https://medium.com/frontend-canteen/if-the-backend-api-returns-100-000-records-at-one-time-how-should-we-handle-it-in-the-frontend-fab21218fe2 最近，我的一位朋友在面试时被问到这个问题。这个问题其实是考察面试者对性能优化的理解，涉及的话题很多。下面我就和大家一起来分析一下这个问题。 创建服务器 为了方便后续测试，我们可以使用 node 创建一个简单的服务器。
39 天前 / 路强
RedKV 是小红书自研的一款基于 NVMeSSD 的分布式 NoSQL KV 存储系统，支持无中心和有中心的两种管控架构，旨在解决公司内实时落盘的 KV 存储需求。RedKV1.0 基于 Gossip 协议做节点管理，在全公司已经大规模使用，实时 QPS 接近 1 亿 / 秒，存储量在数 PB 级别。RedKV2.0 采用中心 Shard 管理架构，支持全球多云多副本在线弹性伸缩，异地容灾和服务秒级切换。 通过分层优化，RedKV 对比开源同类产品，聚合写吞吐能力平均提升 3 倍，读 1.5 倍；对标 HBase，成本优化近 40%。
44 天前 / 逗逗
点击上方卡片进入五分钟学大数据主页 然后点击右上角 “设为星标” 比别人更快接收好文章 一、背景在大数据时代，规范地进行数据资产管理已成为推动互联网、大数据、人工智能和实体经济深度融合的必要条件。贴近业务属性、兼顾研发各阶段要点的研发规范，可以切实提高研发效率，保障数据研发工作有条不紊地运作。而不完善的研发流程，会降低研发效率，增加成本与风险。 数据研发规范旨在为广大数据研发者、管理者提供规范化的研发流程指导方法，目的是简化、规范日常工作流程，提高工作效率，减少无效与冗余工作...
48 天前 / 路强
of code (and growing) and contains approximately 2,100 unique Go services (and growing). Uber 把 Golang( 简称 Go)作为开发微服务的主要编程语言。我们的 Go monorepo 仓库中大约包含了 5000 万行代码 ( 这个数量还在增长)，其中大约包含了 2100 个独立的 Go 服务 ( 这个数量同样也在增长)。 并发作为 Go 中的一等公民；在函数调用之前使用 go 关键字就会以异步的方式调用。这些异步函数调用在 Go 中被称为 goroutines。开发者通过创建 goroutines 来缩短延迟时间（比如在 IO 或 RPC 调用等场景）。
51 天前 / 訢亮
《持续交付 发布可靠软件的系统方法》读书笔记数据库脚本化与系统中其他变更一样，作为构建、部署、测试和发布过程的一部分，任何对数据库的修改都应该通过自动化过程来管理。也就是说，数据库的初始化和所有的迁移都需要脚本化，并提交到版本控制库中。无论是为开发人员创建一个新的本地数据库，还是为测试人员升级系统集成测试环境，或者作为发布过程的一部分迁移生产环境中的数据库，都应该能够使用这些脚本来管理交付流程中的每个数据库。当然，数据库的模式会随着应用程序不断演变。
52 天前 / 浪客书心
前言前段时间我踩过一个坑：在 mysql8 的一张 innodb 引擎的表中，加了唯一索引，但最后发现数据竟然还是重复了。 到底怎么回事呢？ 本文通过一次踩坑经历，聊聊唯一索引，一些有意思的知识点。 1.还原问题现场前段时间，为了防止商品组产生重复的数据，我专门加了一张防重表。 如果大家对防重表，比较感兴趣，可以看看我的另一篇文章 《高并发下如何防重？》，里面有详细的介绍。 问题就出在商品组的防重表上。 具体表结构如下： CREATETABLE`product_group_unique`( `id`bigintNOTNULL, `category_id`bigintNOTNULL, `unit_id`bigintNOTNULL, `model_ha...
53 天前 / 携程技术
作者简介 妙成，携程云原生研发工程师，主要从事 Elasticsearch、JuiceFS 的研发运维，关注分布式数据库、NoSQL。 小峰， 携程云原生研发工程师，主要专注于数据库容器化领域，对分布式存储有浓厚兴趣。 一、摘要 携程的冷数据规模在 10PB+，包括备份数据、图片语音训练数据和日志数据等，存储方案主要是本地磁盘和 GlusterFS。在实际使用中这些方案遇到了不少痛点： GlusterFS 在单目录下文件众多时，ls 命令速度很慢； 受疫情期间机器采购周期的制约，无法灵活地根据实际需求弹性扩缩容，存储成本控制困难； 磁盘损坏等故障带来的机器替换和扩缩容操作...