23 小时前 / 逗逗
阅读本文大约需要 30 分钟。 那么 Kafka 到底会不会丢数据呢？如果丢数据，究竟该怎么解决呢？ 只有掌握了这些， 我们才能处理好 Kafka 生产级的一些故障，从而更稳定地服务业务。 认真读完这篇文章，我相信你会对 Kafka 如何解决丢数据问题，有更加深刻的理解。 这篇文章干货很多，希望你可以耐心读完。 01 总体概述 越来越多的互联网公司使用消息队列来支撑自己的核心业务。由于是核心业务，一般都会要求消息传递过程中最大限度的做到不丢失，如果中间环节出现数据丢失，就会引来用户的投诉，年底绩效就要背锅了。
1 天前 / sjf0115
背景“大数据”这个概念逐渐深入人心，很多公司都面临的着： 工具和平台的数量爆炸式增长 越来越多的人开始使用数据、应用数据 对于一个大企业而言，每个子公司 / 部门可能都有着属于自己的数据团队 总的来说，就是“大数据”中的“大”不仅仅是数据量大，也指的是数据种类多、数据来源复杂，不同的数据被各式各样的人使用。如何发现数据，确定数据的来龙去脉就成了一个急迫的问题。 OpenLineage 应运而生。 介绍 OpenLineageOpenLineage 可以翻译成开源血缘。
11 天前 / EMQ
反馈 2022-06-16 简介 ThingsBoard 是用于数据收集、处理、可视化和设备管理的开源物联网平台。它支持通过 MQTT、CoAP 和 HTTP 等协议实现设备连接，并支持云和私有部署。使用丰富的服务器端 API，以安全的方式提供、监测和控制您的物联网实体，定义您的设备、资产、客户或任何其他实体之间的关系。以可扩展和容错的方式收集和存储遥测数据，用内置或定制的部件和灵活的仪表盘来可视化您的数据，并且可以和您的客户共享 Dashboard 界面。
12 天前 / 逗逗
“阿里 One Data，值得我们好好学习。” 想必做数据的同学对 One Data 都有所耳闻。但 One Data 体系具体包含了内容、有怎样的应用，不知道大家是否了解？今天我们详细分享一下 One Data 体系中关于数据治理（指标体系可参考历史文章《从余额宝角度看指标体系的搭建》）相关的内容。 01 — One Data 整体概述 首先，我们看看 One Data 的整体概况。 （1）关于定位 One Data 是阿里系进行数据指标规范定义的规则、工作流及元数据管理系统（关于元数据可以参考历史文章）。
25 天前 / BloomingRose
文章来源：https://c1n.cn/EmgJv 目录前言 初版设计方案 CK 分页查询 使用 ES Scroll Scan 优化深翻页 ES+Hbase 组合查询方案 RediSearch+RedisJSON 优化方案 总结 前言 在开发中遇到一个业务诉求，需要在千万量级的底池数据中筛选出不超过 10W 的数据，并根据配置的权重规则进行排序、打散（如同一个类目下的商品数据不能连续出现 3 次）。下面对该业务诉求的实现，设计思路和方案优化进行介绍。 对“千万量级数据中查询 10W 量级的数据”设计了如下方案： 多线程 +CK 翻页方案 ES scroll scan 深翻页方案 ES+Hbase 组合方案 RediSearch+RedisJSON 组合方...
28 天前 / u561252
为了调试方便，这里我们将 VictorialMetrics 代码使用 Goland 打开。每个组件的入口位于 app//main.go，比如 vmstorage 组件的入口位于 app/vmstorage/main.go： 为了对 VM 整个流畅分析，我们可以直接在 IDE 中来启动这些组件。 直接在 vmstorage 入口的 main 函数上点击 Run 'go build main.go' 即可启动该组件： 通过日志记录可以看出 vmstorage 会在 8401 端口监听 vmselect 的连接请求，在 8400 端口监听 vminsert 的连接请求，其本身的服务会通过 8482 端口进行暴露。
33 天前 / 数栈DTinsightu580540
导读： 5 月 19 日，袋鼠云袋鼠云数栈资深产品专家羽薇为大家带来【数智赋能实六讲】02 期直播「数据指标体系如何搭建才最有效，从 0 到 1 带你快速入门」的分享，我们将直播精华部分做了整理，带大家再次回顾内容，快速上手构建标签体系。 你能看到 指标管理背景介绍 指标体系建设方法论 指标体系案例解析 直播课件 & 视频回放： 添加文末直播助手小栈，免费获取课件 + 课程回放 演讲 / 羽薇 整理 / 花夏 指标管理背景介绍 大数据时代数字化转型背景下，企业所需要的往往不单单是数据，而是数据背后映射的业务洞察...
33 天前 / 逗逗
每天早上七点三十，准时推送干货 一、简介 Elasticsearch（简称 ES）是一个基于 Apache Lucene的开源搜索引擎，无论在开源还是专有领域，Lucene 可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。 对于初次接触 Elasticsearch，不禁会发出一个疑问，Elasticsearch 是干啥的？ 官方的解释如下：Elasticsearch（简称 ES）是一个基于 Apache Lucene 的开源搜索引擎，它提供了一个基于 RESTful web 接口的分布式多用户能力的全文搜索引擎，能够达到实时搜索、稳定、可靠、快速、安装使用方便等特点。
33 天前 / 冷星1024
Sequelize 是一个基于 promise 的 Node.js ORM, 目前支持 Postgres, MySQL, MariaDB, SQLite 以及 Microsoft SQL Server. 它具有强大的事务支持， 关联关系， 预读和延迟加载，读取复制等功能。 一、前言本文希望通过下面的知识讲解及一些实战经验分享，给予即将入门或正在学习的同学一些帮助。 在之前刚接触 Sequelize 的时候，遇到挺多问题，比如数据的聚合统计应该怎么做？复杂的排序规则应该怎么写？索引这块应该如何定义？性能如何衡量？等等这些问题，后来经过自己的琢磨及与后台人员交流探讨，这些问题都得予解决。
37 天前 / sjf0115
在《Redis 数据缓存满了怎么办？》我们知道 Redis 缓存满了之后能通过淘汰策略删除数据腾出空间给新数据。 淘汰策略如下所示： redis 内存淘汰设置过期时间的 key volatile-ttl、volatile-random、volatile-lru、volatile-lfu 这四种策略淘汰的数据范围是设置了过期时间的数据。 所有的 key allkeys-lru、allkeys-random、allkeys-lfu 这三种淘汰策略无论这些键值对是否设置了过期时间，当内存不足都会进行淘汰。 这就意味着，即使它的过期时间还没到，也会被删除。当然，如果已经过了过期时间，即使没有被淘汰策略选中，也会被删除。
42 天前 / BloomingRose
最近小伙伴在讨论单体到微服务架构中数据这块如何演进，相信这篇能给大家带来启发。 来源：SphereEx 链接：https://segmentfault.com/a/1190000041107436 京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付，已经成为一大批用户的消费习惯，更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台，京东白条的后台技术团队更是不容忽视的存在。而其也正是支撑京东白条自 2014 年初上线伊始，至今服务数亿用户的最终根源所在。
46 天前 / 进击吧大数据
该问题已同步到小程序：全栈面试题问题在数据开发日常工作当中，数据发散和数据倾斜问题是比较常见的。那么我们该如何判断呢？同时该如何规避这两种问题呢？注意：该问题也经常会被面试官拿来提问面试者 解答基于以上问题，大佬们给出了如下的回答： 数据发散 Destiny：对于数据发散问题，可以查看 left join 关联对应的右表数据是否有重复，如果出现重复的情况，那么就会造成一对多，可能会出现发散情况。 致远大佬给出了本质性的解答：数据发散是因为关联字段值不唯一导致的。
48 天前 / 趣编程
在生活中，标准与我们息息相关，吃的食品需要满足国家标准才能食用，汽车排放达标才能够上路行驶，电脑接口得满足统一的标准才能够与外设对接等等。而在数据的世界，数据标准也同等重要。我们期望将数据标准真正应用到实践中去，帮助客户解决资产化不足、数据质量难以提升、数据开发效率低等问题，于是网易开始了数据标准的建设。 本文将基于我们对数据标准的理解，阐述标准的建立并依据标准的建立内容和流程来设计的标准管理产品的介绍以及标准在数据治理过程中的具体实践，希望与大家碰撞出新的认识。
49 天前 / sjf0115
1. 摘要在 Halodoc，我们始终致力于为最终用户简化医疗保健服务，随着公司的发展，我们不断构建和提供新功能。我们两年前建立的可能无法支持我们今天管理的数据量，以解决我们决定改进数据平台架构的问题。在我们之前的博客中，我们谈到了现有平台的挑战以及为什么我们需要采用 Lake House 架构来支持业务和利益相关者以轻松访问数据。在这篇博客中，我们将讨论我们的新架构、涉及的组件和不同的策略，以拥有一个可扩展的数据平台。 2. 新架构让我们首先看一下经过改进的新数据平台 2.0 的高级架构。
54 天前 / 猿天地
fox-mock 是基于 Java Agent 实现的自测，联调 Mock 利器。 能解决你的这些问题： 开发过程中，依赖了下游多个接口，想跑个单测都必须得等下游把服务部署好 联调过程中，下游某个接口出问题，阻塞了整个流程 其他需要 Mock 方法返回值的场景 最大的优点： 无侵入式的 Mock 解决方案，支持应用启动前挂载和应用启动后 attach 挂载。 支持本地文件 mock 支持对接配置中心管理 mock 数据 Github 地址：https://github.com/yinjihuan/fox-mock 觉得不错的记得 Star 下，下面介绍下具体如何使用。