9 天前 / 我爱计算机视觉
关注公众号，发现 CV 技术之美 ▊写在前面 训练深度视频模型比训练其对应图像模型慢一个数量级。训练慢导致研究周期长，阻碍了视频理解研究的进展。按照训练图像模型的标准做法，视频模型训练使用了固定的 mini-batch 形状，即固定数量的片段，帧和空间大小。 然而，最佳形状是什么？高分辨率模型表现良好，但训练缓慢。低分辨率模型训练速度更快，但精确度较低。受数值优化中多重网格方法的启发，作者提出使用具有不同时空分辨率的可变 mini-batch 形状。不同的形状源于对多个采样网格上的训练数据进行重采样。
15 天前 / HueiFeng
作者 | 关涛 编辑 | 蔡芳芳 本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一，由 InfoQ 编辑部制作呈现，重点聚焦大数据领域在 2021 年的重要进展、动态，希望能帮助你准确把握 2021 年大数据领域的核心发展脉络，在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一，将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域，后续将聚合延展成专题、迷你书、直播周、合集页面，在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。
19 天前 / 冷星1024
大家好，我是 ConardLi ，今天我们一起来看一个数据分组的小技巧。 对数据进行分组，是我们在开发中经常会遇到的需求，使用 JavaScript 进行数据分组的方式也有很多种，但是由于没有原生方法的支持，我们自己实现的数据分组函数通常都比较冗长而且难以理解。 不过，告诉大家一个好消息，一个专门用来做数据分组的提案 Array.prototype.groupBy 已经到达 Stage 3 啦！ 在看这个提案，之前，我们先来回顾下我们以前在 JavaScript 里是怎么分组的。
20 天前 / 钢铁侠的知识库
nohup：如果直接启动 node_exporter 的话，终端关闭进程也会随之关闭，这个命令帮你解决问题。 Prometheus HTTP APIPrometheus 所有稳定的 HTTP API 都在 /api/v1 路径下。当我们有数据查询需求时，可以通过查询 API 请求监控数据，提交数据可以使用 remote write 协议或者 Pushgateway 的方式。
23 天前 / HueiFeng
导读： 传媒的数据管治实践解决了资源使用负载高、不可控的痛点，搭建了数据资产登记和成本运营体系，保障了数据生产长期稳定，为自动化数据治理提供了一个很好的落地方案。 大家好，我是来自网易传媒大数据团队的建伟，首先感谢网易有数的同事们组织了此次数据治理大赛，我参赛的题目是《网易传媒数据管治建设实践》。我将从四个部分向大家展开介绍，第一部分是传媒的业务介绍，第二部分是数仓建设演进，第三部分是数据管治体系，最后再介绍下我对数据治理体系化建设的一些展望。
25 天前 / sjf0115
分享嘉宾：周路 eBay 高级软件工程师 编辑整理：马瑶 传智播客 出品平台：DataFunTalk 导读：本文的主题是基于 ClickHouse 的广告数据平台架构实践。包括广告业务面临的现状，为什么会使用 ClickHouse 来提供数据多维分析服务，如何基于 ClickHouse 的优势和特点在适应亿贝广告业务场景的前提下来设计系统平台架构，实践过程中遇到的技术问题和解决方案，以及数据平台在日常使用、版本迭代、质量监控过程中是如何去做的。
25 天前 / 铭毅天下001
1、实战项目需求需求 1：有一个小需求 kafka 源数据： topicA:{"A_content":"XXX","name":"A","type":"XXX","id":1} topicB:{"B_content":"XXX","name":"B","type":"XXX","id":1} 现在想将两个 topic 的数据写到同一个 es 索引中，但由于更新性能太慢，有啥思路可以加速写入性能呢 (topicA 和 topicB 的数据可能会有几天的延时) 需求 2： 在 cluster1 上有如 a，b 两索引，均有字段 filed_a，索引 a，b 各自包含其它字段，建立新索引如 c，要求 c 包含 a 索引全部文档，且在 a 和 b 索引关联字段 field_a 相同的文档中把 b 文档其它字段更新到索引 c 中。
26 天前 / Juicedata
巧用符号链接迁移 HDFS 数据，业务完全无感知！高昌健2020.12.18问题JuiceFS 是一个基于对象存储的分布式文件系统，在之前跟对象存储比较的文章中已经介绍了 JuiceFS 能够保证数据的强一致性和极高的读写性能，因此完全可以用来替代 HDFS。但是数据平台整体迁移通常是一个费时费力的大工程，需要做到迁移超大规模数据的同时尽量不影响上层业务。下面将会介绍如何通过 JuiceFS 的迁移工具来实现平滑迁移 HDFS 中的海量数据到 JuiceFS。
32 天前 / 星环科技
数据分散，数据源众多数据归集、存储和计算复杂，数据处理场景多数据应用多，部署和运维复杂怎么办？怎么办？怎么办？ 数据开发、业务分析、数据科学应用开发不同部门需求各异开发难度与日俱增怎么办？怎么办？怎么办？ 技术架构不同数据和应用之间交互多，且在不同的平台上跨部门取数难，跨平台合作难怎么办？怎么办？怎么办？ 基础设施异构，统一运维难怎么办？怎么办？怎么办？ 数字化转型路上的九九八十一难谁来帮我斩妖除魔？ 数据云究竟是一朵什么云？它是一朵能提供完整的数据、应用和智能的开发工具的全能云是实现数据和应用互通互联的云技术和服务...
33 天前 / kafeidou
一 概述 关于数据相关的词条很多，虽然有不同的定义，但是本质上是相辅相成，通常结合使用才能拿到结果。 类比词条诸如 数据分析，数据挖掘， 数据洞察。 以下为 wiki 上的定义 数据分析：是一种统计学常用方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息； 数据挖掘：是一个跨学科的计算机科学分支。
33 天前 / 微信搜「腾讯云原生」
刘旭，腾讯云高级工程师，专注容器云原生领域，有多年大规模 Kubernetes 集群管理及微服务治理经验，现负责腾讯云服务网格 TCM 数据面产品架构设计和研发工作。 引言目前以 Istio[1] 为代表的服务网格普遍使用 Sidecar 架构，并使用 iptables 将流量劫持到 Sidecar 代理，优点是对应用程序无侵入，但是 Sidecar 代理会增加请求时延和资源占用。 性能一直是用户十分关心的一个点，也是用户评估是否使用服务网格产品的关键因素，腾讯云 TCM 团队一直致力于优化服务网格性能...
34 天前 / rainNight
收据、账单、保险报价单等模板文件在各种业务工作流程中极为常见且至关重要。目前，处理这些文档主要是手动操作，并且确实存在的自动化系统基于脆弱且容易出错的启发式方法。考虑像发票这样的文档类型，它可以以数千种不同的方式排列——来自不同公司，甚至同一公司内不同部门的发票，格式可能略有不同。但是，对于发票应包含的结构化信息，例如发票编号、发票日期、到期金额、付款日期以及发票所发送的项目列表，存在共同的理解。
39 天前 / 豌豆花下猫
剧照：《时光之轮》 作者：so1n；来源：博海拾贝 diary 前记最近在完善公司的监控系统， 发现在项目运行时经常会出现一些运行时的问题， 这些问题往往不是一个子服务引发的问题， 而可能是某个环节出现了问题， 这时候就需要引入 APM 系统。 在收集 APM 数据时发现在 Python 生态中针对 web 框架都有完善的 APM 中间件用于接口统计与监控， 但是第三方调用库相关的 APM 实现都比较少 ( 几乎没有)， 同时这些库大多数也都没提供一些钩子实现。这就需要自己去封装一些库， 为这些库实现一套调用过程的数据提供逻辑。
60 天前 / 逗逗
点击上方蓝字关注我们 一、元数据概述 1.1、定义元数据定义：描述数据的数据，对数据及信息资源的描述性信息。小编认为元数据不仅仅是关于数据的数据，它还是一种上下文，赋予信息更加丰富的身份。 以图片为例，其图片本身是一种数据，那么图片的名称、属性、尺寸、使用什么设备生成的、生成的时间、责任人等等这些信息其实都属于元数据。 1.2、类型元数据的类型可以分为以下三种： 1.2.1、业务元数据描述数据系统中业务领域相关概念、关系和规则的数据，包括业务术语、信息分类、指标、统计口径等。
94 天前 / u128287
9 月 26 日下午，爱奇艺技术产品团队举办了第 19 期“i 技术会沙龙”，本次 i 技术会的主题是“数据治理探索与应用”，来自快手、美团、快看的几位资深专家共同就相关技术议题进行了深入探讨。 爱奇艺研究员彭涛老师分享了题为《爱奇艺数据质量监控的探索和实践》的内容，主要介绍数据治理平台中的规则引擎模块，包括当前规则引擎面临的问题、目标、异常检测的方法以及对后续规则引擎功能的探索。 福利！!!关注公众号，在后台回复关键词“数据治理”，就可以获得本次 i 技术会嘉宾分享 PPT 和录播视频。