19 天前 / BloomingRose
来源：网络翻译 编辑：数据一哥全文共2179 个字，建议阅读 5 分钟数据网格是一种架构模式，用于在大型复杂组织中实现企业数据平台。它有助于扩展分析的采用范围，使其超越单个平台和单个实施团队 01 背景 对分析的需求并不新鲜。组织总是需要分析业务绩效，自从引入计算机以来，就一直使用计算机来分析业务绩效。大约在 20 世纪 80 年代，组织开始通过使用专门用于决策支持的数据库来构建数据仓库解决方案。这些解决方案长期以来为组织提供了良好的服务。
22 天前 / cxc_xinconan
Nest 是 Node.js 的服务端框架，它最出名的就是 IOC（inverse of control） 机制了，也就是不需要手动创建实例，框架会自动扫描需要加载的类，并创建他们的实例放到容器里，实例化时还会根据该类的构造器参数自动注入依赖。 它一般是这样用的： 比如入口 Module 里引入某个模块的 Module： import{Module}from'@nestjs/common'; import{CatsModule}from'./cats/cats.module'; @Module({ imports:[CatsModule], }) exportclassAppModule{} 然后这个模块的 Module 里会声明 Controller 和 Service： import{Module}from'@nestjs/common'; import{CatsControl...
22 天前 / 数栈DTinsightu580540
// 反复的疫情、不定的市场、变化的政策，同样不缺的还有纷至沓来的挑战和困难。 面对这些，全新专栏【DTVision】即日起正式上线，在这里我们聚焦前沿技术，分享数据智能新趋势，深入不同行业探索应用场景。 深度的技术解读，不同角度的知识分享，真实的一线实践经验，数智转型中容易被忽视的小细节，通通分享给关注给大家。 DTVision bring you a new vision！ 本专栏第 1 期，将由袋鼠云资深产品专家牧云给大家打个头阵，聊聊 DataOps 究竟是什么，带来不同角度的详细解读。
31 天前 / hyper0x
采访嘉宾 | 杨健、吕博晨作者 | 凌敏 7 月 12 日，九章云极 DataCanvas 正式发布 YLearn 因果学习开源项目（以下简称“YLearn”）。据悉，这是全球首款一站式处理因果学习完整流程的开源算法工具包。YLearn 率先同时解决了因果学习中包括因果发现、因果量识别、因果效应估计、反事实推断和策略学习等关键问题，有效提升了政府和企业自动化“决策”能力。 GitHub 地址：https://github.com/DataCanvasIO/YLearn 近年来，因果学习在人工智能领域引起了广泛的关注。有观点认为，因果学习将开启下一代 AI 浪潮。
64 天前 / 逗逗
“阿里 One Data，值得我们好好学习。” 想必做数据的同学对 One Data 都有所耳闻。但 One Data 体系具体包含了内容、有怎样的应用，不知道大家是否了解？今天我们详细分享一下 One Data 体系中关于数据治理（指标体系可参考历史文章《从余额宝角度看指标体系的搭建》）相关的内容。 01 — One Data 整体概述 首先，我们看看 One Data 的整体概况。 （1）关于定位 One Data 是阿里系进行数据指标规范定义的规则、工作流及元数据管理系统（关于元数据可以参考历史文章）。
70 天前 / 进击的强
前几天我在学习内存屏障 [1]的时候搜到一篇文章「Golang Memory Model[2]」，其中在介绍 CPU 缓存一致性的时候提到一个例子，带给我一些困惑，本文记录下解惑过程。 既然是在介绍 CPU 缓存一致性的时候举的例子，那么理所应当与此有关，看代码： packagemain import"time" funcmain(){ running:=true gofunc(){ println("startthread1") count:=1 forrunning{ count++ } println("endthread1:count=",count) }() gofunc(){ println("startthread2") for{ running=false } }() time.Sleep(time.Hour) } 当我们通过「go run main.go」运行代码的时候...
73 天前 / sjf0115
作者｜Jingsong [email protected] 一、数仓中的计算 在计算机领域，数据仓库（DW 或 DWH），是一个用于报告和数据分析的系统，被认为是商业智能的一个核心组成部分。它将当前和历史数据存储在一个地方，为整个企业的工作人员创建分析报告。[1] 典型的基于提取、转换、加载（ETL）的数据仓库使用 ODS 层、DWD 层和 DWS 层来容纳其关键功能。数据分析师可以灵活的查询 (Query) 数仓中的每一层，获取有价值的商业信息。 数仓中有三个关键指标[2]： 数据的新鲜度：数据从产生开始，到在仓库中经过一系列处理后可供用户查询所经过的时间长度。
74 天前 / gyreg
微软整个数据安全体系如下： 微软提供了两套数据安全基础服务。一个是 Azure Information Protection，功能是数据分类，达标，以及防护。另一套是 Azure Rights Management，进行权限认证。 对于这个体系而言，Know Your Data 就是一个很难的事情。这件事的难度在我看来是远高于传统安全中的攻击面分析。 在 Know Your Data 部分，包括第一个是数据的识别，要知道哪些文件里面有敏感数据。微软使用了包括内置的常见的敏感信息类型的正则来识别数据类型。还支持机器学习训练分类器来识别敏感数据。
113 天前 / 逗逗
作为数据目录产品，Data Catalog 通过汇总技术和业务元数据，解决大数据生产者组织梳理数据、数据消费者找数和理解数的业务场景，并服务于数据开发和数据治理的产品体系。本文介绍了字节跳动 Data Catalog 系统的构建和迭代过程，将分为上、下篇发布。上篇围绕 Data Catalog 调研思路及技术架构展开。下篇重点介绍 Data Catalog 关键技术和未来规划。 文 |邱艺朴、大滨来自字节跳动数据平台开发套件团队 DataLeap 关键技术构建一个好的 Data Catalog 系统，需要考虑的核心产品设计和技术设计有很多。
1285 天前 / jacksu
在国内参加PDE考试的人比较少，导致资料也很少。我在19年1月30号去上海参加PDE考试，参加前也是完全没底，因为时间短资料少，但幸运的是顺利通过了。回过头来看，其中有些技巧和重点，在此做一些总结，希望可以给参加PDE考试的同学提供一些帮助。 收获1）对云有新的认识2）对大数据架构、机器学习架构设计有新的认识3）当然最重要的是获得google官方发的证书 说说我的准备1）花了5周的时间看完google官方提供的视频，几乎是完全脱产（只做一些事故处理）。2）试做官方提供example，一共20道题，我错了五道。我错的主要是安全和BigTable相关的。
1940 天前 / Tao Wen
越来越多的公司言并称大数据，而大数据管道和存储集群的规模甚至可以是业务集群的一百倍的规模。这里有多少机器是真正在做有价值的事情，而有多少cpu cycle是白白被浪费掉了呢？data pipeline 中充斥着惊人的浪费！只是我们选择视而不见。廉不知耻地把集群规模到了xxx台做为自己的功劳。