14 小时前 / sjf0115
作者 | Lu Zhang、Chukwudiuto Malife 译者 | Sambodhi 策划 | 闫园园 在 Twitter 上，我们每天都要实时处理大约 4000 亿个事件，生成 PB 级的数据。我们使用的数据的事件源多种多样，来自不同的平台和存储系统，例如 Hadoop、Vertica、Manhattan 分布式数据库、Kafka、Twitter Eventbus、GCS、BigQuery 和 PubSub。 为了处理这些源和平台中的这些类型的数据，Twitter 数据平台团队已经构建了内部工具，如用于批处理的 Scalding，用于流的 Heron，用于批处理和实时处理的名为 TimeSeries AggregatoR（TSAR）的集成框架...
14 小时前 / 冷星1024
大家好，我是 ConardLi，前端有架构吗？这可能是很多人心里的疑惑，因为在实际业务开发里我们很少为前端去设计标准规范的代码架构，可能更多的去关注的是工程化、目录层级、以及业务代码的实现。 今天我们来看一种前端架构的模式，原作者称它为“干净架构（Clean Architecture）”，文章很长，讲的也很详细，我花了很长时间去读完了它，看完很有收获，翻译给大家，文中也融入了很多我自己的思考，推荐大家看完。 https://dev.to/bespoyasov/clean-architecture-on-frontend-4311 本文中示例的源码：https://github.com/bespoyasov/frontend-clean-architec...
1 天前 / sjf0115
作者 ｜ 松子（李博源）策划 ｜ Tina 编者按：《透过数字化转型再谈数据中台》系列连载 6-8 篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI 知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。 在前面两篇 “关于数字化转型的几个见解 ”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快，信息量过载，以及存在广义、狭义的数据中台定义的差别等，涉及到的这些知识都离不开数据架构的范畴，所以这一篇我会通过大数据架构发展的视角来总结与分享。
3 天前 / 木小丰
DDD 这几年越来越火，资料也很多，大部分的资料都偏向于理论介绍，有给出的代码与传统 MVC 的三层架构差异较大，再加上大量的新概念很容易让初学者望而却步。本文从 MVC 架构角度来讲解如何演进到 DDD 架构。 从 DDD 的角度看 MVC 架构的问题代码角度： 瘦实体模型：只起到数据类的作用，业务逻辑散落到 service，可维护性越来越差；面向数据库表编程，而非模型编程；实体类之间的关系是复杂的网状结构，成为大泥球，牵一发而动全身，导致不敢轻易改代码；service 类承接的所有的业务逻辑，越来越臃肿...
5 天前 / hyper0x
点击下方卡片，关注“CVer”公众号 AI/CV 重磅干货，第一时间送达 作者丨 happy 转载自丨极市平台导读 “文艺复兴”，ConvNet 卷土重来，压过 Transformer。本文是 FAIR 的 Zhuang Liu(DenseNet 的作者)与 Saining Xie(ResNeXt 的作者)关于 ConvNet 的最新探索，以 ResNet 为出发点，逐步引入近来 ViT 架构的一些设计理念而得到的纯 ConvNet 新架构 ConvNeXt，取得了优于 SwinT 的性能，让 ConvNet 再次性能焕发。 论文链接：https://arxiv.org/pdf/2201.03545.pdf 代码链接：https://github.com/facebookresearch/ConvNeXt AbstractViT 伴随着视觉的“20 ...
5 天前 / HueiFeng
原文链接： https://logcorner.com/building-micro-services-through-event-driven-architecture-part16-azure-active-directory-b2c/ 在本教程中，我将展示如何通过使用 Azure AD B2C 启用 Oauth2 和 OpenId Connect 来保护微服务。 Azure Active Directory B2C 将 B2C 身份认证作为服务提供。您的客户使用其首选的社交、企业或本地帐户身份获得对您的应用程序和 API 的单点登录访问。 可以在《What is Azure Active Directory B2C[1]》中了解有关 Azure AD B2C 的更多信息。
5 天前 / 逗逗
分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读：大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍以下几方面内容： 建设背景 平台架构设计 平台建设实践 未来计划 01 建设背景首先，来介绍一下美团实时数据的典型应用场景以及建设过程遇到的一些问题。
6 天前 / 逗逗
分享嘉宾：汤楚熙 美团 编辑整理：李瑶 DataFun 出品平台：DataFunTalk 导读：大家好，我叫汤楚熙，来自美团数据平台中心的计算平台团队，当前主要工作内容是实时数仓平台的研发。今天和大家分享一下实时数据在美团的典型应用场景，实时数仓建设中的挑战和解决方案，包括一些关键的设计细节。主要介绍以下几方面内容： 建设背景 平台架构设计 平台建设实践 未来计划 01 建设背景首先，来介绍一下美团实时数据的典型应用场景以及建设过程遇到的一些问题。
6 天前 / 街道-书记撸代码
1 前言 前段时间写了一些介绍 MVI 架构的文章，不过软件开发上没有最好的架构，只有最合适的架构，同时众所周知，Google 推荐的是 MVVM 架构。相信很多人都会有疑问，我为什么不使用官方推荐的 MVVM，而要用你说的这个什么 MVI 架构呢？ 不过我这几天查看 Android 的应用架构指南，发现谷歌推荐的最佳实践已经变成了单向数据流动 + 状态集中管理，这不就是 MVI 架构吗？看起来 Google 已经开始推荐使用 MVI 架构了，大家也有必要开始了解一下 Android 应用架构指南的最新版本了~ 本文主要基于 Android 应用架构指南，感兴趣的也可以直接查看原文。
6 天前 / 叶东富
概述跨服务更新数据是应用开发常见的任务，如果一些关键数据对一致性的要求较高，而业务上也不需要支持回滚的话，那么通常就会采用本地消息表的方式来保证最终一致。许多公司在处理跨服务更新数据一致性问题时，都会先引入本地消息表，后续随着业务场景复杂化，再引入更多的事务模式 本文提出的二阶消息，是一种新模式，新架构，优雅的解决了消息最终一致性的问题，带来更加简易快捷的开发新体验。 下面我们以跨行转账作为例子，给大家详解这种新架构。
8 天前 / reesunhuang
作者 | Graham Kaemmer译者 | Rayden审校 | 王强在过去的 5 个月里，我与 50 多家公司讨论了他们的授权系统。其中超过一半的公司以某种形式使用微服务，我对它们带来的授权挑战非常感兴趣。在面向服务的后端进行授权这一问题上，似乎没有公认的最佳实践。我与很多团队进行了交谈，有的团队将用户角色附加到身份验证令牌上，有的将所有内容存储在专门用于授权的图数据库中，还有的团队在 Kubernetes 边车（sidecars）中自动执行授权检查。这些解决方案中都沉淀了数月或数年的工程工作，每个团队都发明了自己的轮子。
10 天前 / u561252
作者 | 蔡芳芳 采访嘉宾 | 王峰（莫问）维基百科的“Apache Flink”词条下，有这么一句描述：“Flink 并不提供自己的数据存储系统，但为 Amazon Kinesis、Apache Kafka、Alluxio、HDFS、Apache Cassandra 和 Elasticsearch 等系统提供了数据源和接收器”，很快，这句话的前半句或许将不再适用。 2021 年初，在 InfoQ 编辑部策划的全年技术趋势展望中，我们提到大数据领域将加速拥抱“融合”（或“一体化”）演进的新方向。本质是为了降低大数据分析的技术复杂度和成本，同时满足对性能和易用性的更高要求。
14 天前 / gyreg
更新背景为什么更新本篇？笔者定这个选题还是特别兴奋的。因为过去的 2021 年发生了众多重大安全事件。笔者这一年也成长的非常迅速，这一年也学习到了非常多的优秀的安全解决方案、攻击手法、安全架构方面的内容。所以笔者想借着三天假期时间，把笔者这一年自身成长的东西也分享给安全圈，能够让更多人看到笔者为之兴奋的东西，让大家一起兴奋、一起落地、一起成长。 笔者彼此更新的内容，都是通过自身的工作经历 + 工作上兴趣爱好收集的相关的内容，其中有自己落地中的一些心得体会、也有一些根据工作内容扩展出来的一些内容...
15 天前 / HueiFeng
作者 | 关涛 编辑 | 蔡芳芳 本文是“2021 InfoQ 年度技术盘点与展望”系列文章之一，由 InfoQ 编辑部制作呈现，重点聚焦大数据领域在 2021 年的重要进展、动态，希望能帮助你准确把握 2021 年大数据领域的核心发展脉络，在行业内始终保持足够的技术敏锐度。 “InfoQ 年度技术盘点与展望”是 InfoQ 全年最重要的内容选题之一，将涵盖架构、AI、大数据、大前端、云计算、数据库、中间件、操作系统、开源、编程语言十大领域，后续将聚合延展成专题、迷你书、直播周、合集页面，在 InfoQ 媒体矩阵陆续放出，欢迎大家持续关注。
15 天前 / 逗逗
点击上方卡片进入五分钟学大数据主页 然后点击右上角 “设为星标” 比别人更快接收好文章 本文来源：公众号【数据学堂】 最近，数据湖的概念非常热，许多前线的同学都在讨论数据湖应该怎么建？有没有成熟的数据湖解决方案？各大厂商的数据湖解决方案到底有没有实际落地的案例？怎么理解数据湖？数据湖和大数据平台有什么不同？带着这些问题，我们尝试写了这样一篇文章，希望能抛砖引玉，引起大家一些思考和共鸣。