1 天前 / u522151
原文链接： https://www.educative.io/courses/grokking-the-system-design-interview/m2ygV4E81AR 编者注：本文以一道经典的系统设计面试题：《如何设计TinyURL》的参考答案和解析为例，帮助读者更深入地了解在系统需求分析和设计中，需要考虑的各个方面的细节。 本文将为大家详细讲解如何设计一个类似于TinyURL的URL缩短服务。URL缩短服务提供一个非常短小的URL以代替原来的可能较长的URL，将长的URL地址缩短。 类似的服务有：http://bit.ly，goo.gl，qlink.me,等等。 九、负载均衡器（LB） 我们可以在系统中的三个位置添加负载......
2 天前 / ittimeline
电子管计算机(1945年-1957年)第二次世界大战是电子管计算机产生的催化剂，而最著名的电子管计算机是来自美国的埃尼阿克(ENIAC),这一时期的计算机有如下特点: 集成度小，占用空间大功耗高，运行速度慢操作复杂，更换程序需要接线晶体管计算机(1957年-1964年)1948年，贝尔实验室的三个科学家发明了晶体管，相比电子管而言，晶体管有着更小的体积，更低的功耗以及更高的运算效率。而全世界第一台晶体管计算机TX-0诞生于麻省理工大学的MIT林肯实验室，而当时性能最高的计算机是PDP-1，它具备4K的内存，每秒可以执行20W条指令，同时配备了512*512的显示......
2 天前 / sjf0115
1. HBase架构组件从物理上来说 HBase 由主从模式架构的三种服务组成： RegionServer：负责为读写提供数据。访问数据时，客户端可直接与 RegionServer 进行通信。 HBase Master：也称之为 HMaster，负责 Region 的分配，DDL（创建、删除表）操作等。 Zookeeper：作为 HDFS 一部分的，负责维护活跃集群的状态。 Hadoop DataNode 负责存储 RegionServer 管理的数据。所有 HBase 的数据都存储在 HDFS 文件中。RegionServer 和 HDFS DataNode 往往会部署在一起，这样 RegionServer 就能够实现数据本地化（即数据放在离需要尽可能近的地方）。在数据......
2 天前 / 零售云技术
最近参与了公有云微服务项目，已经有一段时间未公开发表。通过这次改造公有云微服务项目的实践过程，分享一下公有云微服务网络架构，及服务部署方案。每个平台的网络架构图都类似，但细节根据自有服务有组件又各不一样，别人的架构拿过来不一致适合你的架构，那么首先要了解每层架构及每个服务的职责，以及服务与服务之间的交互逻辑。我们根据私有云的架构迁移过来，保持了部分架构，补充了原来在私有云部署中公共组件部分。迁移到公有云后，一些公共组件由我们自己搭建并运维。整理总览图请看下图: 网络架构总览图 一、互联网层 外网层也是网络......
3 天前 / Fundebug
前言 这是学习源码整体架构第四篇。整体架构这词语好像有点大，姑且就算是源码整体结构吧，主要就是学习是代码整体结构，不深究其他不是主线的具体函数的实现。文章学习的是打包整合后的代码，不是实际仓库中的拆分的代码。 其余三篇分别是： 1.学习 jQuery 源码整体架构，打造属于自己的 js 类库 2.学习underscore源码整体架构，打造属于自己的函数式编程类库 3.学习 lodash 源码整体架构，打造属于自己的函数式编程类库 感兴趣的读者可以点击阅读。 导读 本文通过梳理前端错误监控知识、介绍 sentry错误监控原理、 sentry初始化、 Aj......
5 天前 / semlinker
Spring Boot是基于 Spring Framework，它为你的 Spring 应用程序提供了自动装配特性，它的设计目标是让你尽可能快的上手应用程序的开发。以下是 Spring Boot 所拥有的一些特性： 可以创建独立的 Spring 应用程序，并且基于 Maven 或 Gradle 插件，可以创建可执行的 JARs 和 WARs；内嵌 Tomcat 或 Jetty 等 Servlet 容器；提供自动配置的 “starter” 项目对象模型（POMS）以简化 Maven 配置；尽可能自动配置 Spring 容器；提供一些常见的功能、如监控、WEB容器，健康，安全等功能；绝对没有代码生成，也不需要 XML 配置。1.1.3 Spring SecuritySpr......
5 天前 / 风来风往风伤(TiAmo)
笔者在写作本章节的时候，并不敢把此章节的标题叫做《高性能日志系统的设计》，之所以不敢加上“高性能”三个字的原因是：第一，我对于日志系统设计知识和经验都来自于学习和工作经验，我并不是原创者，只是知识的搬运工； 第二，目前有许多优秀的、被广泛使用的开源的日志系统，他们给了我很多启发，不敢在此班门弄斧。 不管怎样，笔者还是想写一些自己关于对日志系统的理解和经验，让我们开始吧。 为什么需要日志实际的软件项目产出都有一个流程，即先开发、测试，再发布生产，由于人的因素，既然是软件产品就不可能百分百没有 bug 或者逻辑错......
5 天前 / mr7
供稿 | Payments 任杰编辑 | 顾欣怡本文8760字，预计阅读时间27分钟更多干货请关注“eBay技术荟”公众号 导读 2018年，ebay全面展开了下一代百万TPS支付账务系统的设计与实现。本文主要介绍核心账务系统的性能和容灾能力，将从账务系统简介、百万TPS压测实验、系统架构分析、开源计划四个方面进行阐释。希望能给同业人员一定启发和借鉴。 1. 序 亿贝 (www.ebay.com) 于2018年全面展开了下一代支付系统的设计和实现。支付宝的双十一和微信财付通的春节红包已经向世界展示了支付行业当前的工程成果。那么作为下一代支付系统，如何......
6 天前 / 搬运工来架构
点击上方蓝色字关注我们~ 01简单 ◆隐藏复杂与构建抽象随着系统的发展，会发现越来越复杂，可能没法了解整个系统的全部，每个人的大脑处理能力有限，不可能了解系统的每个细节。 所以，保持软件简单可以帮助你更好的了解系统。随着系统的逐渐壮大，我们只能做到的是保持局部简单，无法保持整体简单。 开发系统服务时，要创建暴露更高层次的抽象，实现抽象允诺的功能，从而隐藏其复杂性。 ◆避免过度设计我们工程师一般更喜欢挑战高难度的问题，可能一个简单的问题会使其复杂化，使得可能开发出难以维护的代码。早期可以构建合理的抽象层次......
8 天前 / sjf0115
本文由趣头条实时平台负责人席建刚分享趣头条实时平台的建设，整理者叶里君。文章将从平台的架构、Flink现状，Flink应用以及未来计划四部分分享。 一．平台架构 1、Flink 应用时间线 首先是平台的架构，2018年3月之前基本都是基于Storm和Spark Streaming来做的。目前，基本已经把Spark Streaming和Storm淘汰了，主要都是Flink SQL来做的。起初还比较传统，一般是接需求然后开发类似于Flink SQL的任务，基本是手工作坊操作模式。后来Flink SQL的任务逐渐多了起来，就开始考虑往平台化方向发展。大概在2018年10月份，我们开始搭建实时平台。当......
8 天前 / xF0rk
阿里妹导读：闲鱼品牌创立于14年阿里的某个茶水间，从0开始到现在千万DAU，5年时间里闲鱼见证了闲置物品从线下到线上交易的转移。而线上交易的繁荣，则需要业务架构做相应的调整、演进才能支撑业务的快速发展。本文主要通过介绍闲鱼从0发展到千万级DAU应用的不同阶段的业务特点、核心问题以及针对性的架构演进，来阐述业务架构的演进思路与心得。 闲鱼业务背景 技术架构的演进跟业务形态都是强相关的，闲鱼的市场本质以及用户特点如下描述： 闲鱼是一个高性价比的二手交易市场。相比新品市场，二手市场的市场空间就是"用户在付出相同成本条......
10 天前 / php-v
作者介绍 罗瑞星，易果集团数据架构专家，TiDB User Group (TUG) 上海区 Leader。 TiDB的应用 易果集团的实时数仓其实很早就已经存在了，在业务量还没有那么大的时候，当时我们只用了一台SQL Server就能够满足需求了，因为数据量不大，所以存储过程一般也就1-2分钟就能跑完，同时也能够保证实时和T+1数据的一致性。 回过头来看，这样做的好处也显而易见，一台机器比较好维护，在数据量不大的时候还是非常适合的，但是一旦碰到大促或者搞活动的时候一些存储过程就非常容易装死了，有时候可能碰到30-40分钟才能跑完的情况。 ......
16 天前 / 九卷
如何定义一个微服务架构呢？跟所有的软件开发过程一样，一开始我们需要拿到领域专家或者现有应用的需求文档。跟所有的软件开发一样，定义架构也是一项艺术而非技术。本文我们将介绍一种定义应用程序架构的三步式流程，如图1所示。世界上并没有一个机械化的流程可以遵循，然后指望这个流程输出一个合理的架构。我们只能介绍一个大概的方法，现实世界中，这是一个不断迭代和持续创新的过程。 图1 用于定义应用程序的微服务架构的三步式流程 应用程序是用来处理客户端请求的，因此定义其架构的第一步是将应用程序的需求提炼为各种......
17 天前 / 高飞
作者：Lateautumn4lin来源：云爬虫技术研究笔记 我猜很多人一看这个标题已经感觉很懵逼了，什么？下一代容器都出来了，我还没学Docker呢！！！ 咳咳~~在这里我给大家做一个保证，下一代容器目前也只是各个公司在测试阶段，Github上面也有很多Issue，因此，大家可以放宽心，下一代容器离我们还很远呢~ 切入正题： 我们今天讨论的是《下一代容器架构已出，Docker何去何处？》 其实就目前来说，下一代容器架构可以约等于≒ Podman+Skopeo+Buildah 其实这半年来很多自媒体都在鼓吹新的容器架构，吹嘘将要很快的替代Docker......
20 天前 / mr7
本文记录我对推荐系统架构的一些想法，限于本人水平和技术视野，肯定有不足之处，甚至一些错误，所以恳请大家指出问题，多多交流！ 架构图 图1总体架构 图1大虚线内是线上服务，请求顺序用数字标识，不带箭头的连线表示通信是双向的，即请求与响应，它周围的各模块分别是：elk日志收集系统，监控系统，A/B实验，处理离线数据的hdfs+spark/tensorflow，处理实时数据的kafka+storm/flink和物品管理。 在线服务内部架构 在线服务的内部如大虚线框内所示，这可能和你遇到的不同，甚至和你想像的也差异很大，但不必奇怪......