2 小时前 / IT一刻钟
微信公众号：IT一刻钟 大型现实非严肃主义现场 一刻钟与你分享优质技术架构与见闻，做一个有剧情的程序员 关注可了解更多精彩内容。问题或建议，请公众号留言。 什么是负载均衡？百度词条里的解释是：负载均衡，英文叫Load Balance，意思就是将请求或者数据分摊到多个操作单元上进行执行，共同完成工作任务。 它的目的就通过调度集群，达到最佳化资源使用，最大化吞吐率，最小化响应时间，避免单点过载的问题。 负载均衡分类负载均衡可以根据网络协议的层数进行分类，我们这里以ISO模型为准，从下到上分为： 物理层，数据链路层，网络层，......
20 小时前 / ximply
后端:架构和后续规划 原文Torkel degaard 于2018.6.4编辑本页面 Grafana 的后端采用GO语言编写, 使用 sqlite3/mysql 或者 postgres 作为仪表板,用户数据等的存储. Grafana 诞生之初并没有太多关于如何编写中型应用程序的指南或方向. 因此 Grafana 部分基础代码没有我们想要的那么通用. 那么下文就说下更多关于当前重写的内容! :) Grafana 的后端核心组件包名描述/pkg/apiHttp处理程序和路由. 大部分的处理程序函数是全局的,而这是我们后续要改进的. 处理程序应该与引用所有依赖的结构体相关联. 额外的总线/pkg/bus总线! 下面会有更多的介绍/pkg/c......
1 天前 / 闲鱼技术
背景搜索引擎是电商平台成交链路的核心环节，搜索引擎的高可用直接影响成交效率。闲鱼搜索引擎作为闲鱼关键系统，复杂度和系统体量都非常高，再加上闲鱼所有导购场景都依靠搜索赋能，搜索服务的稳定可靠成为了闲鱼大部分业务场景可用能力的衡量标准；如何保障搜索服务的稳定和高可用成为了极大的挑战。 闲鱼搜索作为闲鱼核心系统，有以下几个突出的特点：* 数据体量大：对接闲鱼数十亿的商品，引擎有效商品数亿；* 索引庞大：闲鱼非结构化商品需要与算法团队合作，预测抽取有价值的结构化信息，建立索引；已创建数百的索引字段，整个引擎索引数......
1 天前 / u128733
简介随着微服务架构的日渐推广和普及，以API网关作为微服务统一入口的模式逐渐为人熟知。处在网络边界上的API网关，一方面，可以承担外网服务所需要的通用、非业务类功能，如：鉴权，监控，服务发现/注册，负载均衡等等；另一方面，可以自然地形成对服务和API的运营管理，实现发布，监控，管理，运营的自动化。 如今，微保API网关经过三个阶段的架构演进，已支撑服务于小程序、HTML5页面、第三合作方等终端，并逐渐成为C端后台服务的统一入口。下文将详细介绍微保API网关三阶段演进的探索和实践。 01 第一阶段：HAProxy 成立伊始，团队面临比较......
2 天前 / sjf0115
据IDC报告，预计到2020年全球数据总量将超过40ZB(相当于4万亿GB)，这一数据量是2013年的10倍。正在“爆炸式”增长的数据的潜在巨大价值正在被发掘，它有可能成为商业世界的“新能源”，变革我们的生产，影响我们生活。当我们面对如此庞大的数据之时，如果我们不能有序、有结构的进行分类组织和存储，那么在价值被发现前，也许数据成本灾难已经来临。它犹如堆积如山的垃圾，给我们企业带来的是极大的成本，而且非常难以消费和发掘价值，也许数据更可悲的命运是在价值发现之前它以死去。不得已的历史数据清理还在进行中吗 那么，企业大数据体......
2 天前 / mr7
点击「京东数科技术说」可快速关注 「摘要」中台乐高系统肩负着京东金融APP频道页搭建与运营的重任，在考虑到提升运营体验与降低功能迭代开发成本的前提下，尽可能的实现页面输出内容与运营规则动态可配，灵活搭建。同时，在APP高访问量的冲击下，系统的健壮与高性能也是乐高设计中必不可少的重点之一。 1项目背景为了配合APP大改版，旧的APP后台服务系统因多年维护与需求迭代变更，造成维护成本越来越高，且不能满足新版APP的很多功能。因此，决定启动乐高系统来承载新版APP的所有需求。时间很紧迫，任务也非常重。经过思考后，就有了第......
2 天前 / 大愚Talk
通过 上篇文章的分析，我们已经明确了这个系统要干些什么。接下来的都是实打实的干货。这些内容认真阅读掌握后，相信你能够以此为基础设计一个维护性好、扩展性好的交易系统。 数据库设计数据的设计是按照：交易、退款、日志 来设计的。对于上面说到的对账等功能并没有在这里。这部分不难大家可以自行设计，按照上面讲到的思路。主要的表介绍如下： pay_transaction 记录所有的交易数据。 pay_transaction_extension 记录每次向第三方发起交易时，生成的交易号 pay_log_data 所有的日志数据，如：支付请求、退款请求、异步通知等 pay_repeat_t......
3 天前 / 祝坤荣
Making Facebook self-healing: Automating proactive rack maintenance 原文：https://code.fb.com/production-engineering/making-facebook-self-healing-automating-proactive-rack-maintenance/ 作者： Romain Komorn 翻译： 时序 我们一直希望facebook的产品和服务在任何使用它的人，无论他们在世界的哪里，都能工作正常，这驱动我们主动监测和定位我们基础设施产品的问题，让我们避免可能引起百万用户在任何时间使用facebook时导致变慢或中断服务的情况。 在2011，我们引入了 Facebook Auto Remediation (FBAR)服务，一组运行......
4 天前 / 搬运工来架构
点击上方蓝色字关注我们~ 将模型转化成方案 业务架构设计不是替代需求分析的经过之前的努力，我们终于建立了通过业务模型设计的企业级业务架构，建模过程中，已经分析了企业战略、企业价值、组织结构、价值链、业务领域、岗位角色、业务流程、数据等一系列架构元素，通过模型方法对上述元素进行了分析，并形成了组件、主题域的划分。 业务架构设计并不是为了停留在纸上，而是为了实践，为了推动开发，尤其是面向复杂系统的企业级开发。 但是，模型能够表达的信息其实是有限的，所以，将模型应用于开发之前，我们还是要明确好模型的使用价值和......
4 天前 / openio
1 开发背景 现有开源缓存代理中间件有twemproxy、codis等，其中twemproxy为单进程单线程模型，只支持memcache单机版和redis单机版，都不支持集群版功能。 由于twemproxy无法利用多核特性，因此性能低下，短连接QPS大约为3W，长连接QPS大约为13W; codis起几十个线程，短连接qps不超过10万；同时某些场景这些开源软件时延抖动厉害。 为了适应公有云平台上业务方的高并发需求，因此决定借助于twemproxy来做二次开发，把nginx的高性能、高可靠、高并发机制引入到twemproxy中，通过master+多worker进程来实现七层......
5 天前 / UCloud云计算
2018年10月份，UCloud数据中心基础网络完成了V4新架构的落地，自此，新建的数据中心（下简称DC）全面升级到25G/100G网络，极大提升了DC容量和DC间互联的性能。V4架构下的单可用区可提供320,000个服务器接入端口，是此前V3架构的4倍。并且支持无损网络特性，提供可用区资源的水平扩展和滚动升级能力。上线以来，新架构有力保障了UCloud福建GPU可用区开放、北京二可用区B/C/D扩容等需求。 对比云产品通过软件的灵活性来创造丰富的用户价值，公有云物理网络更注重规划的前瞻性与设计的合理性。其目标是简单、稳定、高效。通过对上层虚拟网络提供极度......
5 天前 / 虞大胆
这是去年在部门内部做的一个面向后台开发新同学的课程，因为其他BG一些同学要求分享，所以发一下。 其实内容都是些常见开源组件的high level描述，比如flask, express框架，中间件的演化，micro service的概念，一些对nosql/column based db的概念介绍，docker的一些简单概念等等。从单个概念来说，这只是一些科普。 但是为什么当时要开这门课呢？重点是我发现很多新入职的后台开发同学并不太清楚自己做的东西在现代互联网整体架构中处于一个什么样的角色，而在IEG内部则因为游戏开发和互联网开发的一些历史性差异，有些概念并......
6 天前 / php-v
1. Nginx简介以及特点Nginx简介: Nginx (engine x) 是一个高性能的web服务器和反向代理服务器，也是一个IMAP/POP3/SMTP服务器 - 俄罗斯程序员Igor Sysoev于2002年开始 - Nginx是增长最快的Web服务器，市场份额已达33.3％ - 全球使用量排名第二2011年成立商业公司 Nginx社区分支： - Openresty作者@agentzh(章宜春)开发的，最大特点是引入了ngx_lua模块，支持使用lua开发插件，并且集合了很多丰富的模块，以及lua库。 - Tengine主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。 - Nginx官方版本，更新迭代比较快，并且......
6 天前 / 有马
原文链接：journal.plausible.io随着 React、Angular、Vue.js、Elm 等前端框架的迅速崛起，单页面应用在 WEB 中无所不在。对大多数开发者来说，单页应用已经成为他们‘默认’工具集的一部分，在开始一个新的项目时，由于技术选型形成了思维定势，一些开发者往往直接想到：一个提供 REST API 的服务端，和 React、Angular、Vue、Elm 中的一个前端框架。 这些工具有什么问题吗？当然没有，实际上我喜欢用这些工具进行开发，然而我只会在实际需求将我推向那个方向时才会选择这种架构。如果没有明确的原因去开发一个单页面应用，我在本周每一个工作日......
6 天前 / 云水木石
在这篇文章中，我们将讨论一种新的网络模型GoogleNet，它和我前面所讨论的模型有所不同，表现在： 移除了全连接层，而采用全局平均池化层(global average pooling)代替，大量减少参数数量，所以相对于AlexNet和VGGNe这种巨型模型，其需要训练的参数少得多，可以节约大量内存。 采用了微架构，而到目前为止，我们接触到的模型都是序列(sequential)模型。所谓序列，就是前一层的输出直接输出到下一层。但GoogleNet却采用了微架构，来自一个层的输出可以分成多个不同的路径并且稍后重新连接到一起。 GoogLeNet模型于2014年的一篇论文《Going Deeper......