3 天前 / 个推技术学院
作者：个推数据建模工程师 陈玉琪 大数据时代，基于单机的建模很难满足企业不断增长的数据量级的需求，开发者需要使用分布式的开发方式，在集群上进行建模。而单机和分布式的开发代码有一定的区别，本文就将为开发者们介绍，基于TensorFlow进行分布式开发的两种方式，帮助开发者在实践的过程中，更好地选择模块的开发方向。 基于TensorFlow原生的分布式开发 分布式开发会涉及到更新梯度的方式，有同步和异步的两个方案，同步更新的方式在模型的表现上能更快地进行收敛，而异步更新时，迭代的速度则会更加快。两种更新方式的图示如......
4 天前 / 蚂蚁金服分布式架构SOFAStack
许文奇，蚂蚁金服高级技术专家， SOFAStack 商业化产品技术 Leader，多年分布式架构及中间件研发经验，负责过蚂蚁金服分布式架构在多家金融机构的咨询和落地。 本文根据他在 2019 蚂蚁金服 ATEC（Ant Technology Exploration Conference）科技大会上海站的分享整理。 本次分享主要会从单体架构和微服务架构的对比开始，后面重点谈一下实施金融级分布式架构的常见三个问题。 常用架构：单体式架构 目前很多金融机构的架构是典型的单体式架构，一般由反向代理服务器，数据库和应用组成，所有业务模块都打包在一个应用里面运行，......
5 天前 / phperzone
滴滴出行消息服务团队近日开源了其内部广泛使用的分布式消息中间件产品 DDMQ，这是一款致力于提供低延迟、高并发、高可用、高可靠消息服务的企业级消息队列产品。 产品特性 DDMQ 具有如下的优秀特性： 低延迟高吞吐：毫秒级延迟，单机百万条消息吞吐。 丰富的消息类型：具备实时消息、延时消息和分布式事务消息。 海量消息存储，支持消息回溯消费：支持 RocketMQ 和 Kafka 作为实时消息的存储引擎，使用RocksDB 作为延时消息的存储引擎。 秒级延时消息：支持单条消息设置精确到秒级的延迟时间，提供普通延时消息和循环延时消息。 多语言......
7 天前 / crossoverJie
前言最近这段时间确实有点忙，这篇的目录还是在飞机上敲出来了的。 言归正传，上周更新了 cim第一版；没想到反响热烈，最高时上了 GitHub Trending Java 版块的首位，一天收到了 300+ 的 star。 现在总共也有 1.3K+ 的 star，有几十个朋友参加了测试，非常感谢大家的支持。 在这过程中也收到一些 bug 反馈，feature 建议；因此这段时间我把一些影响较大的 bug 以及需求比较迫切的 feature 调整了，本次更新的 v1.0.1 版本： 客户端超时自动下线。新增 AI 模式。聊天记录查询。在线用户前缀模糊匹配。下面谈下几个比较重点的功能。 客户端......
10 天前 / 跨界架构师
如果第二次看到我的文章，欢迎点上方▲蓝字关注哟~ 本文长度为2728字，建议阅读8分钟。 坚持原创，每一篇都是用心之作～ 前面聊完的2个章节「数据一致性」和「高可用」其实本质是一个通过提升复杂度让整体更完善的方式。 接下去我们开始聊一些让系统更简单，更容易维护的东西——「易伸缩」，首当其冲的第一篇文章就是「stateless」，也叫「无状态」。 z哥带你先来认识一下「状态」是什么。 初识「状态」 之前在「负载均衡」的第四篇（分布式系统关注点——做了「负载均衡」就可以随便加机器了吗？）中提到过一个例......
10 天前 / fingerQin
时间: 2019-01-11 10:50分类: PHP 理论14 次浏览最近在研究分布式架构方面的技术。看到 ID 发号器这个东西。早在四五年前，就看过一版讲 Java 发号器的东西。当时对这个发号器并不是特别理解。也不知道何种场景会使用到它。于是，今天再度回首这个东西。想看看它到底怎样影响我们的开发生活。 一、数据库自增 ID在深入了解 ID 发号器之前，我们先来了解一下经常用到的数据库自增 ID。自增 ID 对开发同学来说，是一个我们非常熟悉的东西。 它有三个特性：1）唯一性。2）递增性。3）步长固定。 在我们在编程中，经常会利用到这三个特性。帮助我们......
12 天前 / u301925
上述架构，由一个中心控制节点（config server）和一系列的服务节点（data server）组成。 config server 负责管理所有的data server，并维护data server的状态信息；为了保证高可用（High Available），config server可通过hearbeat 以一主一备形式提供服务；data server 对外提供各种数据服务，并以心跳的形式将自身状况汇报给config server；所有的 data server 地位都是等价的。在读写数据的时候，client首先连接config server获取整个集群的数据分布表，确定将要读写的key位于哪一个data server实例。数据分布表具有version的概念，client在......
12 天前 / LiveVideoStack
随着在线教育行业的兴起， 许多人把目光投向了国外市场，而如何搭建全球化的音视频网络就成为了其中的关键问题。百家云研发工程师陈聪详细介绍了如何利用Licode 开源服务器搭建全球分布式架构以解决常见的教育场景的问题。本文来自陈聪在LiveVideoStackCon 2018上的演讲，由LiveVideoStack整理而成。 文 / 陈聪 整理 / LiveVideoStack 大家好，我是来自百家云的陈聪，今天我将为大家带来与Licode的WebRTC全球分布式架构相关的技术分享。之所以想为大家介绍这个架构，是因为我在使用WebRTC开源服务器时发现WebRTC并没有提供类似于......
12 天前 / 大栗子
起因最近一直在做分布式链路追踪的调研和实践，整理一下其中的知识点。 什么是链路追踪分布式系统变得日趋复杂，越来越多的组件开始走向分布式化，如微服务、分布式数据库、分布式缓存等，使得后台服务构成了一种复杂的分布式网络。在服务能力提升的同时，复杂的网络结构也使问题定位更加困难。在一个请求在经过诸多服务过程中，出现了某一个调用失败的情况，查询具体的异常由哪一个服务引起的就变得十分抓狂，问题定位和处理效率是也会非常低。 分布式链路追踪就是将一次分布式请求还原成调用链路，将一次分布式请求的调用情况集中展示，比如各......
13 天前 / 彭路强
Dragonboat的性能是持续优化改进的结果，它从2017年年中时候的每秒10万次写，一路走来，经过数十项优化以后最终成为当前开源版本所能具备的1000万次写每秒的性能。对于同样的吞吐需求，更高效的实现意味着库本身消耗的资源将更少，能为用户应用留出的资源更多。Dragonboat在2.8GHz志强上，对于16字节荷载，平均每个CPU核心能承担超过每秒40万次写，且在测试中线性伸展至22核每秒900万次写，属于当前最高效多组Raft实现。 这里从Raft协议的实现优化角度展开，从数十项已应用的优化中，介绍几个写请求的处理中的性能优化实例。
15 天前 / 头条机器人
首发于分布式和存储的那些事写文章分布式哈希表Chord西半球饭桶分布式码农20 人赞了该文章最近在拜读Parameter Server时，我看到文中有提到Distributed Hash Table (DHT)，进而意识到自己对DHT仍处于一知半解的状态。是，我知道它的原理大概是各个server node组成一个环；是，我知道每个用户存储的key会被映射到环上一点，然后由环上的下一个node负责（需要预先约定顺时针/逆时针）；是，我还知道这个设计的优点在当增减node时，不会发生global rehashing，而只需要交换局部几个节node点的数据。然而，究竟是谁在负责维护key到server node的映射？......
16 天前 / 头条机器人
从2016年开始接触微服务的时候就使用consul，当初只知道其特别方便，是一款不错的服务注册与发现工具。至于其部署架构，实现原理都没有深入去了解过，就如同年少读书不求甚解。最近，在着手搞微服务治理，服务治理与发现这块正好选型consul，这才详细的琢磨了下其代码，也对其原理有了一定的认识。下面就听我就徐徐道来…… 架构介绍下面是consul官方给出的一张架构图，我们先来理解一下。 首先，从架构上，图片被两个datacenter分成了上下两部分；但这两部分又并不是完全隔离的，他们之间通过WAN GOSSIP在Internet上交互报文。因此，我们了解......