138 天前 / HueiFeng
“亿优百倍”是 eBay 智能营销团队推出的系列文章,分享了在营销商品数据服务系统的架构、设计、代码方面的一些理解和研究。在上期的亿优百倍|商品数据服务 TiDB 性能优化 ( 点击阅读)里,我们分享了对 TiDB 进行调优的方法,以提高了 TiDB 在 eBay 平台上使用的性能和稳定性。本期“亿优百倍”,我们分享了 MIS 中缓存层和代码层面的优化经验,以达到稳定的 QPS/IPS 目标。 相关阅读: TiDB 在 eBay 丨亿优百倍:商品数据服务百倍性能优化之路(背景篇) TiDB 在 eBay 丨亿优百倍 :商品数据服务 TiDB 性能优化(实践篇) 作者丨邹庆楠 & 刘宇辉编辑丨林颖...
185 天前 / sjf0115
分享嘉宾:周路 eBay 高级软件工程师 编辑整理:马瑶 传智播客 出品平台:DataFunTalk 导读:本文的主题是基于 ClickHouse 的广告数据平台架构实践。包括广告业务面临的现状,为什么会使用 ClickHouse 来提供数据多维分析服务,如何基于 ClickHouse 的优势和特点在适应亿贝广告业务场景的前提下来设计系统平台架构,实践过程中遇到的技术问题和解决方案,以及数据平台在日常使用、版本迭代、质量监控过程中是如何去做的。
320 天前 / kafeidou
7 月 17 日,在 Cloud Native Days China 云原生多云多集群专场,eBay 软件工程师陈佑雄发表了《eBay 基于 Istio 的应用网关的探索和实践》主题演讲,分享了 eBay 在多集群,多环境,大规模的场景下,Istio 落地实践的探索和实践。 演讲主要包含四部分的内容: 1)数据中心流量管理现状 2)基于 Istio 的应用网关实践 Istio 部署模式 应用高可用接入架构 流量统一管理模型 案例分享 3)Istio 社区未解决的问题 4)未来展望 数据中心流量管理现状 我们是有三个数据中心,每个数据中心有多个可用区,每个可用区有多个 Kubernetes 集群。
528 天前 / u561252
作者简介 Lisa Li,在 eBay 中国研发中心大数据平台部门担任研发主管。带领的团队主要负责 SQL on Hadoop 的方案,给使用 SQL 查询语言的数据分析师在开源的 Hadoop 数据平台上提供更加快速稳定的数据处理和查询体验。主要包括 Kylin 和 Spark 两个软件产品的深度开发和服务运维工作。 2020 年 12 月 19 日,Apache Kylin 5 周年在线庆典顺利闭幕。本次活动中,Kylin 社区邀请了来自 eBay 的 Lisa Li 为大家带来了精彩的演讲,带领大家一起回顾了Apache Kylin 在 eBay 中的发展历程和应用实践,同时展望了 eBay 与 Kylin 的未来发展规划。
561 天前 / sjf0115
供稿 |eBay Ads Team 作者 | 吴寒思周路余何 编辑 | 顾欣怡本文 5272 字,预计阅读时间 17 分钟更多干货请关注“eBay 技术荟”公众号 导读INTRODUCTION 本文介绍 eBay 广告数据平台的基本情况,并对比分析了 ClickHouse 与 Druid 的使用特点。基于 ClickHouse 表现出的良好性能和扩展能力,本文介绍了如何将 eBay 广告系统从 Druid 迁移至 ClickHouse,希望能为同业人员带来一定的启发。 01 背景 eBay 广告数据平台为 eBay 第一方广告主(使用 Promoted Listing 服务的卖家)提供了广告流量、用户行为和效果数据分析功能。
593 天前 / mr7
(图源网络) 供稿 | Payments 贾奇 编辑 | 顾欣怡本文 4289 字,预计阅读时间 14 分钟更多干货请关注“eBay 技术荟”公众号 导读 ebay 支付新一代核心账务系统 FAS(Financial Accounting System)自今年 3 月上线以来,帮助全球百万卖家处理交易合计超百亿条,日均实时处理线上千万支付流量,每日 payout 金额超千万美元。系统上线至今稳定运行,并成功做到“三无”:无一次数据丢失,无一次转账错误,无一次整体宕机。系统后台仅由 5 台普通计算机组成,对硬件资源要求极低,且几乎无需运维。
712 天前 / 过往记忆大数据
供稿 | Rheos Team 徐朝晖编辑 | 顾欣怡本文 2238 字,预计阅读时间 7 分钟 实时数据处理是当前数据生态的热门关注环节,是业务创新的重要前提。Flink 从诞生之初就定位于实时计算的框架和引擎,演化至今,已经发展成为实时数据处理领域的佼佼者。然而,Flink 的使用门槛比较高,加上集群本身的维护和 job 状态管理并不容易,业务开发者们往往就会望而却步。事实上,我们仍有多种途径可以使 Flink 更加服务化、便捷化。
961 天前 / mr7
供稿 | Payments 任杰编辑 | 顾欣怡本文8760字,预计阅读时间27分钟更多干货请关注“eBay技术荟”公众号 导读 2018年,ebay全面展开了下一代百万TPS支付账务系统的设计与实现。本文主要介绍核心账务系统的性能和容灾能力,将从账务系统简介、百万TPS压测实验、系统架构分析、开源计划四个方面进行阐释。希望能给同业人员一定启发和借鉴。 1. 序 亿贝 (www.ebay.com) 于2018年全面展开了下一代支付系统的设计和实现。支付宝的双十一和微信财付通的春节红包已经向世界展示了支付行业当前的工程成果。
974 天前 / mr7
供稿 | Rheos Team 徐朝晖编辑 | 顾欣怡本文2238字,预计阅读时间7分钟更多干货请关注“eBay技术荟”公众号 导读 Apache Flink作为低延迟、高吞吐的大数据计算引擎,在实时数据处理领域有着优越的地位。本文将从集群生命周期管理、Job生命周期管理、Job快照管理三个方面介绍eBay Rheos Team如何将Flink算力服务化、便捷化。希望能给同业人员相应的借鉴与启发。 实时数据处理是当前数据生态的热门关注环节,是业务创新的重要前提。Flink从诞生之初就定位于实时计算的框架和引擎,演化至今,已经发展成为实时数据处理领域的佼佼者。
1029 天前 / mr7
供稿 |PADIStorage Team陈晓熹&黄志腾翻译&编辑 | 顾欣怡本文5269字,预计阅读时间16分钟更多干货请关注“eBay技术荟”公众号 导读 eBay存储团队致力于研发与应用业界最好的技术,以支撑最有挑战的业务的存储需求。本文从总体设计方案到具体实现细节,再到遇到的各种软硬件问题,详细描述了如何在生产环境中应用CephFS取代商业存储,支撑起eBay PB级别、每秒GB级别吞吐的集中式日志系统CAL 。希望能对同业人员有所启发。
1125 天前 / chaishushan
Ending定律:一切可编译为WebAssembly的,终将会被编译WebAssembly。 原文:https://www.ebayinc.com/stories/blogs/tech/webassembly-at-ebay-a-real-world-use-case/ WebAssembly完全是含着金汤勺出生,2018年发布1.0正式版本更是彻底引爆了整个软件行业——这是要彻底革大家的命啊!被大家期望主要的原因还是JS是烂泥扶不上墙(听说V8已经对JS放弃治疗,改玩各种语法糖的方向),各种性能低下的JS库都指望WebAssembly来续命呢。eBay当然也是白金钻石粉丝之一。 eBay的码农们整天兴奋的失眠,只能靠刷WebAssembly各种八卦来划水摸鱼。
1131 天前 / mr7
正文共:4600字 预计阅读时间:12分钟 为了降低成本和提高效率,越来越多的企业把基础设施迁移到云端,不管是以公有云还是私有云的形式。 云计算可以提供一定的灵活性,然而随之也带来了一些资源上的浪费。这是因为用户倾向于高估(overestimate)对资源的需求,并且在申请资源之后会低效的使用资源(underutilize)。各种分析表明业界的云计算CPU使用率只有6%到12%[1]。 eBay有着巨大规模的云计算基础设施,任何一点微小的改善都将显著地为数据中心节省成本。从2018年起,我们专注提高eBay私有云的使用效率。
1564 天前 / sjf0115
Elasticsearch 是什么? 它是一个基于 Apache Lucene 的开源搜索和分析引擎,允许用户近实时地存储、搜索和分析数据。在Elasticsearch性能调优实践上,我们的技术达人王佩,分别从研究现状、面临挑战和解决方案这三方面,给出了答案。
1889 天前 / SDK.cn
观察一下Google、Twitter、eBay和Amazon的大型系统,你会发现他们的架构体系已经演变成一种类似的东西:多语言微服务。处于多语言微服务的最终状态是怎样的?Randy Shoup曾就任Google和eBay的高级职位,他发表了一篇关于这个话题的非常有趣的谈话:规模化服务架构:谷歌和eBay的教训(Service Architectures ...
1889 天前 / 雨旸1013
随着多元化微服务的流行,越来越多的服务开始采用微服务来构建。近日,曾在Google和eBay担任高级职务的Randy Shoup在博客中分享了其从这两个公司所学习到的构建大规模服务架构的经验。本文对Randy谈论的内容进行了总结,为那些没有创建、使用和保护大规模架构的工程师提供参考。