12 天前 / BloomingRose
最近小伙伴在讨论单体到微服务架构中数据这块如何演进,相信这篇能给大家带来启发。 来源:SphereEx 链接:https://segmentfault.com/a/1190000041107436 京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付,已经成为一大批用户的消费习惯,更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台,京东白条的后台技术团队更是不容忽视的存在。而其也正是支撑京东白条自 2014 年初上线伊始,至今服务数亿用户的最终根源所在。
12 天前 / 逗逗
分享嘉宾:苗大东 京东 算法工程师 编辑整理:吴祺尧加州大学圣地亚哥分校 出品平台:DataFunTalk 导读:电商场景的搜索排序算法根据用户搜索请求,经过召回、粗排、精排、重排与混排等模块将最终的结果呈现给用户,算法的优化目标是提升用户转化。传统的有监督训练方式,每一步迭代的过程中优化当前排序结果的即时反馈收益。但是,实际上用户和搜索系统之间不断交互,用户状态也在不断变化,每一次交互后排序结果和用户反馈也会对后续排序产生影响。因此,我们通过强化学习来建模用户和搜索系统之间的交互过程,优化长期累积收益。
15 天前 / 白露未晞
近期文章回顾 从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 科学净化自己的微博,带大家写个批量拉黑微博机器人的小工具咯~ 给大家整个小说下载器,一起"欢度"五一~ 之前的论文下载器支持百度文库下载啦~ 导语 其实我不是一个喜欢炒冷饭的人,以前发过一遍的东西再发一次真的很没意思,不过为了避免公众号代码频繁被盗用售卖的问题,我还是重新整理了一下之前模拟登录系列相关的 20 多个爬虫实战案例,通过 python 包的方式发布到了 pypi,这样大家想要运行测试的话可以直接安装调用对应的程序就行了...
29 天前 / 逗逗
本文根据洪帅老师在〖2021 DAMS 中国数据智能管理峰会〗现场演讲内容整理而成。 讲师介绍 洪帅,京东资深数仓技术专家,就职于京东零售技术与数据中心,从事大数据相关工作,经历京东数仓建设的全阶段,搭建分布式数仓架构、全域数据资产和数据应用体系,在数据资产管理和数据质量保障方面,有丰富的实战经验,通过沉淀全域数据资产,提供统一、标准、高质量的公共数据服务,支撑京东零售数字化运营和规模化创新。
34 天前 / 开发者头条
拒绝焦虑,不妨从这份 Newsletter 开始! 京东云、百度云、金山云曾商谈合并,最终以失败告终 整个互联网和云计算圈,对一个足以改变市场格局的密谋全然不晓。 那就是刘强东、雷军、李彦宏三人在 2019 年险些联手,让京东云、金山云、百度云完成合并。 那一年知晓此事全局的人,两只手可以数得过来。整个商讨过程,三家公司只有极少数人参与,大多高管对此并不知情。 合并的幕后往事可见截杀阿里腾讯的「云」巨头们:密谋合并、艰难蜕变(雷峰网) 个人养老金制度即将出炉,每人每年缴纳上限或为 12000 元 据中国证券报,从知情人士处获悉...
50 天前 / sjf0115
分享嘉宾:杨尚昂 京东 BI 工程师 编辑整理:闵强明略科技 出品平台:DataFunTalk 导读:今天给大家分享京东在实时建模过程中使用 Flink SQL 的应用案例。主要从问题、难点、方案和规划四个方面来介绍。 01 问题在维度建模中有很多技术场景,本文挑选其中两个较难的场景来进行详细阐述。 问题一 实时多流全量关联的问题 select * from A full join B on A.name = B.name;此问题关联 SQL 比较简单,只有 A 流和 B 流两个实时流进行 full join,但还可能涉及到其中有一流数据需要关联全量历史数据。
55 天前 / sjf0115
▼ 关注「Apache Flink」,获取更多技术干货▼摘要:本文整理自京东资深技术专家付海涛在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括: 基本介绍生产实践优化改进未来规划 Tips:点击「阅读原文」查看原文视频 & 演讲 PDF~ 一、基本介绍 K8s 是目前业内非常流行的容器编排和管理平台,它可以非常简单高效地管理云平台中多个主机上的容器化应用。在 2017 年左右,我们实时计算是多个引擎并存的,包括 Storm、Spark Streaming 以及正在引入的新一代计算引擎 Flink,其中 Storm 集群运行在物理机上,Spark Streaming 运行在 YARN 上...
62 天前 / 开发者头条
以下内容节选自「码农周刊 VIP 会员专属邮件周报 Vol.085」,查看完整链接版请微信扫描下方二维码,加入「码农周刊 VIP 会员」。 本期,首先分享的是有效沟通的四个误区,供参考。 1)我是对的,错的是你; 2)我了解事情的全貌,你不了解; 3)我动机单纯,你可不一定; 4)我不是问题的始作俑者。 黑匣子这么重要,为什么数据不能云同步? https://mp.weixin.qq.com/s/VvAGVX_MsXQ8gKIcodSnRw 黑匣子最主要的任务是保存数据,其他方面的性能很差,无法搭载实现数据同步所需的操作环境。
65 天前 / HueiFeng
大家好,我是 Tom 哥 我们都知道互联网数据有个特性,大部分场景都是 读多写少,比如:微博、微信、淘宝电商,按照 二八原则,读流量占比甚至能达到 90% 结合这个特性,我们对底层的数据库架构也会做相应调整。采用 读写分离 处理过程: 客户端会集成 SDK,每次执行 SQL 时,会判断是 写 或 读 操作如果是 写 SQL,请求会发到 主库主数据库执行 SQL,事务提交后,会生成 binlog ,并同步给 从库从库 通过 SQL 线程回放 binlog ,并在从库表中生成相应数据如果是 读 SQL,请求会通过 负载均衡 策略,挑选一个 从库 处理用户请求看似非常合理...
73 天前 / 开发者头条
以下内容选自「码农周刊 VIP 会员」圈子,每日更新,精彩不断。 京东风格的轻量级移动端 Vue2、Vue3 组件库,支持一套代码生成 H5 和小程序。特性 70+ 高质量组件(3.0 持续开发中),覆盖移动端主流场景支持小程序开发基于京东 App 10.0 视觉规范支持按需引用详尽的文档和示例支持 TypeScript 支持服务端渲染(测试阶段)支持定制主题单元测试覆盖(3.0 开发中)...
81 天前 / 微观技术
大家好,我是 Tom 哥 作为一名开发同学,大家对 MySQL 一定不陌生,像常见的 事务特性、隔离级别 、索引等也都是老生常谈。 今天,我们就来聊个深度话题,关于 MySQL 的 高可用 一、什么是高可用?维基百科定义: 高可用性(high availability,缩写 HA),指系统无中断地执行其功能的能力,代表系统的可用性程度。高可用性通常通过提高系统的容错能力来实现。 MySQL 的高可用是如何实现的呢? 首先,我们来看张图 过程: 开始时,处理流程主要是 场景一客户端读、写,访问的是主库主库通过某种机制...
97 天前 / 35岁程序员那些事
小 Q 今天晚上打开京东商城的 PC 端首页,挑选几本自己比较喜欢的技术类书籍(比如 Spring Cloud Alibaba 微服务架构实战派(上下册)),并查看商品详情时,发现商品详情中的商品属性值都丢失了。凭借小 Q 多年的电商经验,立马反应过来,去查看手机端的同一个商品的商品详情,发现手机端是正常的。小 Q 还特意去验证了多个商品,发现不同品牌和类目的商品,在 PC 端都打不开详情。顿时我就在想,京东商品团队的程序员,2022 年第一季度的绩效会很差了。
103 天前 / reesunhuang
大家好,我是尧哥。 一朋友和我讨论他前段时间面试某大公司的一题目 : 企业 IM 比如企业微信、钉钉里面的群消息的有个已读未读的功能,发送者刚发出消息时,当前群里其他群成员都是未读状态,陆陆续续有人看了这个消息,这时候消息的详情变成 x 人已读,y 人未读,如下图所示,有具体的已读未读列表(万恶的功能,看到同事 or 老板的消息不能假装没看到了),每条消息对应一个唯一的 messageid(uint64_t),每个用户对应一个唯一的 userid(uint64_t),应该如何保存这个消息对应的已读未读详情呢? 我第一时间给出一个很简单粗暴的方案: 对于每一个 mes...
110 天前 / 逗逗
分享嘉宾:赵学敏博士京东科技 编辑整理:蔡丽萍TRS 出品平台:DataFunTalk 导读:在电商企业采购和运营过程中,如果要想掌握商品的实时价格等行情信息,就需要对齐各个电商网站的商品。由于各个电商网站的运营体系不同,网站的类目体系、商品属性等等往往存在很大差异,需要将这些实体信息进行统一的对齐和匹配。此外,还需要考虑在数以亿级的商品体量下,商品信息有各种错误的情况下如何提升算法效果。本文将介绍商品图谱构建与表示、实体对齐等技术在电商领域的一些具体实践和应用。
120 天前 / 逗逗
分享嘉宾:陈泳君 京东安全架构师 编辑整理:张敏 电信 出品平台:DataFunTalk 导读:随着全球数字经济的高速发展,中国的数字经济规模达到了 5.4 万亿美元,位列全球第二。据 IDC 预测,2025 年中国将成为全球最大的一个数据圈。在数据量高速增长和数字经济持续发展的背景下,数据安全领域受到越来越多的挑战和重视。其中,数据泄露正是焦点问题之一。今天和大家分享的议题是数字水印在数据泄露溯源中的应用和挑战。主要围绕下面四个方面展开: 数据泄露现状 数字水印技术 水印在电商的应用 思考与探索 01 数据泄露现状首先和大家分享下数据泄露的背景。