12 天前 / BloomingRose
最近小伙伴在讨论单体到微服务架构中数据这块如何演进，相信这篇能给大家带来启发。 来源：SphereEx 链接：https://segmentfault.com/a/1190000041107436 京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付，已经成为一大批用户的消费习惯，更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台，京东白条的后台技术团队更是不容忽视的存在。而其也正是支撑京东白条自 2014 年初上线伊始，至今服务数亿用户的最终根源所在。
12 天前 / 逗逗
分享嘉宾：苗大东 京东 算法工程师 编辑整理：吴祺尧加州大学圣地亚哥分校 出品平台：DataFunTalk 导读：电商场景的搜索排序算法根据用户搜索请求，经过召回、粗排、精排、重排与混排等模块将最终的结果呈现给用户，算法的优化目标是提升用户转化。传统的有监督训练方式，每一步迭代的过程中优化当前排序结果的即时反馈收益。但是，实际上用户和搜索系统之间不断交互，用户状态也在不断变化，每一次交互后排序结果和用户反馈也会对后续排序产生影响。因此，我们通过强化学习来建模用户和搜索系统之间的交互过程，优化长期累积收益。
15 天前 / 白露未晞
近期文章回顾 从零开始实现一个深度学习框架 | 常用优化算法介绍与实现 科学净化自己的微博，带大家写个批量拉黑微博机器人的小工具咯~ 给大家整个小说下载器，一起"欢度"五一~ 之前的论文下载器支持百度文库下载啦~ 导语 其实我不是一个喜欢炒冷饭的人，以前发过一遍的东西再发一次真的很没意思，不过为了避免公众号代码频繁被盗用售卖的问题，我还是重新整理了一下之前模拟登录系列相关的 20 多个爬虫实战案例，通过 python 包的方式发布到了 pypi，这样大家想要运行测试的话可以直接安装调用对应的程序就行了...
29 天前 / 逗逗
本文根据洪帅老师在〖2021 DAMS 中国数据智能管理峰会〗现场演讲内容整理而成。 讲师介绍 洪帅，京东资深数仓技术专家，就职于京东零售技术与数据中心，从事大数据相关工作，经历京东数仓建设的全阶段，搭建分布式数仓架构、全域数据资产和数据应用体系，在数据资产管理和数据质量保障方面，有丰富的实战经验，通过沉淀全域数据资产，提供统一、标准、高质量的公共数据服务，支撑京东零售数字化运营和规模化创新。
34 天前 / 开发者头条
拒绝焦虑，不妨从这份 Newsletter 开始！ 京东云、百度云、金山云曾商谈合并，最终以失败告终 整个互联网和云计算圈，对一个足以改变市场格局的密谋全然不晓。 那就是刘强东、雷军、李彦宏三人在 2019 年险些联手，让京东云、金山云、百度云完成合并。 那一年知晓此事全局的人，两只手可以数得过来。整个商讨过程，三家公司只有极少数人参与，大多高管对此并不知情。 合并的幕后往事可见截杀阿里腾讯的「云」巨头们：密谋合并、艰难蜕变（雷峰网） 个人养老金制度即将出炉，每人每年缴纳上限或为 12000 元 据中国证券报，从知情人士处获悉...
50 天前 / sjf0115
分享嘉宾：杨尚昂 京东 BI 工程师 编辑整理：闵强明略科技 出品平台：DataFunTalk 导读：今天给大家分享京东在实时建模过程中使用 Flink SQL 的应用案例。主要从问题、难点、方案和规划四个方面来介绍。 01 问题在维度建模中有很多技术场景，本文挑选其中两个较难的场景来进行详细阐述。 问题一 实时多流全量关联的问题 select * from A full join B on A.name = B.name;此问题关联 SQL 比较简单，只有 A 流和 B 流两个实时流进行 full join，但还可能涉及到其中有一流数据需要关联全量历史数据。
55 天前 / sjf0115
▼ 关注「Apache Flink」，获取更多技术干货▼摘要：本文整理自京东资深技术专家付海涛在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 基本介绍生产实践优化改进未来规划 Tips：点击「阅读原文」查看原文视频 & 演讲 PDF～ 一、基本介绍 K8s 是目前业内非常流行的容器编排和管理平台，它可以非常简单高效地管理云平台中多个主机上的容器化应用。在 2017 年左右，我们实时计算是多个引擎并存的，包括 Storm、Spark Streaming 以及正在引入的新一代计算引擎 Flink，其中 Storm 集群运行在物理机上，Spark Streaming 运行在 YARN 上...
62 天前 / 开发者头条
以下内容节选自「码农周刊 VIP 会员专属邮件周报 Vol.085」，查看完整链接版请微信扫描下方二维码，加入「码农周刊 VIP 会员」。 本期，首先分享的是有效沟通的四个误区，供参考。 1）我是对的，错的是你； 2）我了解事情的全貌，你不了解； 3）我动机单纯，你可不一定； 4）我不是问题的始作俑者。 黑匣子这么重要，为什么数据不能云同步？ https://mp.weixin.qq.com/s/VvAGVX_MsXQ8gKIcodSnRw 黑匣子最主要的任务是保存数据，其他方面的性能很差，无法搭载实现数据同步所需的操作环境。
65 天前 / HueiFeng
大家好，我是 Tom 哥 我们都知道互联网数据有个特性，大部分场景都是 读多写少，比如：微博、微信、淘宝电商，按照 二八原则，读流量占比甚至能达到 90% 结合这个特性，我们对底层的数据库架构也会做相应调整。采用 读写分离 处理过程： 客户端会集成 SDK，每次执行 SQL 时，会判断是 写 或 读 操作如果是 写 SQL，请求会发到 主库主数据库执行 SQL，事务提交后，会生成 binlog ，并同步给 从库从库 通过 SQL 线程回放 binlog ，并在从库表中生成相应数据如果是 读 SQL，请求会通过 负载均衡 策略，挑选一个 从库 处理用户请求看似非常合理...
73 天前 / 开发者头条
以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 京东风格的轻量级移动端 Vue2、Vue3 组件库，支持一套代码生成 H5 和小程序。特性 70+ 高质量组件（3.0 持续开发中），覆盖移动端主流场景支持小程序开发基于京东 App 10.0 视觉规范支持按需引用详尽的文档和示例支持 TypeScript 支持服务端渲染（测试阶段）支持定制主题单元测试覆盖（3.0 开发中）...
81 天前 / 微观技术
大家好，我是 Tom 哥 作为一名开发同学，大家对 MySQL 一定不陌生，像常见的 事务特性、隔离级别 、索引等也都是老生常谈。 今天，我们就来聊个深度话题，关于 MySQL 的 高可用 一、什么是高可用？维基百科定义： 高可用性（high availability，缩写 HA），指系统无中断地执行其功能的能力，代表系统的可用性程度。高可用性通常通过提高系统的容错能力来实现。 MySQL 的高可用是如何实现的呢？ 首先，我们来看张图 过程： 开始时，处理流程主要是 场景一客户端读、写，访问的是主库主库通过某种机制...
97 天前 / 35岁程序员那些事
小 Q 今天晚上打开京东商城的 PC 端首页，挑选几本自己比较喜欢的技术类书籍（比如 Spring Cloud Alibaba 微服务架构实战派（上下册）），并查看商品详情时，发现商品详情中的商品属性值都丢失了。凭借小 Q 多年的电商经验，立马反应过来，去查看手机端的同一个商品的商品详情，发现手机端是正常的。小 Q 还特意去验证了多个商品，发现不同品牌和类目的商品，在 PC 端都打不开详情。顿时我就在想，京东商品团队的程序员，2022 年第一季度的绩效会很差了。
103 天前 / reesunhuang
大家好，我是尧哥。 一朋友和我讨论他前段时间面试某大公司的一题目 ： 企业 IM 比如企业微信、钉钉里面的群消息的有个已读未读的功能，发送者刚发出消息时，当前群里其他群成员都是未读状态，陆陆续续有人看了这个消息，这时候消息的详情变成 x 人已读，y 人未读，如下图所示，有具体的已读未读列表（万恶的功能，看到同事 or 老板的消息不能假装没看到了），每条消息对应一个唯一的 messageid（uint64_t），每个用户对应一个唯一的 userid（uint64_t）,应该如何保存这个消息对应的已读未读详情呢？ 我第一时间给出一个很简单粗暴的方案： 对于每一个 mes...
110 天前 / 逗逗
分享嘉宾：赵学敏博士京东科技 编辑整理：蔡丽萍TRS 出品平台：DataFunTalk 导读：在电商企业采购和运营过程中，如果要想掌握商品的实时价格等行情信息，就需要对齐各个电商网站的商品。由于各个电商网站的运营体系不同，网站的类目体系、商品属性等等往往存在很大差异，需要将这些实体信息进行统一的对齐和匹配。此外，还需要考虑在数以亿级的商品体量下，商品信息有各种错误的情况下如何提升算法效果。本文将介绍商品图谱构建与表示、实体对齐等技术在电商领域的一些具体实践和应用。
120 天前 / 逗逗
分享嘉宾：陈泳君 京东安全架构师 编辑整理：张敏 电信 出品平台：DataFunTalk 导读：随着全球数字经济的高速发展，中国的数字经济规模达到了 5.4 万亿美元，位列全球第二。据 IDC 预测，2025 年中国将成为全球最大的一个数据圈。在数据量高速增长和数字经济持续发展的背景下，数据安全领域受到越来越多的挑战和重视。其中，数据泄露正是焦点问题之一。今天和大家分享的议题是数字水印在数据泄露溯源中的应用和挑战。主要围绕下面四个方面展开： 数据泄露现状 数字水印技术 水印在电商的应用 思考与探索 01 数据泄露现状首先和大家分享下数据泄露的背景。