5 天前 / kbsc13
总第 110篇文章，本文大约 3200 字，阅读大约需要10 分钟 2020 年第一篇技术文章，以一个新的系列开始--推荐系统（Recommend System），第一篇文章会简单介绍推荐系统的定义和应用，目录如下： 什么是推荐系统你真的需要推荐系统吗推荐系统的问题模式推荐系统存在的问题推荐系统的应用什么是推荐系统来自维基百科的定义： 推荐系统是一种信息过滤系统，手段是预测用户(user)对物品(item)的评分和偏好。 进一步从以下三个方面来回答这个问题 1. 推荐系统能做什么--推荐系统最终可以把那些会在用户和物品之间产生的连接提前找出来。 这里说的连......
5 天前 / Thinkgamer
文章推荐系统系列：1、推荐流程设计 2、同步业务数据 3、收集用户行为数据 4、构建离线文章画像 5、计算文章相似度 6、构建离线用户画像 7、构建离线用户和文章特征 8、基于模型的离线召回 9、基于内容的离线和在线召回 10、基于热门文章和新文章的在线召回 11、基于LR的离线排序 12、基于FTRL的在线排序 构造 TFRecord 训练集和前面的 LR 离线模型一样，FTRL 模型首先也是要完成训练集的构建。在上篇文章中，我们已经知道，可以通过读取用户历史行为数据，及文章特征和用户特征，构建出训练集 train，其中包括 features 和 label 两列......
15 天前 / Thinkgamer
文章推荐系统系列： 1、推荐流程设计2、同步业务数据3、收集用户行为数据4、构建离线文章画像5、计算文章相似度6、构建离线用户画像7、构建离线用户和文章特征8、基于模型的离线召回9、基于内容的离线和在线召回10、基于热门文章和新文章的在线召回 在上篇文章中我们实现了基于内容的在线召回，接下来，我们将实现基于热门文章和新文章的在线召回。主要思路是根据点击次数，统计每个频道下的热门文章，根据发布时间统计每个频道下的新文章，当推荐文章不足时，可以根据这些文章进行补足。 由于数据量较小，这里采用 Redis 存储热门文章和新文章......
17 天前 / php-v
首发于深度学习前沿笔记写文章推荐系统技术演进趋势：从召回到排序再到重排张俊林你所不知道的事334 人赞同了该文章 推荐系统技术，总体而言，与NLP和图像领域比，发展速度不算太快。不过最近两年，由于深度学习等一些新技术的引入，总体还是表现出了一些比较明显的技术发展趋势。这篇文章试图从推荐系统几个环节，以及不同的技术角度，来对目前推荐技术的比较彰显的技术趋势做个归纳。个人判断较多，偏颇难免，所以还请谨慎参考。 在写技术趋势前，照例还是对推荐系统的宏观架构做个简单说明，以免读者迷失在技术细节中。 实际的工业推荐系统，......
20 天前 / Thinkgamer
文章推荐系统系列：1、推荐流程设计2、同步业务数据3、收集用户行为数据4、构建离线文章画像5、计算文章相似度6、构建离线用户画像7、构建离线用户和文章特征8、基于模型的离线召回9、基于内容的离线和在线召回在上篇文章中，我们实现了基于模型的离线召回，属于基于协同过滤的召回算法。接下来，本文就讲一下另一个经典的召回方式，那就是如何实现基于内容的离线召回。相比于协同过滤来说，基于内容的召回会简单很多，主要思路就是召回用户点击过的文章的相似文章，通常也被叫做 u2i2i。 离线召回首先，读取用户历史行为数据，得到用户历史点击过......
23 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号” 第一时间获取好内容 作者丨gongyouliu编辑丨lily这是作者的第25篇文章，约2.2w字，阅读需120分钟 推荐系统是机器学习的一个子领域，并且是一个偏工程化、在工业界有极大商业价值的方向。大量应用于提供toC类产品的互联网企业服务中，通过推荐系统为用户提供精准的个性化服务。推荐系统通过推荐算法来为用户生成个性化推荐结果，而推荐算法依赖数据输入来构建算法模型。本篇文章我们来讲解推荐系统所依赖的数据，怎么处理这些数据，让数据转换成推荐算法可以直接使用的形式，最终我们就......
33 天前 / Thinkgamer
文章推荐系统系列： 1、推荐流程设计2、同步业务数据3、收集用户行为数据4、构建离线文章画像在上述步骤中，我们已经将业务数据和用户行为数据同步到了推荐系统数据库当中，接下来，我们就要对文章数据和用户数据进行分析，构建文章画像和用户画像，本文我们主要讲解如何构建文章画像。文章画像由关键词和主题词组成，我们将每个词的 TF-IDF 权重和 TextRank 权重的乘积作为关键词权重，筛选出权重最高的 K 个词作为关键词，将 TextRank 权重最高的 K 个词与 TF-IDF 权重最高的 K 个词的共现词作为主题词。 首先，在 Hive 中创建文章数据库 art......
38 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容作者丨gongyouliu编辑丨zandy这是作者的第24篇文章，约1.2w字，阅读需60分钟 作者在前面几篇文章中对常用的推荐算法，如基于内容的推荐、协同过滤、矩阵分解、分解机、基于标签的推荐、深度学习等进行了详细介绍(点击蓝色字体阅读相关文章)，并在这些文章中详细说明了这些算法的优缺点。在本篇文章我们会介绍混合推荐系统(Hybrid Recommender Systems)，就是利用多种推荐算法配合起来做推荐，期望避免单个推荐算法存在的问题，最终获得比单个算法更好的推荐效果。 本篇文......
43 天前 / openio
导语 |在推荐系统中，特征工程扮演着重要的角色。俗话说数据和特征决定了机器学习算法的上限，而模型、算法的选择和优化只是在不断逼近这个上限。特征工程的前提是收集足够多的数据，使用数据学习知识，从大量的原始数据中提取关键信息并表示为模型所需要的形式。本文主要说明微视，这种富媒体形态的短视频平台，是如何通过视频内容特征以及用户属性和行为数据，来精准预测用户对短视频的喜好的。（本文作者：hannahguo，编辑：尾尾） 引言 本文主要是跟各位读者分享特征工程领域的一些通用方法和技巧，以及微视在特征工程上的相关实践......
80 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容 作者丨gongyouliu编辑丨zandy这是作者的第21篇文章，约6500字，阅读需40分钟 作者在《深度学习在推荐系统中的应用》这篇文章中对YouTube在2016年提出的一个两阶段的深度学习推荐模型进行了详细介绍，该模型是深度学习在推荐系统中的应用最经典的模型之一。最近YouTube又提出了一个针对推荐排序阶段的多任务深度学习模型，这即是这篇文章我们要介绍的。 在本篇文章中，我们从问题背景及算法方案简介、排序算法模型整体框架、排序算法模型核心模块、排序模型核心亮点......
84 天前 / Thinkgamer
共发表：第198篇推荐系统中有两个很重要的问题：EE问题和冷启动。在实际的场景中很好的解决这两个问题又很难，比如冷启动，我们可以基于热门、用户、第三方等信息进行半个性化的推荐，但很难去获得用户的真实兴趣分布。那么有没有一种算法可以很好的解决这个问题呢？答案就是：Bandit。 Bandit算法与推荐系统在推荐系统领域里，有两个比较经典的问题常被人提起，一个是EE问题，另一个是用户冷启动问题。 EE问题又叫Exploit-Explore。 Exploit表示的是对于用户已经确定的兴趣当然要迎合。 Explore表示的如果仅对用户进行兴趣投放，很快就会看......
85 天前 / mr7
本文记录我对推荐系统架构的一些想法，限于本人水平和技术视野，肯定有不足之处，甚至一些错误，所以恳请大家指出问题，多多交流！ 架构图 图1总体架构 图1大虚线内是线上服务，请求顺序用数字标识，不带箭头的连线表示通信是双向的，即请求与响应，它周围的各模块分别是：elk日志收集系统，监控系统，A/B实验，处理离线数据的hdfs+spark/tensorflow，处理实时数据的kafka+storm/flink和物品管理。 在线服务内部架构 在线服务的内部如大虚线框内所示，这可能和你遇到的不同，甚至和你想像的也差异很大，但不必奇怪......
90 天前 / hyper0x
导读：今天分享一下 facebook 新发的深度学习推荐系统的论文： Deep Learning Recommendation Model for Personalization and Recommendation Systems https://arxiv.org/pdf/1906.00091.pdf 这篇文章概述了当前推荐系统实现的主要思路，提出了一种通用的模型结构 DLRM，与其他常见的 paper 不同，该篇有着浓浓的工业界风格，不仅和其他模型进行效果对比，还讲述了常见的特征如何处理，内在思维逻辑如何，在大规模的现实场景中会面临哪些问题。像大规模稀疏特征如何解决，比如用数据并行与模型并行相结合。以及 CPU 和 GPU 在实践中的性能如何，......
92 天前 / gongyouliu
点击上方“大数据与人工智能”，“星标或置顶公众号”第一时间获取好内容作者丨gongyouliu编辑丨zandy这是作者的第20篇文章，约2.4万字，阅读需180分钟2016年DeepMind开发的AlphaGo在围棋对决中战胜了韩国九段选手李世石，一时成为轰动全球的重大新闻，被全球多家媒体大肆报道。AlphaGo之所以取得这么大的成功，这其中最重要的技术之一是深度学习技术。经过这几年的发展，深度学习技术已经在图像分类、语音识别、自然语言处理等领域取得突破性进展，甚至在某些方面(如图像分类等)超越了人类专家的水平。深度学习技术驱动了第三次人工智能浪潮的到来......
98 天前 / openio
阿里妹导读：搜索，推荐和广告是互联网内容提供商进行价值创造的核心业务，在阿里巴巴的电子商务交易平台上，搜索，推荐和广告业务同样具有举足轻重的意义和价值。现在，阿里推荐技术又双叒优化了，新的推荐技术，新的体验，一起来看。 一. 背景 搜索、推荐和广告看似业务形态不同，其实技术组成却是非常相通的。从推荐的视角看，搜索可以认为是一种带query相关性约束的推荐，而广告则是叠加了广告主营销意愿（价格）约束的推荐，所以推荐技术的创新对推动搜索、推荐和广告业务技术的整体发展具有基础性的作用。 从技术演进的角度，......