3 天前 / 美团技术团队
总第 473 篇 2021 年 第 043 篇 后深度学习时代下，技术迭代全面进入深水区，以提升模型复杂度为主体的广告预估模型优化已经不再奏效。美团到店广告质量预估团队紧密结合业务特点，发挥深度模型结构灵活多变的优势，实现了进一步破局。 本文先介绍了美团业务的 LBS 空间距离约束和长周期性两大挑战，然后介绍了上下文、用户、广告、训练方式四个维度的应对方案，具体如下四个技术突破：a.基于位次组合的上下文偏差感知预估；b.基于时空依赖的超长序列建模；c.广告候选动态化；d.灾难遗忘与持续学习，带动线上指标显著提升的同时...
14 天前 / ???Edison_Guo
关注并星标 从此不迷路 计算机视觉研究院 学习群｜扫码在主页获取加入方式计算机视觉研究院专栏 作者：Edison_G 今天我们“计算机视觉研究院”主要分享深度学习入门的基础书籍集合！主要由来自不同城市的同学一起努力的成果，希望可以给到新入门或即将入门的同学一些帮助，一起学习，共同进步！ 背景 目标检测是数字图像中某一类 ( 如人、动物或汽车 ) 的重要计算机视觉任务。目标检测的目标是开发计算模型和技术，提供计算机视觉应用程序所需的最基本的信息之一：什么目标在哪里？ 目标检测作为计算机视觉的基本问题之一...
22 天前 / 我爱计算机视觉
关注公众号，发现 CV 技术之美 本文为 52CV 粉丝投稿，博客地址：https://blog.csdn.net/liuxiaoheng1992/article/details/120228724 作为一名算法工程师，本文主要是想把自己模型调优和复现算法遇到的一些坑总结一下（里面的一行字可能是我当时花费了一周甚至更长时间得到的总结），希望能对读者有所帮助。 熟悉数据 模型是数据的浓缩版 ----Andrew NG 说过二八定律，即 80% 的数据 +20% 的模型 = 更好的 AI 对于新上手的一任务来说，需要熟悉你的数据。
22 天前 / rainNight
越来越多的应用程序是由在不同加速器集上训练的大型复杂神经网络驱动的。这个过程由 ML 编译器促进，将高级计算图映射到低级、特定于设备的可执行文件。为此，ML 编译器需要解决许多优化问题，包括图形重写、设备上的操作分配、操作融合、张量的布局和平铺以及调度。例如，在设备放置问题中，编译器需要确定计算图中的操作到目标物理设备之间的映射，以便可以最小化目标函数，例如训练步骤时间。
26 天前 / rainNight
理解泛化是深度学习中尚未解决的基本问题之一。为什么在有限的训练数据集上优化模型会在保留的测试集上获得良好的性能？这个问题在机器学习中得到了广泛的研究，其悠久的历史可以追溯到 50 多年前。现在有许多数学 工具可以帮助研究人员理解某些模型中的泛化。不幸的是，这些现有理论中的大多数在应用于现代深度网络时都失败了——它们在现实环境中既空洞又不可预测。这种理论与实践之间的差距最大的是过度参数化模型，理论上有能力过度拟合其训练集，但在实践中通常不会。
31 天前 / MegEngine
写文章流式计算框架 MegFlow 开源，帮助铲屎官实现花样宠溺 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine3 人赞同了该文章关于程序员为什么喜欢养猫的回答，网友们给出了很多答案，比如一边吸猫一边写代码，效率更高；养猫不容易脱发；更容易交到女朋友…… 当然，除了喜欢养猫，程序员也喜欢开脑洞，发挥自己的专长，给“猫主子们”安排上各种高科技——自动投喂机、自动饮食机、自动按摩仪……甚至在训模型的时候用猫来做测试，识别猫咪的情绪、听懂猫咪语言。
33 天前 / MegEngine
写文章 CUDA 矩阵乘法终极优化指南 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine306 人赞同了该文章作者： @ 马骏| 旷视 MegEngine 架构师前言单精度矩阵乘法（SGEMM）几乎是每一位学习 CUDA 的同学绕不开的案例，这个经典的计算密集型案例可以很好地展示 GPU 编程中常用的优化技巧，而能否写出高效率的 SGEMM Kernel，也是反映一位 CUDA 程序员对 GPU 体系结构的理解程度的优秀考题。
60 天前 / hyper0x
↑↑↑关注后"星标"Datawhale 每日干货&每月组队学习，不错过Datawhale 干货 作者：屈太国，湖南大学，Datawhale 优秀学习者本文来自李宏毅机器学习笔记（LeeML-Notes）组队学习，详细介绍了使用深度学习技术的三大主要步骤。教程地址：https://github.com/datawhalechina/leeml-notes 深度学习的三个步骤： Step1：神经网络（Neural network）Step2：模型评估（Goodness of function）Step3：选择最优函数（Pick best function）Step1：神经网络神经网络是由很多单元连接而成，这些单元称为神经元。
60 天前 / MegEngine
写文章用户实践 | 基于 MegEngine 移动端 CPU 的深度学习模型推理性能优化 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine7 人赞同了该文章用户实践系列，将收录 MegEngine 用户在框架实践过程中的心得体会文章，希望能够帮助有同样使用场景的小伙伴，更好地了解和使用 MegEngine ~ 本文作者：王雷 | 旷视科技 研发工程师背景随着人工智能技术的发展及应用领域的不断扩大，算力较弱的移动设备成为模型推理的重要运算载体，优化其推理性能因此成为重要的工程问题。
68 天前 / MegEngine
写文章利用共享内存实现比 NCCL 更快的集合通信 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine14 人赞同了该文章作者：曹彬 | 旷视 MegEngine 架构师简介从 2080Ti 这一代显卡开始，所有的民用游戏卡都取消了 P2P copy，导致训练速度显著的变慢。针对这种情况下的单机多卡训练，MegEngine 中实现了更快的集合通信算法，对多个不同的网络训练相对于 NCCL 有 3% 到 10% 的加速效果。 MegEngine v1.5 版本，可以手动切换集合通信后端为 shm（默认是 nccl），只需要改一个参数。
73 天前 / MegEngine
首发于旷视天元写文章 MegEngine 中动态图显存优化（DTR）的实现与优化 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine65 人赞同了该文章作者：邓哲也 | 旷视 MegEngine 基础架构组工程师在近年来的深度学习领域，许多研究机构和研究者通过增大模型的参数量来提升模型的表现，取得了非常显著的成果，一次次令业界称奇。这客观上使得“扩大模型的尺寸”几乎一度成为各家竞相追逐的唯一指标。几年间，最先进的模型的参数量已增加了成百上千倍，但每张 GPU 的显存大小却几乎没有增长。这导致大模型的训练往往依赖于巨量的 GPU 卡数。
82 天前 / Aceyclee～
深度学习推理框架 OpenPPL 已经开源了，本文以一个图像分类实例，从 0 到 1 讲解如何部署一个深度学习模型，完成一个 AI 推理应用。 最终效果：通过上传一张猫咪照片（狗狗也可以），识别出图片中的动物 背景知识 OpenPPL 是基于自研高性能算子库的推理引擎，提供云原生环境下 的 AI 模型多后端部署能力，并支持 OpenMMLab 等深度学习模型的高效部署。 以下以在 Linux x86 平台上部署图像分类模型为例，详述 OpenPPL 的安装与使用流程，帮助同学们从 0 到 1 来实现一个人工智能应用推理服务。
87 天前 / MegEngine
写文章 Fast Run：提高 MegEngine 模型推理性能的神奇功能 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine17 人赞同了该文章作者：王博文 | 旷视 MegEngine 架构师一、背景对于深度学习框架来说，网络的训练 / 推理时间是用户非常看中的。在实际生产条件下，用户设计的 NN 网络是千差万别，即使是同一类数学计算，参数也各不相同。如果没有针对性的优化，框架就完全丧失竞争力。因此，在一类数学计算中，开发者们会开发多种高效的算法，分别适用于不同的参数，以保证网络的性能。
88 天前 / hyper0x
撰文 |袁进辉 上周写了一篇《浅谈 GPU 虚拟化与分布式深度学习框架的异同》，想不到引起很多关注和讨论。和朋友们讨论之后，觉得这个话题值得再发散一下： 首先，文章只讨论了 GPU“一分多”这种“狭义”的虚拟化，还存在另外的虚拟化，“多虚一”也是存在的。在此，我想特别强调的是：上一篇文章后半部分对深度学习框架“多合一”的讨论恰恰是想说明“多虚一”是不可能靠仅仅一层包打天下的 API 就能实现，反而要靠”去虚拟化“的思路。 其次，“去虚拟化”这种理念在追求性能极致的场景不是新鲜事，在这篇文章里再举几个相关的例子。
89 天前 / hyper0x
撰文 | 袁进辉 经常有人来问我：GPU 虚拟化和分布式深度学习框架的异同，以及是不是用 GPU 虚拟化技术也可以解决现在超大规模深度学习模型的分布式训练难题。这次不妨把我的观点简要总结并分享出来，只想知道结论的朋友只需看简短的答案：两者不是一回事，二者的思想是对立的，GPU 虚拟化对解决分布式训练深度学习模型的难题没有任何作用（不谈负作用的话）。想知道原因的读者请继续阅读下文。 1GPU 虚拟化GPU 虚拟化的主要出发点是，有些计算任务的颗粒度比较小，单个任务无法占满整颗 GPU，如果为每一个这样的任务单独分配一颗 GPU 并让这个任务独占...