59 天前 / MegEngine
写文章登录如何设计一个高内聚低耦合的模块——MegEngine 中自定义 Op 系统的实践经验 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine26 人赞同了该文章作者：褚超群 | 旷视科技 MegEngine 工程师背景介绍在算法研究的过程中，算法同学们可能经常会尝试定义各种新的神经网络层（neural network layer），比如 Layer Norm，Deformable Conv 等。为了实现这些层以进行实验，算法同学可以使用神经网络框架或者 numpy 中提供的基础操作（如张量 / 标量的加减乘除等）去组合出所需的层的功能。
65 天前 / AI算法笔记
这是公众号的第15篇原创文章，本文大约5500字，阅读大约需要15分钟 论文：《A Quantization-Friendly Separable Convolution for MobileNets》 论文地址：https://arxiv.org/pdf/1803.08607.pdf 这篇是高通在 2018 年发表的一篇论文，主要是针对在量化方面效果很差的 MobileNetV1 网络进行研究，探索其量化掉点很严重的原因（从浮点模型的 70.5% 到量化模型的 1.8%），发现根因主要是来自可分离卷积，尽管它使得 MobileNetV1 大大减少了参数量和存储量，但副作用就是导致量化效果很差，因此作者提出了 3 种改进来解决这个问题...
66 天前 / 实时音视频A桑
本文整理自英伟达史永明博士在 AI 技术专场所做出的演讲。在演讲中他主要介绍了为实现 DIGITAL JENSEN，利用 Audio2Face 实现语音生成对应面部视频、用 Audio2Gestures 实现语音生成对应肢体动作的主要技术流程、算法细节和评估效果的介绍，以及 NVIDIA Ampere Architect & SDK 在其他更多方面的应用。关注本文标签「RTE 技术分享」，我们将陆续更新更多演讲干货。以下为演讲整理。 ▲图：NVIDIA 深度学习资深解决方案架构师 史永明 会议开始之初，史永明博士先介绍了之前在英伟达 GTC 大会上展示的虚拟人视频的制作过程，在视频制作里面...
68 天前 / 实时音视频A桑
今年也是基于深度学习的音频编解码的元年，各家公司都发布了一些编解码器。声网在今年也公布了自研的 AI-Codec 技术——Silver。在本场大会上，声网 Agora 音频算法专家冯建元分享了基于深度学习的音频编解码器的研究，以及落地挑战。关注本文标签「RTE 技术分享」，我们将陆续更新更多演讲干货。以下为演讲实录。 ▲图：声网 Agora 音频算法专家 冯建元 冯建元认为目前市面上主流的基于深度学习的音频编码解码器主要有 Silver、Lyra、Satin、LPCnet、SoundStream 这几种，他们分别有各自的优缺点，于是乎整理了一张表格，显示得更佳直观。
72 天前 / rainNight
深度神经网络的成功取决于对高质量标记训练数据的访问，因为训练数据中标签错误（标签噪声）的存在会大大降低模型在干净测试数据上的准确性。不幸的是，大型训练数据集几乎总是包含标签不准确或不正确的示例。这导致了一个悖论：一方面，需要大数据集来训练更好的深度网络，而另一方面，深度网络往往会记住训练标签噪声，导致模型在实践中的性能较差。 研究界已经认识到这个问题的重要性，引入了试图理解嘈杂训练标签的工作，例如，Arpit 等人。，以及缓解策略，例如 MentorNet 或共同教学，以克服它们。
78 天前 / 秃顶的码农
首发于机器学习框架写文章登录深度学习利器 -GPU 秃顶的码农不忘初心，砥砺前行！深度学习利器 -GPU 介绍 1 深度学习之 GPU 近代史科技发展日新月异，摩尔定律从中显威，各种底层技术层出不穷，但是纵观科技发展史，几乎所有的新兴学科的发展背后都有一个字——“钱”！ 作为近年来最火热的行业——人工智能，在烧钱方面同样不遑多让。众所周知，人工智能的训练和推理都需要海量的高性能计算，做深度学习的朋友都知道，现今深度学习领域的 SOTA 模型往往需要巨大的显存空间，这直接导致了深度学习的研究者们需要配置更强劲的 GPU 设备...
79 天前 / Aceyclee～
本文将对衡量深度学习模型大小的一些常用指标，如计算量、参数量、访存量、内存占用等进行探讨，分析这些指标对模型部署推理的影响，尤其是计算量与访存量对模型推理速度的影响，并给出在不同硬件架构下设计网络结构的一些建议。 目录： 一、常用的模型大小评估指标 二、计算量越小，模型推理就越快吗？ 三、影响模型推理性能的其他因素 四、面向推理速度的模型设计建议 五、结语 前言 当年头一次实习做算法的时候，主管给的第一个任务就是「把一个大的分割模型砍成一个小的」。
96 天前 / 美团技术团队
总第 473 篇 2021 年 第 043 篇 后深度学习时代下，技术迭代全面进入深水区，以提升模型复杂度为主体的广告预估模型优化已经不再奏效。美团到店广告质量预估团队紧密结合业务特点，发挥深度模型结构灵活多变的优势，实现了进一步破局。 本文先介绍了美团业务的 LBS 空间距离约束和长周期性两大挑战，然后介绍了上下文、用户、广告、训练方式四个维度的应对方案，具体如下四个技术突破：a.基于位次组合的上下文偏差感知预估；b.基于时空依赖的超长序列建模；c.广告候选动态化；d.灾难遗忘与持续学习，带动线上指标显著提升的同时...
107 天前 / ???Edison_Guo
关注并星标 从此不迷路 计算机视觉研究院 学习群｜扫码在主页获取加入方式计算机视觉研究院专栏 作者：Edison_G 今天我们“计算机视觉研究院”主要分享深度学习入门的基础书籍集合！主要由来自不同城市的同学一起努力的成果，希望可以给到新入门或即将入门的同学一些帮助，一起学习，共同进步！ 背景 目标检测是数字图像中某一类 ( 如人、动物或汽车 ) 的重要计算机视觉任务。目标检测的目标是开发计算模型和技术，提供计算机视觉应用程序所需的最基本的信息之一：什么目标在哪里？ 目标检测作为计算机视觉的基本问题之一...
114 天前 / 我爱计算机视觉
关注公众号，发现 CV 技术之美 本文为 52CV 粉丝投稿，博客地址：https://blog.csdn.net/liuxiaoheng1992/article/details/120228724 作为一名算法工程师，本文主要是想把自己模型调优和复现算法遇到的一些坑总结一下（里面的一行字可能是我当时花费了一周甚至更长时间得到的总结），希望能对读者有所帮助。 熟悉数据 模型是数据的浓缩版 ----Andrew NG 说过二八定律，即 80% 的数据 +20% 的模型 = 更好的 AI 对于新上手的一任务来说，需要熟悉你的数据。
115 天前 / rainNight
越来越多的应用程序是由在不同加速器集上训练的大型复杂神经网络驱动的。这个过程由 ML 编译器促进，将高级计算图映射到低级、特定于设备的可执行文件。为此，ML 编译器需要解决许多优化问题，包括图形重写、设备上的操作分配、操作融合、张量的布局和平铺以及调度。例如，在设备放置问题中，编译器需要确定计算图中的操作到目标物理设备之间的映射，以便可以最小化目标函数，例如训练步骤时间。
118 天前 / rainNight
理解泛化是深度学习中尚未解决的基本问题之一。为什么在有限的训练数据集上优化模型会在保留的测试集上获得良好的性能？这个问题在机器学习中得到了广泛的研究，其悠久的历史可以追溯到 50 多年前。现在有许多数学 工具可以帮助研究人员理解某些模型中的泛化。不幸的是，这些现有理论中的大多数在应用于现代深度网络时都失败了——它们在现实环境中既空洞又不可预测。这种理论与实践之间的差距最大的是过度参数化模型，理论上有能力过度拟合其训练集，但在实践中通常不会。
123 天前 / MegEngine
写文章流式计算框架 MegFlow 开源，帮助铲屎官实现花样宠溺 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine3 人赞同了该文章关于程序员为什么喜欢养猫的回答，网友们给出了很多答案，比如一边吸猫一边写代码，效率更高；养猫不容易脱发；更容易交到女朋友…… 当然，除了喜欢养猫，程序员也喜欢开脑洞，发挥自己的专长，给“猫主子们”安排上各种高科技——自动投喂机、自动饮食机、自动按摩仪……甚至在训模型的时候用猫来做测试，识别猫咪的情绪、听懂猫咪语言。
125 天前 / MegEngine
写文章 CUDA 矩阵乘法终极优化指南 MegEngine Bot 适合工业级研发的开源深度学习框架 - 旷视天元 MegEngine306 人赞同了该文章作者： @ 马骏| 旷视 MegEngine 架构师前言单精度矩阵乘法（SGEMM）几乎是每一位学习 CUDA 的同学绕不开的案例，这个经典的计算密集型案例可以很好地展示 GPU 编程中常用的优化技巧，而能否写出高效率的 SGEMM Kernel，也是反映一位 CUDA 程序员对 GPU 体系结构的理解程度的优秀考题。
152 天前 / hyper0x
↑↑↑关注后"星标"Datawhale 每日干货&每月组队学习，不错过Datawhale 干货 作者：屈太国，湖南大学，Datawhale 优秀学习者本文来自李宏毅机器学习笔记（LeeML-Notes）组队学习，详细介绍了使用深度学习技术的三大主要步骤。教程地址：https://github.com/datawhalechina/leeml-notes 深度学习的三个步骤： Step1：神经网络（Neural network）Step2：模型评估（Goodness of function）Step3：选择最优函数（Pick best function）Step1：神经网络神经网络是由很多单元连接而成，这些单元称为神经元。