15 天前 / 实时音视频A桑
为应对愈发多样化的音视频互动场景下的挑战，Agora 开始设计自己的下一代视频处理引擎，在过程中关于引擎架构、性能调优、插件系统设计等方面总结了很多经验，希望与各位音视频领域的爱好者、行业从业者分享。 5 月 26 日下午，QCon 全球软件开发大会「实时音视频专场」活动中，声网 Agora 架构师李雅琪带来了以《声网下一代视频处理引擎》为主题的大量干货分享，本文是对分享内容的整理。 今天的分享主要会分三部分来进行： 一，为什么我们要打造下一代视频处理引擎，以及引擎的设计原则和目标是什么； 二，我们是如何达到设计原则和目标的； 三...
43 天前 / u312562
接上一期：图像篇，本文重点讲解视频方面的内容技术及应用。技术的持续发展，玩法的不断迭代，视频不仅是品牌营销的重要工具，也已成为一种非常占主导地位的内容形式。 触达成本降低，众多需求和功能将在短视频平台上满足，短视频平台已经成为现代通用平台，iiMedia Research（艾媒咨询）数据显示，2020 年中国短视频市场规模已达到 1408.3 亿元，2021 年或将达到将近 2000 亿。 2013-2019 年短视频行业用户数量来源：艾媒咨询 视频给我们带来什么？ FOR 大众短视频行业的兴盛、视频制作工具的成熟，激发了大量的视频创作者。
51 天前 / 雨后天空
一、前言相信做过移动端视频开发的同学应该了解，想要实现视频从普通播放到全屏播放的逻辑并不是很简单，比如在GSYVideoPlayer中的动态全屏切换效果，就使用了创建全新的Surface来替换实现： 创建全新的Surface，并将对于的View添加到应用顶层的DecorView中；在全屏时将新创建的Surface并设置到 Player Core ;同步两个View的播放状态参数和旋转系统界面；退出全屏时移除DecorView中的Surface，切换 List Item 中的Surface给 Player Core ，同步状态。当然，不同的播放内核可能还需要做一些额外操作，但是这一切在 Flutter 中就变得极为简单。
71 天前 / 实时音视频A桑
5 月 15 日，声网 Agora 高级架构师高纯参加了 WebAssambly 社区举办的第一场线下活动“WebAssembly Meetup”，并围绕声网 Agora 在 Web 实时视频人像分割技术的应用落地，分享了实践经验。以下为演讲分享整理。 RTC 行业在近几年的发展日新月异，在线教育、视频会议等场景繁荣蓬勃。场景的发展也给技术提出了更高的要求。于是，机器学习越来越多地应用到了实时音视频场景中，比如超分辨率、美颜、实时美声等。这些应用在 Web 端也存在同样的需求，同时也是所有音视频开发者面对的挑战。所幸 WebAssembly 技术为 Web 高性能计算提供了可能。
76 天前 / 实时音视频A桑
声网 Agora 已宣布与 HTC 达成合作。开发者将能更便捷地在 VR 应用中无缝集成声网 Agora 的实时音视频、实时消息、互动直播等技术。 随着 VR 头显制造商不断满足硬件需求，开发人员也在努力满足用户对内容吸引力的需求，因此虚拟现实最近变得十分普及。VR 并不是唯一一种普及的技术，在当今的专业行业中，每个人都在使用实时视频流进行沟通和合作。这为开发人员提供了机会，帮助他们开发可以利用 VR 和视频流技术来消除所有距离障碍并创造远程沉浸感的应用程序。
82 天前 / u312562
实验结果 最近给 design-ai-lab 的视频转 gif 示例，增加了抠图功能，有三种的抠图方式：u2net、humanseg、bodypix。 测试下来综合考虑速度，以及对人物的识别情况，选择了 bodypix。最终，把视频抠图处理后存成 gif。 design-ai-lab 里的示例 由于算法本身会有误差的情况出现，所以把步骤拆解下： 1 视频 ->图片帧 2 图片帧 ->抠图 3抠图手动调整（待后续迭代增加） 4多图合成 gif 视频 ->gif 结果 然后就可以使用视频编辑软件或者 keynote 之类的来做进一步处理~~~ 本文我使用了 keynote，来实验动态海报的效果，发现还可以...
123 天前 / 楼外青山
| 导语随着短视频兴起，音视频技术已经越来越火热，或许你之前有了解过如何在前端处理音视频，但随着视频文件的逐渐增大、用户体验要求的不断提高，纯前端处理音视频的技术也推成出新。下面将结合实际案例，讲解如何使用 FFmpeg 和 WebAssembly 实现前端视频截帧。文章较长，也非常硬核，建议先收藏再慢慢看。 背景 腾讯课堂涨知识创作者后台，目前主要通过邀请合作老师来平台上发布视频。上传视频的同时，需要对视频进行截帧生成推荐封面，生成规则比较简单，根据视频总时长，平均截取 8 帧。用户可以从其中选择一张图片作为视频封面。
134 天前 / 实时音视频A桑
线上会议、在线教育、电商直播等多个场景的兴起，也使得实时互动技术从幕后走到台前，得到了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相关的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？ 声网 Agora 开发者社区联合 InfoQ 共同策划，邀请了声网 Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码标准发展、WebRTC、机器学习、音频技术等角度，共同撰写「2021 实时互动技术展望系列」，一窥技术新趋势。本文作者，南京大学陈浩、马展、刘浩杰。
201 天前 / 我爱计算机视觉
2020 年顶会论文中，很多都会将关系加入到注意力机制的获取中。 除了该文，还有 2020 年 CVPR 的基于视频的 Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification、基于图像的 Relation-Aware Global Attention 等。 该方法都会在这些论文中有着很好的效果，可见这是在行人重识别领域一大发展。 论文名称：Relation-Guided Spatial Attention and Temporal Refinement for Video-Based Person Re-Identification( 基于关系引导的空间注意力和时间特征提取的基于视频的行人再识别) 第一作者：Xingz...
248 天前 / WebRTC中文网
Web Real-Time Communications 网页实时通信，简称WebRTC。WebRTC是一个HTML5规范，它允许用户在浏览器之间直接进行实时通信，不需要任何第三方插件。WebRTC可用于多种情境（比如文件共享），但端对端实时音频和视频通信是其主要功能。本文将着重为大家介绍这两项。 WebRTC所做的就是允许接入设备。你可以借WebRTC来实时使用麦克风、摄像头和分享你的屏幕。 所以，WebRTC可以用最简单的方式在网页中实现音频和视频通信。 WebRTC JavaScript API WebRTC说起来很复杂，它涉及到很多技术。
254 天前 / 开发者头条
大家好，我是周刊菌。 「码农周刊 VIP 会员」推出 30 周啦！感谢亲们的大力支持！第 030 期「码农周刊 VIP 会员专属邮件周报」已发送完毕，请注意查收。 告诉大家一个好消息：已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」，感谢肯定！ 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 「码农周刊 VIP 会员」是什么？ 简介版 码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 加入「码农周刊 VIP...
259 天前 / reesunhuang
一、背景 在视频推荐场景中，一方面我们需要让新启用的视频尽可能快的触达用户，这一点对于新闻类的内容尤为关键；另一方面我们需要快速识别新物品的好坏，通过分发的流量，以及对应的后验数据，来判断新物品是否值得继续分发流量。 而这两点对于索引先验数据和后验数据的延迟都有很高的要求。下文将为大家介绍看点视频推荐的索引构建方案，希望和大家一同交流。文章作者：纪文忠，腾讯 QQ 端推荐研发工程师。 注：这里我们把视频创建时就带有的数据称为先验数据，如 tag，作者账号 id 等，而把用户行为反馈的数据称为后验数据，如曝光、点击、播放等。
284 天前 / 我爱计算机视觉
本文盘点 ECCV 2020 图像与视频修复（inpainting）所有相关论文，总计 8 篇。 下载包含这些论文的 ECCV 2020 所有论文：ECCV 2020 论文合集下载，分类盘点进行中 图像修复 Rethinking Image Inpainting via a Mutual Encoder-Decoder with Feature Equalizations 作者 |Hongyu Liu,Bin Jiang,Yibing Song,Wei Huang,Chao Yang 单位 | 湖南大学；腾讯 论文 |https://arxiv.org/abs/2007.06929 代码 |https://github.com/KumapowerLIU/Rethinking-Inpainting-MEDFE 备注 | ECCV 2020oral 提出了一种具有特征均衡的相互编码器 - 解码器，在图像修复过程中...
303 天前 / 开发者头条
大家好，我是周刊菌。「码农周刊 VIP 会员」推出 23 周啦！感谢亲们的大力支持！第 023 期「码农周刊 VIP 会员专属邮件周报」已发送完毕，请注意查收。告诉大家一个好消息：已有数位上市公司 CTO 低调订阅了我们的「码农周刊 VIP 会员专属邮件周报」，感谢肯定！ 以下内容选自「码农周刊 VIP 会员」圈子，每日更新，精彩不断。 「码农周刊 VIP 会员」是什么？简介版码农周刊 VIP 会员 = 全年 52 期「VIP 会员专属邮件周报」 + 只限 VIP 会员加入的交流圈子 + 大厂「内推机会」 + N 多福利 详细版 点击「阅读原文」即可查看详细介绍 加入「码农周刊 VIP 会员...
330 天前 / 咖啡拿铁
背景 又是一年一度的秋季校招开始了，以往的校招各个公司都会在公司现场或者学校现场安排学生进行现场面试？但是今年由于疫情的原因，不允许让同学在现场进行一个面试，所以今年的面试形式就从线下转到了线上，面试形式的转变，但是我们考核学生的方式依旧没有转变。 校招的同学和社招的同学有很大的不同，他们没有丰富的工作经验，没有太多的项目经历，那么我们如何去衡量一个校招的同学呢？那就是基础和潜力，怎么去理解基础呢？俗话说不积跬步，无以至千里，不积小流，无以成江海，如果没有一个好的基础那么怎么才能成为一个优秀的工程师呢。