8 天前 / 我爱计算机视觉
关注公众号，发现 CV 技术之美 ▊写在前面 训练深度视频模型比训练其对应图像模型慢一个数量级。训练慢导致研究周期长，阻碍了视频理解研究的进展。按照训练图像模型的标准做法，视频模型训练使用了固定的 mini-batch 形状，即固定数量的片段，帧和空间大小。 然而，最佳形状是什么？高分辨率模型表现良好，但训练缓慢。低分辨率模型训练速度更快，但精确度较低。受数值优化中多重网格方法的启发，作者提出使用具有不同时空分辨率的可变 mini-batch 形状。不同的形状源于对多个采样网格上的训练数据进行重采样。
33 天前 / hyper0x
点击上方音频，立即收听本文↑↑↑ “虚拟现实以及元宇宙的意义就在于通过重塑规则，重塑法则，打破规则的限制，让人的满足有更大的丰富的可能性，并实现指数级的放大。”“未来最重要的是在医学技术方面的进步，这可以让我们活得更健康更久，另一个是在精神层面技术的进步迁移，让我们在精神上获得更大的成就和价值感，这是我们看好元宇宙这个行业的最根本上的哲学层面的逻辑。”“我们要去观察那些世界的开拓者和领军者他们在做什么，他们的行为是我们重要观察的风向标，那些科技时代的企业家们的所思所想基本上代表了我们的未来。
40 天前 / 我爱计算机视觉
关注公众号，发现 CV 技术之美 作者单位：港中文、思谋科技 论文链接：https://arxiv.org/pdf/2111.15288 代码链接：https://github.com/redrock303/Revisiting-Temporal-Alignment-for-Video-Restoration.git 编者言：本文主要侧重对视频帧中时间对齐的研究，提出了一种迭代对齐的方式来精细视频帧之间的对齐，从而成功的刷新了众多视频 low-level 领域的成绩！代码也已开源！ 看点 对于视频恢复任务来说长距离时间对齐是重要的且具有挑战性的。最近的一些工作将长时间对齐划分为渐进处理的子对齐。
114 天前 / mr7
作者 陈孟腾讯研究院高级研究员 本文首发于《深圳文化发展报告（2021）》，原标题《5G 背景下视频行业的发展趋势研究》。 近年来，新兴视频形态的蓬勃发展带来社会信息传播方式的变革，内容行业的“视频转向”趋势日益明显。与此同时，5G、人工智能、大数据等技术正在渗透视频业务创新实践，推动视频生产传播流程和受众体验的优化，促进行业发展出更丰富多元的内容形态，覆盖更多的场景和受众。 5G 作为社会信息系统的底层技术，有望引发整个信息基础设施的革命性升级，创造出新的社会传播图景。
122 天前 / AggrxTech
当今，视频已经成为信息的主要载体在互联网上传播。很多公司或生产、或分发，纷纷都投入到这个领域中来。日益激烈的竞争让大家纷纷开始关注视频本身的质量，比如能否秒开、播放是否清晰、是否流畅等等。本文分享的就是这样一款被业界普遍接受，并纷纷开始使用的视频质量的评价工具。1. 视频质量评价视频质量评价最基本的两种方式就是主观和客观评价。前者完全依赖个人体验，后者则依赖各种算法和量化指标。比如此前应用比较多的峰值信噪比（PSNR）、结构相似性指数（SSIM）。
132 天前 / 我爱计算机视觉
关注公众号，发现 CV 技术之美 本文转载自淘系技术。 淘宝视频是如何分类的？又是如何保持不同类别视频样本得到相对均衡？又是如何应用的？ 背景介绍 随着 5G 时代的到来，视频内容形态迸发出勃勃生机，各大短视频 app 获得的巨大成功、淘宝短视频完成的种草和成交转化都说明短视频承担着商品介绍、图文内容等其他形式不可替代的重要作用。 淘宝内经过多年的沉淀，已经积累了上亿的视频。如何深入理解视频内容，对视频内容完成结构化分析和管理，对海量视频的管理和分发有着重要影响。
189 天前 / 实时音视频A桑
为应对愈发多样化的音视频互动场景下的挑战，Agora 开始设计自己的下一代视频处理引擎，在过程中关于引擎架构、性能调优、插件系统设计等方面总结了很多经验，希望与各位音视频领域的爱好者、行业从业者分享。 5 月 26 日下午，QCon 全球软件开发大会「实时音视频专场」活动中，声网 Agora 架构师李雅琪带来了以《声网下一代视频处理引擎》为主题的大量干货分享，本文是对分享内容的整理。 今天的分享主要会分三部分来进行： 一，为什么我们要打造下一代视频处理引擎，以及引擎的设计原则和目标是什么； 二，我们是如何达到设计原则和目标的； 三...
216 天前 / u312562
接上一期：图像篇，本文重点讲解视频方面的内容技术及应用。技术的持续发展，玩法的不断迭代，视频不仅是品牌营销的重要工具，也已成为一种非常占主导地位的内容形式。 触达成本降低，众多需求和功能将在短视频平台上满足，短视频平台已经成为现代通用平台，iiMedia Research（艾媒咨询）数据显示，2020 年中国短视频市场规模已达到 1408.3 亿元，2021 年或将达到将近 2000 亿。 2013-2019 年短视频行业用户数量来源：艾媒咨询 视频给我们带来什么？ FOR 大众短视频行业的兴盛、视频制作工具的成熟，激发了大量的视频创作者。
225 天前 / 雨后天空
一、前言相信做过移动端视频开发的同学应该了解，想要实现视频从普通播放到全屏播放的逻辑并不是很简单，比如在GSYVideoPlayer中的动态全屏切换效果，就使用了创建全新的Surface来替换实现： 创建全新的Surface，并将对于的View添加到应用顶层的DecorView中；在全屏时将新创建的Surface并设置到 Player Core ;同步两个View的播放状态参数和旋转系统界面；退出全屏时移除DecorView中的Surface，切换 List Item 中的Surface给 Player Core ，同步状态。当然，不同的播放内核可能还需要做一些额外操作，但是这一切在 Flutter 中就变得极为简单。
245 天前 / 实时音视频A桑
5 月 15 日，声网 Agora 高级架构师高纯参加了 WebAssambly 社区举办的第一场线下活动“WebAssembly Meetup”，并围绕声网 Agora 在 Web 实时视频人像分割技术的应用落地，分享了实践经验。以下为演讲分享整理。 RTC 行业在近几年的发展日新月异，在线教育、视频会议等场景繁荣蓬勃。场景的发展也给技术提出了更高的要求。于是，机器学习越来越多地应用到了实时音视频场景中，比如超分辨率、美颜、实时美声等。这些应用在 Web 端也存在同样的需求，同时也是所有音视频开发者面对的挑战。所幸 WebAssembly 技术为 Web 高性能计算提供了可能。
250 天前 / 实时音视频A桑
声网 Agora 已宣布与 HTC 达成合作。开发者将能更便捷地在 VR 应用中无缝集成声网 Agora 的实时音视频、实时消息、互动直播等技术。 随着 VR 头显制造商不断满足硬件需求，开发人员也在努力满足用户对内容吸引力的需求，因此虚拟现实最近变得十分普及。VR 并不是唯一一种普及的技术，在当今的专业行业中，每个人都在使用实时视频流进行沟通和合作。这为开发人员提供了机会，帮助他们开发可以利用 VR 和视频流技术来消除所有距离障碍并创造远程沉浸感的应用程序。
255 天前 / u312562
实验结果 最近给 design-ai-lab 的视频转 gif 示例，增加了抠图功能，有三种的抠图方式：u2net、humanseg、bodypix。 测试下来综合考虑速度，以及对人物的识别情况，选择了 bodypix。最终，把视频抠图处理后存成 gif。 design-ai-lab 里的示例 由于算法本身会有误差的情况出现，所以把步骤拆解下： 1 视频 ->图片帧 2 图片帧 ->抠图 3抠图手动调整（待后续迭代增加） 4多图合成 gif 视频 ->gif 结果 然后就可以使用视频编辑软件或者 keynote 之类的来做进一步处理~~~ 本文我使用了 keynote，来实验动态海报的效果，发现还可以...
297 天前 / 楼外青山
| 导语随着短视频兴起，音视频技术已经越来越火热，或许你之前有了解过如何在前端处理音视频，但随着视频文件的逐渐增大、用户体验要求的不断提高，纯前端处理音视频的技术也推成出新。下面将结合实际案例，讲解如何使用 FFmpeg 和 WebAssembly 实现前端视频截帧。文章较长，也非常硬核，建议先收藏再慢慢看。 背景 腾讯课堂涨知识创作者后台，目前主要通过邀请合作老师来平台上发布视频。上传视频的同时，需要对视频进行截帧生成推荐封面，生成规则比较简单，根据视频总时长，平均截取 8 帧。用户可以从其中选择一张图片作为视频封面。
308 天前 / 实时音视频A桑
线上会议、在线教育、电商直播等多个场景的兴起，也使得实时互动技术从幕后走到台前，得到了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相关的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？ 声网 Agora 开发者社区联合 InfoQ 共同策划，邀请了声网 Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码标准发展、WebRTC、机器学习、音频技术等角度，共同撰写「2021 实时互动技术展望系列」，一窥技术新趋势。本文作者，南京大学陈浩、马展、刘浩杰。
375 天前 / 我爱计算机视觉
2020 年顶会论文中，很多都会将关系加入到注意力机制的获取中。 除了该文，还有 2020 年 CVPR 的基于视频的 Multi-Granularity Reference-Aided Attentive Feature Aggregation for Video-based Person Re-identification、基于图像的 Relation-Aware Global Attention 等。 该方法都会在这些论文中有着很好的效果，可见这是在行人重识别领域一大发展。 论文名称：Relation-Guided Spatial Attention and Temporal Refinement for Video-Based Person Re-Identification( 基于关系引导的空间注意力和时间特征提取的基于视频的行人再识别) 第一作者：Xingz...