10 小时前 / u490380
在群里面有人提到了这么一个实现：现有一段素材视频，想要对视频中的某个内容进行替换，换成自己的图片，这个怎么用 OpenGL 去实现呢？ 首先要明确的是，视频是由一帧一帧图像组成的，它利用了人眼的视觉暂留效应，一秒内播放足够帧数的图片才会感觉到是连续的。 而想要对视频的内容进行替换，也就是要将每一帧图像的内容都进行替换了，一般来说这应该是属于视频后期处理了，用专业的 AE （Adobe After Effects）软件来处理会比较好。 处理思路如果用 OpenGL 来处理，有这样的一个思路： 首先通过 MediaCodec 对每一帧图像内容进行解码，然后再......
23 天前 / richardor
一、前言这篇文章主要想说明的是WebRTC内部对视频上下行延时、抖动、丢包如何更新，上层又怎么获取到这些统计信息的。对应的WebRTC版本：63。 二、背景最近在内网情况下测试视频会议，视频下行延时很大，很多时候超过100ms。另外，视频的上下行抖动总是稳定在30~40ms这个区间。这些统计在内网环境下是不正常的，于是决定看看是哪里导致这些问题的。 在解决这些问题的过程中，也对WebRTC内部视频统计数据做了一次梳理。 阅读这篇文章之前，最好对RTP、RTCP、SR、RR有一些了解。这里就不过多展开，可以参考以下文章： [RTP Data Transfer Protoco......
24 天前 / 实时音视频A桑
我今天给大家介绍的是 Flutter 实时音视频开发实践方面的经验。我叫张乾泽，毕业于英国牛津大学，之前在 SAP 主要担任移动端架构师，2017年加入声网Agora，目前是声网Agora 的高级架构师，主要负责 RTC 技术在娱乐、直播、教育等行业的应用研发工作。 首先我们讲到 RTC 应用，什么样是 RTC 应用呢？RTC 是 Real-time Communications。大家平时在日常生活中已经接触到非常非常多的RTC应用，比如说直播，大家平时会用手机看熊猫直播、斗鱼直播，实时看主播的游戏画面、他们唱歌的画面、跳舞的画面。还有教育，通过互联网可以实现远程教育，比如学生......
33 天前 / sprint
展展与罗罗：《沙漠骆驼》 01 前言 大家好，本文是iOS/Android 音视频专题的第四篇，从本篇文章开始我们将动手编写代码。代码工程将在Github进行托管。由于微信公众号不允许设置外部链接，你可以在微信公众（GeekDev）后台回复 资料获取项目地址。 02 MediaExtractor 的基本使用 对音视频媒体文件解码时，我们首先需要分离出媒体文件的音视频轨道，MediaExtractor就是干这个的，它可以告诉你媒体中轨道（Track）数量，并根据索引读取指定轨道数据。 API 概述 1. setDataSource(String path) 为分离器......
33 天前 / 实时音视频A桑
“ 作者：maverick、buhe，本文首发于RTC开发者社区，点击「阅读原文」可以与两位作者交流在线教室中的白板开发经验。 随着技术和基础设施的进一步演进，线下的教育、会议已有很大比重演进为线上的教育和会议，突破了空间的桎梏。需求的多样性爆发增长和场景的进一步拓宽也对技术产生了非常大的挑战，有别于传统视频会议的方案，现有方案更多考虑兼容性、平台多样性、移动化等，在产品的链路上也变的愈加丰富，从实时到录制、在到后期的信息检索和分析。在绝大部分在线教育、视频会议场景中，实时音视频互动与白板都是必备功能，然而实时音视频......
37 天前 / kbsc13
2019 第 37 篇文章，总第 61 篇文章 本文大约 1800字，阅读大约需要 5分钟 最近发现兴起了一股在Github上大学的潮流，目前可以选择的大学包括清华、北大、上海交通大学、中国科学技术大学、中山大学，然后今天还发现还可以选择上国外的名牌大学，包括斯坦福、麻省理工等。 所以小时候的清华北大二选一终于可以实现了，这是为什么呢？ 原来是有人整理了这些学校的一些专业课程资料，并放到Github上了。这里让我一一简单介绍下这些项目！ 北京大学目前Github上有两个项目是关于北京大学的课程资料，分别是： https://github.com/lib-pku/libpku......
40 天前 / php-v
视频处理平台的核心功能是视频转码，而转码压缩的过程势必会造成视频质量的损失。腾讯音视频实验室技术专家高孟平在LiveVideoStackCon 线上交流分享中根据腾讯丽影平台的开发实践经验，详细介绍了如何利用深度学习在提升视频转码压缩效率的同时提供更高的人眼视觉质量。在LiveVideoStackCon 2019上海 音视频技术大会中，高孟平博士还将介绍无参考质量评估在视频增强的进展与应用。 文 / 高孟平 整理 / LiveVideoStack 直播回放 https://www2.tutormeetplus.com/v2/render/playbackmode=playback&token=0febd6ef28094bb0b9d7859a2e6c4f68 ......
46 天前 / 极市小助手
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！ 同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~ 作者简介 陈泰红：算法工程师，研究方向为机器学习、图像处理 图像目标检测是图像处理领域的基础。自从2012年CNN的崛起，深度学习在Detection的持续发力，为这个领域带来了变革式的发展：一个是基于RPN的two-stage，RCNN/Fast RCNN/Faster RCNN、RetinaNet、Mask RCNN等，......
54 天前 / algorithmdog
| 导语来自中心姚博的大作。 为了能够对自动提取王者荣耀视频标签，我们需要对王者荣耀游戏视频中的英雄进行检测与识别，判断该视频中我方英雄以及友方和敌方，这就需要首先在视频中检测出英雄的位置和数量，然后对每个检测到的英雄，判断英雄的类别（我方/友方/敌方）并识别出英雄的姓名。笔者在实验过程中，发现了一种two-stage算法能够较好地解决这一问题，采用基于血条模版匹配+后处理的方法实现英雄的检测，第二阶段采用深度神经网络对检测到的英雄进行识别。 一、算法调研针对通用的图像或视频中的目标检测与识别任务，目前主流的算法......
75 天前 / sprint
陈奕迅：《红玫瑰》 01 前言 大家好，从本文开始我们将从 Android 音视频专题开始探索，并按照iOS/Android 音视频开发专题介绍依次开始。iOS 音视频专题将在Android 音视频专题结束后进行。 在进入实战之前，我们有必要了解下音视频相关术语。 02 音频视频编码 什么是音视频编码 ？ 所谓音视频编码就是指通过特定的压缩技术，将某个音视频格式的文件转换成另一种音视频格式文件的格式。 音视频编码的意义 ？ 音视频编码的最终目的是对音视频进行压缩，未经编码（压缩）的音视频数据量大，存储困难，不利......
92 天前 / LiveVideoStack
YY音视频算法中心负责人林绪虹在LiveVideoStackCon 2018音视频技术大会的演讲中介绍了YY如何实现全平台差异化直播能力，以及视频画质、流畅度、音视频同步、弱网条件下开播，连麦质量等直播体验核心技术指标的优化策略。LiveVideoStack对演讲内容进行了整理。 文 / 林绪虹 整理 / LiveVideoStack 大家好，我是来自YY音视频算法中心的林绪虹，今天我将从以下两个方面为大家分享YY在视频直播体验领域的多项优化实践。 1.全平台差异化直播能力 之所以我们努力实现全平台差异化直播能力，最重要的原因是YY作为最早入局......
94 天前 / LiveVideoStack
Up主上传的大量优质视频内容使得bilibili（B站）深受年轻用户的喜爱。bilibili视频云高级研发经理 唐君行在LiveVideoStack线上交流分享中详细介绍了B站为提供更流畅、稳定用户体验，努力优化上传系统架构，建立质量体系以及质量调优中的实践经验。 文 / Json（唐君行） 整理 / LiveVideoStack 直播回放： https://www.baijiayun.com/web/playback/indexclassid=19012252228433&token=oxx9-k_ZrxvhKKZLIMQ5hscti3kMCPTn5jjVy0_0ZBG_6qrsbCBq-khAVqheOz1TCqdH1zJ1Si0 大家好，我是来自bilibili（B站）的Json，目前主要负责bilibil......
114 天前 / LiveVideoStack
斯坦福大学研究小组发布了一项新的开源研究项目Puffer，该项目致力于通过人工智能改进互联网传输与视频流算法。点击【阅读原文】访问Puffer官网。 文 / Doyle 由计算机科学博士生Francis Ya领导的斯坦福大学研究小组推出了一个名为Puffer的新免费直播电视流媒体服务网站。 Puffer是斯坦福大学关于使用机器学习改进视频流算法的一项研究：YouTube，Netflix和Twitch等服务使用的算法类型。该研究的最终目标是发现新的算法，以减少停顿，提高图像质量，减少启动/通道切换，并改善自适应流。此前，麻省理工学院计算机科学与人工智......
121 天前 / LiveVideoStack
LinkedIn通过在视频播放过程中收集的大量数据，对多种视频指标进行实验以提高视频性能，改善用户体验。本文来自LinkedIn工程博客，LiveVideoStack对文章进行了翻译。 文 / Evan Farina 翻译 / 元宝 原文 https://engineering.linkedin.com/blog/2019/01/how-linkedin-uses-data-to-improve-video-performance 在LinkedIn，我们使用数据来改善会员在使用我们网站时的体验。在视频团队中，我们看重的是能够洞察我们的视频需要多长时间加载、为什么某些视频比其他视频更受关注、以及我们的成员如何与网络、iOS和Android上的视频进......