视频后台专题算法与后台的完美结合视频内容理解Word格式.docx
《视频后台专题算法与后台的完美结合视频内容理解Word格式.docx》由会员分享，可在线阅读，更多相关《视频后台专题算法与后台的完美结合视频内容理解Word格式.docx（18页珍藏版）》请在冰点文库上搜索。
随着家用电脑及智能手机的不断普及，内容数量和类型不断丰富，门户网站已经很难承担多类型海量内容的分发任务，用户面对爆炸内容时，传统门户网站对于用户选择呈现了低效的现象。
于是，一种新的信息分发技术诞生——搜索。
搜索主要解决的问题是根据用户搜索的内容找到相关内容，并根据将内容有序的呈现在用户面前。
搜索初期关键词技术很好的解决了这个需求，于是也成为那个时期的研究热点。
但是关键词技术同样存在实体歧义的局限性，比如搜索亚瑟王，关键词很难区分出来是亚瑟玩传奇的亚瑟王，还是Type-moon的Saber。
在2012年Google提出知识图谱概念，主要就是用于解决上述的实体歧义问题，实体链指的问题也有了比较大的进展。
（3）智能时代
自2012年~至今，伴随着内容爆炸式的增长，用户消费模式更进一步融合了门户网站的海量内容呈现+搜索时代的精准化内容检索，推荐及个性化推荐应运而生。
2012年则是作为智能时代的开端，虽然个性化推荐技术早有研究，但是对于信息分发这个任务有不可或缺的推动作用。
①图文时代
个性化推荐其实经历了两个时代，其一是图文时代，其二是视频时代。
图文时代在国内则是以今日头条和一点资讯为代表的个性化图文分发引擎，初期内容基本上是通过爬去各个传统门户网站的内容经过自己的内容理解做好基础分类的标签归属，然后在通过个性化分发引擎做到你关心的就是头条。
②视频时代
自2015年开始，伴随4G普及及终端设备的急剧降低，用户消费场景正式步入移动时代。
在内容消费中也逐步变成从传统图文消费转变为了视频、音频消费的模式。
这个时候，由于音视频本身的识别难度远大于图文内容，在优劣内容判别时，传统的知识图谱、关键词、人工运营已经无法覆盖生动的视频内容，这个时候内容理解便得到了重要发展。
2.内容理解的重要性
内部因素来看：
伴随内容爆炸式增长，UGC创作者创作水平、创作目的各不相同；
PPC&
PGC内容则面临着视频二次创作，选择优质经典内容成本极高的问题；
消费者存在内容理解偏差，平台需要保证基础内容质量将优质内容呈现在消费者面前。
平台面临运营人力成本控制及优质内容选择，优秀创作者筛选，版权采购及运营工业化等各方面问题。
外部因素来看：
自2015年开始，食品消费增速不断扩大，视频消费已经占据用户在内容领域消费的绝对大头，并且在2021年及之后的一段时间内依然是保持增长赛道。
外部需求有，内容供给足，运营成本高，三者结合，视频内容理解则成为了平台重要扶持对象。
二、视频内容理解产品架构
产品能力上来讲，内容理解主要分为三个部分：
视频信息归类、视频特征整理、优劣内容识别。
视频信息归类：
通常情况下内容理解算法经过深度学习以后，可以对视频内容进行内容分类及标签定义，用于给视频内容自动化定义基础的分类和相近的标签。
视频特征整理：
视频特征主要针对于视频内容本身和视频评论进行特征标识的。
通常情况下会视频本身的特征主要是对画面和音频两个方面进行特征整理。
画面方面主要是强调的是视频主题（视频带货、才艺表演、古装电视、综艺真人秀）、作者类型（穿搭博主、颜艺博主）、创作者能力及兴趣（资讯版本、历史板块、泛知识类板块）、OCR识别（主要识别视频画面中的文字关键信息）。
对于音频则主要是识别音频中的音乐（出现位置、BGM名称等）、ASR识别（语音转文字、音色、音调等）。
针对于视频评论主要是整理评论估计推荐度、评论关键词等信息作为辅助本身本身特征及归类的描述。
优劣内容识别：
一般情况下内容理解后台会对线上视频内容做组合式内容优劣识别，组合式包括了内容本身及内容评论两个部分。
这之中主要是会对内容本身、内容评论做独立优劣识别，同时会根据内容评论的分析结果作为内容本身优劣的一个评判维度。
针对于内容本身一般会分为优质内容、次优质内容、一般内容、劣质内容四项，评论通常情况下会分为神评论、一般评论、争议评论、劣质评论、抑制创作评论这五种类型。
整体对于内容优劣的判断通常如下图所示：
1.内容理解流程
为了快速对视频内容形成信息归类、特征理解与优劣判定，当视频入库的时候，内容理解后台会监听视频内容入库的消息，视频入库完成后通常会到存储将视频内容下载到内容理解后台中，在内容理解后台对视频展开画面及音频的内容分析，确定视频的基本归类、特征、优劣判断。
在视频上线一段时候以后，展开周期性的根据视频互动数据对视频内容理解进行多次优化，不断深化内容画像。
目前线上视频业务中，用户视频通常情况下不会给用户对线上已发布时候进行视频调整的机会，因此内容理解中不太需要判断视频是否存在修改而进行相应的画像调整；
版权视频由于成本问题，通常收到监管要求以后会对视频进行再加工处理，因此线上视频会进行剪辑渲染等调整，所以当内容理解后台监听到视频调整以后，需要对视频进行重新内容分析。
对于一些重点内容，需要内容理解后台将分析的结果呈现在运营面前，运营可以对分析结果进行调校。
通过以上的行为，便可以对视频内容做相对详细的分析，结合上述内容，内容理解的流程如下图所示：
2.内容理解业务覆盖
如前文内容理解的介绍，内容理解后台主要的作用是在于视频信息归类、视频特征整理与应用、优劣内容识别三个部分，包含了对视频、音频、字幕、评论为主的多维度内容分析。
由于在PPC、PGC、UGC内容中业务对于视频内容的运营策略与人力资源的不同，因此内容理解对于不同生产形势的视频内容会进行区别化分析。
我们通常情况下将版权采购和平台自制时长高于20分钟的视频称之为版权长视频，把用户上传的称作用户视频，目前新兴的如《生活对我下手了》系列版权采购单集5分钟以内的视频可以称之为微剧。
由于微剧整体从内容供给和消费而言与PPC、PGC长视频相似，因此可以并入到版权或自制视频中进行分析。
（1）信息归类
分类：
版权内容一般会对自己的视频做200-300个分类，包括一级分类（如电影、电视剧、综艺、动漫、纪录片等）、二级分类（华语、港台、日韩、欧美等）、三级分类（喜剧、爱情、动作、青春、奇幻等）。
由于版权视频在内容购买时存在投资与购买片库的两种逻辑，因此新热大火的内容通常是人工运营选择分类，其它片库内容可以通过内容理解后台对分类进行建立。
用户内容通常情况下会做相对于版权视频相对多一些但是层级少一些的分类，一般情况下用户视频分类的个数约500-800个，包括一级分类（游戏、舞蹈、鬼畜、美食等）、二级分类（美食制作、美食侦探、美食测评等），这部分内容一般都是由内容理解后台或用户选择进行自动归类（由后台归类节约用户上传视频步骤容易提升产量，因此由后台归类逐步变得更广泛的应用），头部大号一般会有相应的大V运营同学对分类进行调整。
标签：
一般情况下，内容理解后台会根据视频画面内容、音频、字幕内容进行初步的标签核对，后续会通过离线加载视频评论的方式，将视频评论的标签和视频内容的标签全部打入视频，后续经过搜索等、推荐等行为，不断确定标签的优先级，将标签打在视频内容、专辑、播单等主体上面。
与分类相同，头部大V的内容会由公司运营对标签进行调整。
（2）特征整理
特征理解主要分为视频表征理解（如视频主题、创作者兴趣特长等）、优质音视频内容识别（精彩片段分析、BGM分析等）这两部分。
视频表征理解：
表征理解顾名思义是对视频表达的内容主题、创作者长短板、消费匹配等进行分析，通过对画面、字幕、音频的分析，确定视频的表达主题、出镜人员识别（演员、网红之类的）等信息，将信息存放在内容理解库中，并广泛应用于视频的编目信息。
优质音视频识别：
优质音视频识别的主要的应用场景是在于长视频消费和生产，同样也可以适用于直播领域的点播内容制作，特殊场景下的内容展现（如足球比赛的关键进球、红黄牌等信息）。
由于版权视频业务中，在消费和生产端存在优质音乐回放、优质视频拆条等素材，因此在整体的制作消费环节中，内容理解后台可以通过算法分析并识别出优质的音视频内容给到生产、消费端进行使用。
音视频特征识别除了本身作为音视频内容外，同时存在着从视频中提取并分析相应音视频内容，并根据内容识别专场、优质帧位等信息，从而找到并广告位精彩点位等关键位置；
进一步生产个性化封面图、个性化标题等信息用于后续的推荐、搜索、播放等业务场景中。
（3）优劣分析
一般情况下内容理解后台会从三个方面对视频进行优劣判断，分别是音视频质量、视频内容质量、视频互动。
会对以上三个方面各处每个方面的基础分数，同时会将三者的分数在消费端的综合表现及权重做多次加权给出总体分数。
①音视频质量
通常情况下，音视频质量是视频优劣的一个重要指导指标。
。
一般情况下评价音视频质量主要有以下3大方面：
1.画面问题
2.音频问题
3.音画问题
画面问题：
画面问题主要是涵盖了花屏、拉丝、灰屏；
分辨率；
帧率；
横竖屏；
画面细节展现；
模糊、马赛克；
黑屏等问题。
音频问题：
爆音；
噪音多；
卡顿等问题。
音画问题：
主要面临的问题的是音画不同步。
根据以上三类问题，通常情况下会将对音视频质量分析的步骤称之为质量检测。
质量检测一般是会根据已经上线的视频，按照视频内容的重要程度进行自动检测及人工检测，一般情况下为了保证人工检测的置信性会进行两轮的人工检测，视频行业的说法是一检和二检。
自动检测：
视频进入到平台通过安全审核上线后，会优先利用算法对视频进行质量检测，质量审核是面对所有平台已上线视频做的。
一般情况下对视频质量进行画面、音频、字幕等单方面检测，同时会利用平台用户消费状况给予视频一个综合分数。
在自动检测时，为了更加清晰地了解到是平台对视频二次编码的出现的质量问题还是视频原始介质的问题，一般都会对原视频介质和线上码流都进行自动检测。
现在常用的综合分数主要主要是分为两种，一种是平台自行开发的，另外一种是基于开源工具进行检测。
VMAF是一款Netflix开发的一款基于视频画面进行综合打分算法的工具，视频画面经过工具后会得到PSNR的分数，通常情况下PSNR分数相差3以上基本就是肉眼可见的质量差异。
下图上面两张图片PSNR分数为31分，下面两张个图片是34分。
虽然目前市面上各家公司都习惯于对外宣传使用自研视频质量分数，如果希望做跨平台对比视频内容一般还是使用第三方数据可靠性比较高。
人工检测：
对于平台内部的重点视频在自动检测出现出现比较有争议的分数时，便需要人工检测进行校验。
一般人工检测的视频包括平台版权采购内容、平台自制内容、头部创作者视频、近期播放指数陡增的视频这四类。
人工检测一般的检测项和自动检测保持一致，需要经过二次人工检验对视频进行最终定性，并给出视频调整的综合性建议（如对原视频介质进行优化、重新对运营流进行编码等操作）。
②视频内容质量
视频内容质量主要指的是视频内容本身（不计算编码后音视频码流质量）对于用户价值平台价值的综合得分。
由于这部分视频计算得分需要模仿用户心理状态，因此在视频内容质量的计算过程中需要主要考虑的是基于平台消费情况视频的客观事实和符合平台及用户消费导向的优质视频筛选这两个部分进行视频内容质量打分和推荐。
对于视频内容消费而言，人们对于优质的理解总是各不相同的，此时优质内容的识别就需要给予平台调性和主推以及用户消费进行综合性筛选；
劣质内容的认定基本上用户会形成相应的共识，因此内容理解后台对于劣质内容识别可以通过规则及算法精准找到。
劣质视频识别：
劣质的视频内容一般可以通过标题与内容的联系、视频内容画面、音频等元素是可以通过系统识别出来的。
具体的表现有标题党、视频时间过短、营销导流（贴二维码、硬广）、有明显的台标、作品重复、诱导互动、性暗示、非原创投自制等。
通过这样通用性的劣质视频规则和算法的识别可以第一时间内识别出来平台内的劣质视频并加以标识。
优质视频探索：
优质视频需要满足的条件是热门、多样、经典、符合平台价值观这三方面的需求。
∙热门
∙多样
∙经典
∙符合平台价值观
视频的热门判断：
热门内容一般分为总体热门内容和地方性热门内容，总体热门内容主要是需要具备的条件是实效性、权威性、广泛性这三大特点。
实效性内容主要是基于热点事件，网络用户查阅量较高的话题做成的内容，笔者当年做了一个监控微博热搜+自动图文转视频的工具，对实效性内容制作和分发起到了还不错的收益；
权威性主要指的是账号，对于热门内容而言，最简单的判断方法是看账号的属性；
广泛性指的是需要筛选出来的内容具备规模效应，至少平台中60%以上的用户会喜欢这样的内容，产生的长播放覆盖占比需要超过当日活跃用户数的30%以上，比如B站在热门内容的选择中对于二次元宅舞动漫混剪会有相应加权。
地方性热门内容需要给予LBS进行推荐，作为一手分析优质内容的视频理解后台，需要对地方性优质内容做好相应的地域标记，比如某些地区第二天强暴雨预警就是地方性很强的热门内容。
视频多样性选择：
平台在判断优质内容的时候，会根据内容分类在每个分类下都找到一些评分较高的视频，在整体的视频内容召回时，不在单纯进行整体的评分排序，而是按照平台视频消费的内容频道、视频归类等因素，按照频道或者归类（在统计频道或者归类时需要获取不同类目下内容和实际产生vv占比及BI预测占比）进行按比例召回，根据频道归类的消费指数*视频分数进行统一排序后再通过算法模型做一定的顺序打乱，通过这样的方式召回的视频用以构成了平台的优质内容多样性，让用户在消费中可以感受到平台内容多且种类多。
经典视频的筛选：
在视频平台中都存在着一些能够长期稳定获取vv及长播放的视频内容，长视频平台中可以发现如优酷的《甄嬛传》、爱奇艺的《请回答1988.》、B站的《半泽直树》这样的内容，短视频平台中如讲解古生物的《鬼谷说》系列、讲解人物历史的《东梦人物志》系列；
美食作家王刚、厨师长农国栋、觅大叔这类实用型教授做菜、选东西的内容等。
那么这部门视频内容的获取便需要内容理解后台借助于消费数据不断刷新获取具有长效不断vv，且长播放相对较高的视频内容，将这些视频填充进入优质内容池中作为平台经典内容呈现。
平台价值观的嵌套：
平台需要有自己的价值观，内容理解后台在获取优质视频内容时需要和平台价值观做充分绑定的。
有些时候用户喜欢喜欢看的未必是在社会上平台中需要努力宣传的视频，这个时候平台需要根据自己推崇的标签分类或是知识图谱中对上述三者选出的内容进行权重的二次分配，从而形成最终的优质内容。
③视频互动
视频互动主要作用于优劣视频筛选和优劣互动内容识别，主要的原则有三点：
∙通过互动数据调教原视频的特征
∙利用互动数据辅助判断视频优劣
∙互动数据分析并赋能给消费及生产
互动数据调教原视频的特征：
视频互动数据包括基础的赞、踩、举报，也包括主管评论、标签添加等信息。
在内容理解中，可以通过用户的互动数据进行知识图谱、关键词等信息，对原视频特征做二次校正，补充仅通过内容角度分析缺失的数据同时对特征权重按照用户的消费进行重新调整。
利用互动数据辅助判断视频优劣：
通过对用户互动内容，可以最直接的得到视频在消费端消费好坏的情况，基于视频消费情况对视频优劣进行二次校正，可以最大限度让优质小众视频不收到埋没，让广泛消费的视频得到更加公众的判罚。
互动数据分析并赋能给消费及生产：
一般情况下内容理解后台对于主管评价内容会会进行两个方面的展露，其一是对生产者，其二是对消费者。
生产者希望获取的评论内容是专业、轻松有趣的、负面较少的评论内容，只有这样的内容更多才能促进平台内容生产，创作者内容更加精进。
对于消费者而言，用户喜欢和视频主题相关的，有趣，符合大多评论氛围的评价。
因此内容理解后台在判断优质内容上面需要根据视频内容、评论内容及情绪表达选出有趣、有用、符合平台调性、相关性强、负面少的内容作为视频的优质评论。
劣质评论内容相对于优质评论内容则更容易识别，因为人们往往对优质的定义很多，但是对劣质的定义却是有很强的统一性。
因此在劣质内容识别上，内容理解后台可以结合反垃圾的做法快速筛选出来劣质内容。
3.内容理解后台产品架构
内容理解定义：
对接平台线上视频及互动数据，对介入的视频多业务级多维度归类分析，同时进行标签、知识图谱对齐，利用线上数据及算法模型对视频整体内容进行归类、特征梳理、优劣辨析；
对视频二创进行制作指导；
对视频消费进行业务化处理。
因此在整体内容理解后台的产品架构中，需要先做数据输入与输出的处理，根据所需要的数据找到对应数据平台从而完成整体架构设计。
（1）内容理解后台数据交互
我们将内容理解定义为两部分：
通过内容本身理解内容、通过用户行为理解内容。
前者主要是针对内容抽取归类于标签。
后者通过累计的用户数据，经过统计、建模、平台倾向、产品规则等方面对内容进行分析。
（2）内容理解后台产品架构
通过上述数据交互，可以清晰的了解到内容理解后台外在数据获取及数据处理中需要对接的系统，主要包括了素材库、生产制作系统、运营系统、BI、视频互动数据库、OCR等。
因为内容理解后台的使用特性，故而继承了工具+服务两部分的属性。
服务则存在于工程和算法两个方面，工程上主要是数据读写和接口服务，算法上则是内容分析、互动分析等算法。
结合数据流转可以得到如下简要内容理解后台架构图：
三、视频内容理解产品设计
在整理完成内容理解后台的业务覆盖，梳理数据流转、业务流程和产品架构以后，下一步就是内容理解后台的产品设计阶段。
由于内容理解后台相对于基础后台比较偏重于算法，因此产品经理在整体的产品阶段需要负责模块不仅仅存在于功能方面，还有一定的算法需求。
产品经理在这种类型的产品价值则主要体现在了业务发掘、产品设计、跨部门沟通。
1.业务发掘
对于视频理解这种新型后台产品，不像传统后台有着天然的使用方，为了能够让产品逐步做起来，最重要的事情是在业务中找到业务痛点，在产品上线初期可以让更多的用户来使用后台（包括后台的数据）从而不断得到优化迭代的机会，让产品能够存续下来。
完成了生存挑战，后续就是让产品覆盖更多的业务，存在更多的能力，整合更多的系统，让产品成为基础建设。
最后一步就是让产品变现，将整体的能力变成对外服务，做基础建设的能力输出获利。
产品经理在整体的流程中，很重要的一点就是业务发掘能力，在整体业务发掘中主要是对需求的发现与收集能力，这之中主要是通过对B端的实地观察访谈和对消费端的实际使用。
对B端用户的发掘主要是通过观察法和访谈法进行，主要的目的是通过观察和访谈找到业务操作上的痛点和实际业务流程。
业务痛点主要是核心是老生常谈的效率问题，如海量视频归类，优质片段的寻找，优质视频的寻找，高优评论的识别，劣质内容的提示等。
在消费的时候，其实可以发现如视频冷启动内容不够精准，视频评论将更好的评论放在了更靠后的地方等等。
通过这些在消费端发现的问题，可以找到内容理解后台可以增加的业务范围或优化的方向。
2.跨部门沟通
前文说了，对于内容理解这样的后台产品而言，需要很多数据和服务，因此在需求明确之后，产品设计之前，需要罗列出来可能要合作的部门，需要不断开会拉起各个部门的实际负责人和相关产品研发人员，确定哪些能力是当下支持的，哪些能力需要开发，各自负责的边界范围是什么，然后根据现有能力组装内容理解后台的能力覆盖。
后期则是对于功能的研发及为了业务发展更好，对整体数据指标的建立与拉齐。
（1）业务打通
业务初期阶段，产品经理需要在根据架构梳理出来需要对接的外部团队，找到做内容理解后台对于每个业务的收益从而获得其他业务的支持。
之后便是根据数据流转和各服务之间的架构做好相应的业务流程和产品流程。
由于现在中台化服务已经在各大公司普及开来，因此串联业务的工作必然是内容理解后台需要做的工作，产品经理在这里最重要的事情便是梳理大体的业务流程。
（2）指标建立与拉齐
在上线以后，为了能够获得系统间更快的响应，让用户及服务前端的数据获得更加敏捷的响应，产品经理需要为内容理解后台做以下3件事情：
∙找到长期支持内容理解后台的合作伙伴
∙建立各项指标让所有服务方对齐
∙建设长效的问题反馈收集反馈机制，促进产品迭代。
3.产品设计
在对业务发掘以后，下一步就是根据发现的问题，找到功能或者策略可以解决的方式提供服务。
由于内容理解后台是集成多种服务的算法+工具+服务形式后台产品，因此产品经理在产品设计中的核心能力是打通系统之间的数据、提供工具给用户使用、优化模型建立评价体系。
（1）流程设计
对于内容理解后台这种需要多服务支持的后台产品，系统间的产品流程是非常重要的。
在流程设计中，由于需要进行系统串联，所以需要主要考虑的地方在于分析的敏捷性、精准性。
敏捷性：
流程设计主要是希望整体的分析速度能够更快，因此需要在设计中做尽量多的并行事件。
需要了解系统间对于数据分析的前后关系，合理安排数据入库的顺序并完成分析。
精准性：
需要对输出的数据进行负责，因此在整体设计中需要尽量规避可能出现数据出现问题的流程设计，做到不漏、不偏。
（2）工具设计
内容理解工具主要的目的是有两点：
∙辅助运营判断内容
∙展示流程提升问题排查效率
①内容判断
工具设计中主要需要展示原本内容和分析结果，需要将整体视频展示做到全面和准确，在分布上需要做到模块顺序可以调整，默认状态下让根据最大原则定好模块排布顺序。
因此从工具上需要为用户展示内容池、内容具体信息两个模块。
内容池：
主要是按照业务需求以一定的规则算法选出一些类型的内容池，如热门内容池、新用户冷启动内容池、优质内容池、点赞飙升内容池等等，用户可以设置一些条件和维度进行内容筛查。
内容信息：
内容信息一般展示用户查询内容的基本信
升级会员 