全媒体资源融合应用平台建设方案
1. 应用目标
1.1.整合数字媒体资源，打通数据孤岛
通过全媒体资源融合应用中心的搭建，将学校各类数字媒体资源设备、各教管部门、教职工个人的音视频流信、音视频课件、宣传资源、图片、文档档案等资源全部汇集在中心内。做到了基础数据的整合，实现“教学数字媒体资源一个库”。 由中心做统一的存储及播放支撑，提高用户体验的同时也整合了这些应用内分散的数字资源。资源汇聚到中心，首先数据的安全性和支撑能力有了保障，其次我们检索、使用这些资源也成为可能。例如，可以通过资源门户系统将学校所有公共资源做统一呈现，一览资源全貌。在一个检索框内可以对全校所有的数字资源进行检索，而且可以实现到内容级的检索。
通过建设全媒体资源融合应用中心，多个门户发布的方式解决部门的资源发布问题。并通过群组、部门等概念，将教学资源、宣传资源、档案资源等在某些人、某些部门中流转，来实现资源即可以公开发布，也可以授权发布的应用需求。实现全校资源集中管理、分布应用、共建共享。
1.2. 构建数字媒体资源融合应用服务底层
学校根据各类教学需要，承建过多类在线教学平台，但是由于大数据量并发传输上的技术门槛较高，这些平台往往都不具备这种能力，如果要满足大规模在线教学的需求，就一定要有底层的媒体数据传输服务做相应的支撑；同时，大多数学校的网站、站群、宣传类站点、应用类站点往往都不具备这样的流媒体分发能力；全媒体资源融合应用中心可以为各类应用提供强大的媒体访问服务支撑，在网络带宽充足的情况下，中心可以为各类应用提供数千至数万并发的数据传输服务，从根本上解决学校流媒体数据的在线大规模访问问题。并且，学校的各类应用和站点下都保存着大量的流媒体数据资料，全媒体资源融合应用中心不但提供数据的数据传输服务的支撑，资料的归集、存储、查询能力也是他的重要工作之一。完成“学校全媒体资源融合应用中心”基础平台建设，为数据归集提供底层数据中心，解决“数据孤岛”，持续汇聚、存储和沉淀全校数字媒体资源数据;建立数字媒体资源的数据治理、管理、统一服务体系；支撑智慧校园建设，为校园应用和网办服务提供数字媒体资源数据仓库, 为师生提供智能化和个性化资源检索和知识服务；统一数字媒体资源数据标准，提供标准化接口，满足不同应用统的接入，实现数据的统一调用，降低运维成本，提高非结构化数据的利用率。为智慧校园其他资源信息化系统提供多种流媒体服务及数据处理服务；
1.3. 构建智慧校园融合数字媒体资源门户
全媒体资源门户为学校各个部门的数字媒体资源使用提供统一的录入、编目、存储、管理、检索、展示平台。系统融学校宣传媒体资源、新闻资讯、党建资源、会议讲座、文体活动实况、课程资源集中展示于一体，方便用户在同一门户实现对不同类别媒体资源的访问；系统通过灵活的编目、丰富的管理权限，保证各部门数字媒体资源管理的权责分工明细、录入管理快捷、检索取用方便；系统提供瀑布式目录结构，个性化的时间、热点、上新、精选推荐排序，方便用户快速访问系统时效性资源；提供全终端访问支持，学校各教学机构教职工、学生在认证授权后可以通过办公电脑、手机、电视、信息发布大屏等终端类型检索、访问、使用系统资源，各种使用记录、统计报表明晰。系统既可提供基于HTML的页面访问方式，也可提供APK、小程序等门户展现形式。
1.4. 建立资源应用支撑中心，提升应用体验
全媒体数字资源中心的底层是采用私有云集群部署的方式来构建的，采用这种架构设计就是为了满足学校的应用规模，支撑能力几乎可以无限制的横向扩展，且稳定可靠，集群内硬件出现故障，系统会自动调配任务到其它节点。
后期仅需按照现阶段应用需求设计出对应的集群规模即可，而且随时可以做不停机扩展。这种方案部署方式可以一举解决原来校内各资源应用系统各自为战，支撑能力不足的问题。从另一个角度看，我们整个学校只需要维护这么一套资源支撑中心就可以了，不像原来我们要维护多个资源类支撑库，为学校节约了大量资金和人力。
系统提供全格式数字媒体资源录入支持；提供统一的编码方式；提供流畅的基于HTML5的音视频资源播出策略；提供文档资源的在线浏览、源文件下载；提供画廊式图片库展现。打破数字媒体资源访问的技术瓶颈，提供良好的资源访问体验，提升媒体资源使用效率和使用热情。
1.5. 借助AI智能技术，解决资源检索难题
系统在类别、编目、关键字模糊检索的基础上，具备AI人工智能感知服务扩展能力，可根据用户应用需求后续扩展人脸识别、语音识别、OCR图像识别、全文检索、查重等媒资管理、审核、检索应用，助力用户解决资源检索难题。
比如，通过人脸识别功能，通过一张清晰的人脸照片，即可查到跟人相关的所有数字媒体资源；再如，通过OCR识别功能，即可识别图片、海报上的文字，通过文字即可检索到显影图片、海报资源；借助语音识别技术来检索视频内容；比如，学校录播教室录的课，容量非常庞大，依靠人力去做标注在学校几乎不太可能完成，非常耗费人力，项目建成后借助语音识别技术，把授课视频的语音抽出。然后去用人工智能去识别老师讲的内容，并把它转成文字，然后通过文字去检索对应的相关段儿，实现对视频内容的检索。以上这些手段可以显著提高视频、图片的检索效率。除了视频、图片以外，还可以对文档内容（论文、大纲、申报材料等）进行全文检索，除了标题、标签外，文档内容也可以被直接检索到，这个功能对学校的论文、科研材料管理非常有用。
2.总体方案设计
2.1. 总体业务架构
采用开放式的网络架构，分级式的设备部署，统一的资源管理，集中的资源存储，丰富的前端接入，灵活可靠的系统扩展。
2.2. 总体逻辑架构
【图：逻辑架构图】
2.2.1. 逻辑架构图
【图：设备连接结构图】
各类音视频数据接入融合平台并进行转码和协议转换，并通过平台进行直播分发，最终展现在各类终端上。支持接入不同厂商、不同类型、不同协议的模拟/标清/高清视频，并对接入后的视频进行统一音视频编转码、分发、存储，供用户播放。
2.2.2.资源信号接入
2.2.2.1.音视频媒体资源导入
【图：音视频类资源录入】
2.2.2.2. 非流媒体资源导入
【图：文档类资源录入】
全媒体资源融合应用平台为用户提供丰富的资源录入手段，支持文档类课件管理功能，支持PDF、Word、Excel、PowerPoint、TXT等文件在服务器端自动转换，客户端无需安装Office软件，即可直接通过浏览器进行查看，有权限的用户可以下载原文件。系统支持流媒体文件与非流媒体文件混合发布，在一个节目中既可以包含流媒体文件也可以包含非流媒体文件，可以把教学视频与讲义同时发布。
2.2.2.3. 演播室设备接入
【图：演播室、报告厅导播信号接入】
全媒体资源融合应用平台支持国内外众多知名品牌演播室、导播、切播设备厂家的设备对接，可以支持导播系统将信号以物理视频信号或RTMP协议网络信号采集。
2.2.2.4.摄像机信号接入
【图：摄像机接入】
全媒体资源融合应用平台支持将摄像机信号接入硬件编码器或无线图传编码设备，支持对视频信号进行实时采集和直播，根据用户的实际应用场景可以选择将室外活动现场摄录一体机信号直接接入流媒体直播服务器。
2.2.2.5. 有线\卫星电视信号接入
【图：电视节目转播构成示意】
全媒体资源融合应用平台支持有线电视信号DVB-C、标清信号（CVBS）、高清信号（SDI、HDMI）、卫星信号DVB-S/S2、等各种信号源。
2.2.2.6.录播教室信号接入
【图：录播信号接入示意】
全媒体资源融合应用平台可与多种品牌（文香、奥威亚、翰博尔、中广上洋、中庆、锐取等）录播系统进行对接，可以支持录播系统将信号以RTMP协议推送至发布平台，也支持从物理视频信号通过编码器进行采集。将录播系统的实时音视频数据通过发布平台进行直播发布，也可以将精品课堂录制下来的课程文件，上传至服务平台，作为精品课件归档、点播。
2.2.3. 统一编转码
全媒体资源融合应用平台采用目前业内领先的2Pass软转码技术，转码效率1:1，处于软转码的业内最高水平，在相同码率下能有效优化画面质量。系统具备独立的转码模块，支持多服务器、服务器集群、多服务器异地集群分布式转码；支持服务器离线转码；可同时转码多个、海量文件；支持多线程转码，可设置转码策略及优先级。
2.2.4. 标准化输出与存储
全媒体资源融合应用平台以资源的整合与应用为目标，在技术上的开放性、兼容性、标准化是必不可少的。所有接入平台的资源在经过处理后，平台都可以将其以RTSP/RTMP视频流的方式进行标准化输出，当第三方系统需要调取资源时，通过平台开放的软件接口即可快速调用。平台存储的视频文件格式均为标准的MP4格式，可以兼容市面上绝大部分播放器，不论用户下载在PC或移动端，都无需额外解码器即可直接播放。
【图：资源标准录入/输出】
2.2.5.多类型终端统一播控
1) PC：传统使用方式，通过浏览器访问平台页面，选择相应资源进行观看。整个过程无需安装任何软件即可实现。
2) 手机、Pad：新兴使用方式，随着科技的不断进步发展，移动客户端深入大众，为满足大量移动用户随时使用平台资源，平台提供智能手机、平板电脑的观看方式。移动用户只需通过手机或Pad的浏览器访问页面或安装专用APP，选择节目进行观看。
3) 电视机：适合集中式的使用方式，满足部分客户在会议室、报告厅等地方进行集中展示的需求。整个设备部署十分简便，只需将一台安卓STB连接上网络和显示设备，然后通过遥控器、鼠标和面板按钮多种方式进行资源选看。
4) 大屏：适合大规模集中观看，全媒体融合平台在拼接大屏\触摸大屏展示方面采用自定义的分区方式，将大屏分为多个区域，可统一发布共同的资源内容，亦可分别分区发布不同的播出内容。
全媒体资源融合应用平台采用Multi-Screen多屏融合发布技术，用户可通过多种多媒体终端设备（PC、手机、Pad、电视机、大屏）使用平台上的资源内容。采用专业的多终端播控技术，将系统资源分别投送到不同的设备终端，实现终端播出内容的可控性操作。
3. 主要应用场景
3.1.多元化数字媒体资源门户
平台采用视频门户网站式发布模式，保证用户体验的一致性。且门户可以根据用户真实需求定制为不同形态。
l PC门户
l手机门户
l大屏/电视门户（APK）
3.2. 智慧媒资管理
【图：全媒体资源录入-管理-应用示意图】
学校教务部门、教研科室、教学组、图书馆将现有或陆续制作的各种课件资源、馆藏电子图书资源、资源库资源，按照不同类别放到统一的资源服务器（集群）中，并通过系统管理功能对资源进行年级、学科、门类等编目定义，支持针跨平台、跨存储端的大批量存量数据的迁移，以及其他特殊的迁移需要，提供包含数据库迁移、接口对接等定制导入服务，可根据客户的实际情况完成迁移服务及提供加速迁移服务。
3.3. AI智能检索
建立校园数字媒体资源智能AI智能感知服务及检索系统，对所有入库汇聚的资源进行内容识别。所有进入公共资源和资源库的数据都会通过AI系统对其进行识别。实现全校资源的一站式、内容级检索，提供语音所含文字内容检索、人像检索、图片OCR检索，全文检索，提高资源查找及调用效率，为智慧校园建设打下扎实基础。
n 数据查重
在工作、教学和交流过程中数据资源由于不断地被复制使用，造成了大量冗余重复数据的存在，这些重复冗余的数据不单会给使用者造成困扰，让用户无从选择，同时，还会占用大量的存储空间，造成存储资源的严重浪费。为充分提高用户存储空间的利用率，数据在入库的同时需要进行严格的数据查重工作，以保证数据的唯一性。
nAI内容感知
系统对资源内容进行AI感知处理；在图片处理中，应用OCR技术提取图片中的字符并转化为文字，自动形成图片的文字标记集合、实现通过文字检索图片或ppt中的内容；在人物照片的处理过程中，系统会自动提取照片中人物的面部特征数据，并自动形成面部特征标记集合，实现通过证件照片检索所需的人物图片的应用。以上所有的工作，都是在为慧服务中的数字资源精确定位应用提供信息基础。在资源内容感知的过程中，项目设计应用了大量人工智能技术加以辅助，为用户在数字资源的查找应用提供更多种类的数据定位方式，使后期的资源应用更加精准，更为高效。
n AI智能检索
系统可以为用户提供全局范围内基于文档资源的全文级检索；可以提供基于语音转换后基于视频内容的检索方式；可以提供基于人物面部特征的照片类资源的精确检索；可以提供基于OCR的照片文字信息的内容检索；以及基于查询结果集的二次检索。从而为用户精准获取所需资源提供了一切便利条件，在数据资源的应用方面，我们为一线用户提供了以下的服务。
3.4.在线课程学习
【图：课程类别管理】
【图：资源内容介绍】
【图：课程章节学习】
全媒体资源融合应用平台 有效解决学校课件资源量大、来源广难管理的问题，有效解决学校课件资源格式多难兼容的问题，有效解决资源观看展示手段单一的问题，有效解决资源访问效果不佳、访问缓冲卡顿的问题。平台支持对学校优质课程资源进行自定义分类，课程上传平台后，平台可把学校内的课程资源自动进行上传聚合，按照院系、学科、年级等归档到相应的类别中，对课程资源进行有效的分类管理，形成易用高效的课程资源库，便于教职工和学生在线使用、学习。
3.5.云播课、云录课
系统可实现与学校各录播教室、智慧课堂、实训系统的对接融合，将各系统实时课程在线直播到多教学区域，供多类型访问终端，建立校园综合在线听课、录课中心。
【录播课程整合】
平台支持翰博尔、奥威亚、锐取、文香、盈可视、中庆等多种品牌录播系统进行对接，支持将学校前后购置的多个品牌、不同型号的录播系统的实时课堂直播信号融合到一个课程直播平台上展示，课程观摩、在线听课无需再多个系统间切换。录播系统信号以RTMP协议推送至发布全媒体系统，也支持从物理视频信号通过编码器进行采集。将录播系统的实时音视频数据通过流媒体发布平台进行直播发布，受众可以通过PC、手机、pad、机顶盒、触摸大屏等多种终端类型实时听课。直播过程中可将精品课堂内容录制下来，形成统一格式的课程文件，自动录入课程平台按照学科、年级等自动进行分类、存储、管理，供后续在线学习、访问。全媒体资源融合应用平台可有效解决多品牌、多型号录播系统课堂直播、课程资源录制格式不统一、多系统难融合的问题；可以有效解决录播系统无法实现大并发量同步在线观看的问题。
3.6.校园活动直播
【图：活动直播流程】
全媒体融合平台提供专门的活动直播模块，提供用户在现场活动预告、直播、收录、回顾的一整套解决方案：
1) 活动直播预告：设有直播预告栏，显示直播预告信息，点击自动关联到详细内容。
2)活动直播分享：支持将直播频道分享到微信、微博、QQ等第三方应用好友、空间，提供节目二维码生成功能，手机用户可通过扫描二维码收看节目。
3)活动直播回顾：自动把直播的节目自动录制成文件，自动入库，形成活动直播专栏，供用户随时访问回顾。
4)在线互动：直播过程中的用户通过文字进行互动讨论，实现在线文字交流。
5) 直播发布：支持活动现场单画面、多画面同屏直播（如报告厅专家讲义电脑桌面与现场视频同屏直播，观众可根据听看习惯选择放大缩小其中的画面或关闭某一画面）
6)直播时移回看：支持时移直播、回放，用户收看时移频道时可以随意暂停，还能随时“倒带”，随时回顾之前播出的内容，可以从通过时移中随时录制之前直播的节目。
7) 支持远程录制直播节目，如错过实时直播录制节目，可选择从直播时移中录制节目，可以灵活拖拽播放器时移进度条截取录制，可指定录制时长。
3.6.1.讲座、报告、会议实况直播、录制
【图：实况直播】
以重点会议室、报告厅为学校重要会议、学术报告、学术讲座实时直播发布点，将学校重要会议、学术讲座、来访学术报告等实况内容在学校全网直播。相关现场活动实况可以有效突破时间、地点和终端覆盖的局限性，通过多终端发布传达到网络所及的学校教学楼、食堂、礼堂、宿舍等各个网络通达的环境。
3.6.2. 路演、汇演、赛事实况直播、录制
【图：实况直播】
全媒体资源融合应用平台设备可以安置在庆典、文艺汇演、运动场馆、路演现场等环境，实时提供现场的音、视频图像的直播发布，为不在现场的用户提供实时的在线观看，身临其境；同时利用系统自带的时移功能，对错过的部分直播内容或精彩画面进行实时在线回顾浏览，无需等待直播结束再去翻看录像。系统支持大量并发用户的同时在线访问，支持分布式活动的现场直播，直播地点可以在网络所及的任何地方。
3.7. 校园网络电视台
全媒体资源融合应用平台集合了视频点播、视频直播、时移直播、录播技术，提供全信号接入能力，将有线电视、卫星电视节目、校园电视台演播室设备、无人机、摄像机、手机等各种信号源编转到校园IP网络上，满足校园网络内部对电视节目观看的需要，完善和提升校园网络电视节目视音频采集编辑、电视信号采集、编目检索、直播点播、互动评论、内容发布、内容管理、资源调度、用户管理等应用功能和服务质量。
3.7.1.校园IPTV
精选N套公共有线电视节目或卫星电视节目（如央视1、4、5、7套或本省、市重点台）在学校内部网络进行转播播出；编建校园内部IPTV平台。在授权的时间、范围内方便学校领导、教职工、学员及时了解国家时政、国际时事、体育科教、本校要闻等电视频道相关内容。采用Time-Shift直播时移技术，可提供7天时移直播，用户在直播过程中因为其他工作影响而未能看到现场实况。在系统所能提供时移直播时间段内，可实时进行节目回看，播放用户可以根据节目单进行时间段切换，可以进行暂停、拖拽和返回直播等操作。
3.7.2. 校园电视台
【演播室节目播出】
【访谈节目播出】
支持学校宣传部、融媒体中心、校报等部门的演播室系统、音视频编导设备信号接入，支持校园演播室、嘉宾访谈、校园会客厅等实况节目播出，提供直播时移回看、实时录制、自动归档等一些列功能。
3.8.党建、思政、专题教育
利用资源平台的专题宣传模块，管理者可以很方便的开展党建思政专题教育活动，宣传部门将“党建”、“四史”、“红专”等教育资料、资源上传至平台，在活动期间将宣传页面在首页置顶，可以快速达到高效传播的目的。在系统的支撑下，实现党建思政资源向学校各部校园网电脑终端、移动终端、信息大屏终端、党建展厅终端的全覆盖，让党组织可以随时发布管理党建课程、直播党建会议、党建报告、发布党建信息、宣传党建成果；党员可以随时随参与党组织生活、实时聆听党建报告、会议精神传达、在线学习党建课程、测评学习成果等。
【党建资源平台案例图 电脑端】
【党建资源平台案例图 大屏端】
3.9. 用户个人资源空间
为保证学校教师教学资源安全性及服务持续性，为学校教师提供基于“学校全媒体资源融合应用中心”的官方个人资源管理系统（个人资源空间），实现资源的流转、共享、跨系统调用；解决教职工个人资源管理的同时，实现资源的伴随式采集。
n私人教学资源汇聚
教学资源产生的核心生产者是学校教师，但在日常教学中个人资源经常由于设备损毁（如U盘、移动硬盘、办公电脑）而造成资源丢失、个人资源的安全存在严重隐患，全媒体资源融合应用中心可以为个人使用者提供一个安全、有保障的在线安全存储中心，为用户提供一个高可靠的数据安全存储平台。
n云端课程平台资源汇聚
学校存在并使用着多个教学平台，一线教师往往要在不同的平台里上传同一份课件资源，既浪费空间又给一线教师带来了不必要的工作量，全媒体资源融合应用中心可以对个人数据提供第三方数据调用服务，实现资源的一处存放多平台重复应用。用户的数据资料存储在公有云应用，如：网盘、各类mooc平台，需要下载资源时往往受限。本属于学校教师自己的教学资源却要存储在服务方的公有云受制于第三方应用，为资源的应用带来了不必要的障碍；如将上述个人教学资源孤岛与学校全媒体资源融合应用中心打通，所有教学资源存储在基于私有云的全媒体资源融合应用中心则不受任何限制，就如同自己的本地存储，数据资源可以任意使用，从而达到校本资源积累效果同时也更好的为学校教职工提供信息化服务。
n个人空间应用
可将资源平台的资源以链接的方式归入私人收藏，私人收藏资源亦可共享到资源平台；师生将自己的资源分享给自己的好友和群组，并且对相应的权限进行配置；老师、学生可以收藏、订阅自己感兴趣的资料，系统也可以推送个性化的资料给老师、学生。
3.10.多媒体信息统一发布
系统基于集中实时统一管理、多路播控、灵活分配等功能的多媒体信息发布平台，针对校园特定的物理场所、特定的时间段对特定的区域终端和教职工、学员进行多媒体信息播放，将有线电视转播节目、节庆活动实况、要事要闻实况同步同时播送到校园网各类终端上，实现及时信息发布的远程集中管理和内容随时更新，使受众在第一时间接收到最新的各类资讯。覆盖范围：图书馆、展览馆、体育馆、实训室、食堂、教学办公楼门厅、教室、会议室等；
3.11. 多校区媒体资源均衡
系统支持主从属机构方式部署多级资源存储系统，支持多级分布式部署，多种分发策略，预置的策略分发与实时手动分发相结合。中心平台服务器可以与下属各分支节点服务器间之间互联互通，具备统一的认证、用户、权限、资源管理功能，实现资源共建、共享、统一管理等功能。中心平台可以通过定时、按需、命令等分发方式将中心视频资源分发给各下级服务器。系统支持负载均衡策略，支持多级服务器群组部署、支持负载均衡策略设置。可以根据需要设置负载均衡策略，根据负载情况将用户请求转发到负载相对最轻的服务器节点。它解决了学校多个校区多种海量媒体资源无法共建共享、统一管理、统一使用的难题。
3.12. 资源建设数据可视化
