大模型音视频理解接入
下载
聚焦模式
字号
功能介绍
大模型音视频理解功能，使用行业内领先的多模态大模型，实现对视频、音频的内容理解，通过提示词来设定内容理解的侧重点，以及文本结果的输出格式。
功能优势
使用简单：无需复杂设置，仅需通过提示词限定输出格式，即可实现批量内容理解。
内容质量高：例如在教育场景中，能够对绘画的色彩、笔法、造型和结构进行点评。在音乐演奏场景中，可对节奏、音准、指法等方面，提供专业的演奏点评和改进建议。
使用场景广泛：可应用于短视频总结，视频脚本拆解，视频/音频评价，分镜理解等场景。
前置操作
方式一、控制台使用
发起任务
1. 选择需要发起任务的视频，并单击媒体处理。
2. 处理类型选择“媒体智能”的智能分析，您可以选择33号预设模板，根据下文 扩展参数说明，传入所需参数发起任务。
说明：
控制台会自动转义，请直接传入 JSON 数据，不要传入转义后的字符串，否则会导致任务失败。
查看任务结果
在 云点播控制台 的任务中心页面，找到对应任务并单击详情查看结果。
您也可以调用 DescribeMediaInfos 接口，查询存入媒资的结果。
注意：
同一模板任务，媒资中仅保留最新的任务结果。
方式二、API 接入
发起任务
调用 ProcessMediaByMPS，FileId 处填写需要处理的媒资 ID，SubAppId 处填入子应用 ID，MPSProcessMediaParams 参数中填写 AiAnalysisTask 任务，并将 Definition 设置为 33（预置模板）。ExtendedParameter 根据需求填额外的扩展参数，通过该参数实现特定的能力。
大模型摘要任务 MPSProcessMediaParams 参数示例如下：
{"AiAnalysisTask":{"Definition":33,"ExtendedParameter":"{\\"mvc\\":{\\"mode\\":\\"video\\",\\"prompt\\":\\"...\\"}}"}}
查询任务结果
可以在输出信息中找到输出结果。
扩展参数说明
ExtendedParameter 用于对视频理解任务进行个性设置，ExtendedParameter 全部可选参数及其说明参考下表：
参数 | 类型 | 必填 | 描述 |
mode | String | 是 | 理解模式， video、audio。audio 模式下如果上传的是视频，服务内部会从视频中提取音频。 |
prompt | String | 是 | 大模型提示词。 |
extendData | Array | 否 | 扩展数据，多于1个音视频文件可放在此字段，当前最多支持2个。 |
extendData[i].url | String | 否 | 数据文件 URL。 |
请求参数示例：
{"mvc": {"mode": "audio","prompt": "...","extendData": [{"url": "..."},{}]}}
文档反馈