_{🧠 图解记忆：视频Agent的典型应用；点击图片可查看原图。}

💡 答案要点

视频理解的特殊性：

文本：1D序列，一段文字
图像：2D空间，一张图片
视频：3D时空（2D空间 + 1D时间），多帧连续

视频 = 帧序列 + 音频 + 字幕 + 元数据

处理方案对比：

方案	原理	优点	缺点
视频tokenization	每帧抽帧→ViT编码→时序建模	精确	计算量大
帧采样+描述	均匀采样帧→GPT-4V描述→拼接	成本低	可能遗漏细节
视频LLM（原生）	视频token直接输入	端到端	模型大，效果待验证
Audio+Visual融合	音频事件+视觉事件联合	互补	复杂度高

长视频处理策略：

展开 Python 代码示例（39 行）

def process_long_video(video_path, max_frames=32):
    """处理长视频的核心：采样 + 摘要 + 时序建模"""

    # Step 1: 场景检测（Scene Detection）
    scenes = detect_scenes(video_path)  # 切分场景
    # → [Scene1(0-30s), Scene2(30-90s), ...]

    # Step 2: 每个场景均匀采样
    all_frame_descriptions = []
    for scene in scenes:
        frames = uniform_sample(scene.video_clip, n=max(4, len(scene)/10))
        # 每场景固定4帧或按比例采样

        # Step 3: 每帧用GPT-4V描述
        scene_description = []
        for frame in frames:
            frame_desc = gpt4o.analyze_image(frame, prompt=
                "描述画面中发生的关键事件，用一句话概括。"
            )
            scene_description.append(frame_desc)

        all_frame_descriptions.append({
            "time_range": f"{scene.start}s-{scene.end}s",
            "summaries": scene_description,
            "event": aggregate_events(scene_description)
        })

    # Step 4: 时序推理
    full_summary = gpt4o.generate(prompt=f"""
        这是一个视频的帧描述序列（按时序排列）：
        {all_frame_descriptions}

        请生成：
        1. 视频完整摘要（200字）
        2. 关键事件时间线
        3. 回答用户问题：视频的核心内容是什么？
    """)

    return full_summary

视频Agent的典型应用：

应用	输入	输出	核心模型
视频摘要	1小时视频	3分钟摘要	帧采样+LLM
视频问答	视频+问题	答案+时间戳	视频LLM
异常检测	监控视频流	告警事件	时序模型+LLM
视频搜索	视频库+Query	相关片段	跨模态检索
视频剪辑	长视频+文案	精彩片段	视频理解+生成

面试话术：

"视频Agent的核心挑战是'计算量爆炸'。我的实战经验：先做场景检测切分，减少需要处理的clip数量；每个clip均匀采样4-8帧，用GPT-4V提取关键事件；最后用时序LLM串联所有clip的描述生成完整摘要。对于监控类长视频，用异常检测模型先过滤，只对可疑片段做详细分析。"

📚 参考：Qwen-VL（视频/多图时序理解）

---