C₂₂H₂₅NO₆
博客

引用视频理解:她看不见视频,那我帮她看

· 约 1 分钟

AstrBot 能识别群里的视频消息,但交给模型的只有一行 [Video Attachment: name demo.mp4 ...]。我给清漪发了一段雪景视频,问她看见了什么,她说「你好像发了一个视频文件,我看不到它具体的内容」。底层模型不支持视频输入,那就先找一个能看视频的模型把内容讲一遍,再讲给她听。

于是有了 引用视频理解:群友引用一段视频提问时,插件先把视频交给支持视频的模型转述成文字,再连同问题一起交给聊天模型。QQ 里引用的视频要通过 OneBot 的 get_msg / get_file 才找得回原文件,GIF 也可以选择当视频处理,转述用哪个模型可以单独配置,还加了一个连通性测试指令。从晚上七点写到现在,v0.1 总算能用了,抽帧要用的 ffmpeg 得自己装。