9. 多模态AI将成为新常态。苹果公司的Ferret和特斯拉的FSD正在引领潮流。但挑战也会随之而来。视觉、听觉,甚至是感觉?
AI和机器学习工具能够通过视频和音频进行模拟,这对身份和访问管理构成威胁。使用AI渲染的视频现在相当容易被检测到,但合成语音克隆对于使用语音生物识别技术作为身份验证流程一部分的组织来说是一个很大的威胁。
科学家通过机器学习来研究断层线的「慢地震」(预示地震到来的有用指标)信号,有望能作为准确预测地震的科学依据。
当然,这种复发间隔可能差异会很大,样本量仅限于人类历史范围内、地质记录中所记载的范围,而这些,仅仅是地球历史上发生过的地震的极小一部分。
据悉,M2UGen采用了创新的方法,生成了大规模的多模态音乐指导数据集,用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型,以在各个领域生成对应的指导。