不过他也没有气馁，毕竟这东西要是研究出来，说一句名垂千古都不为过。
更何况他还年轻。
既然新的架构不行，就只能从他熟悉的两个领域入手了。
他的手指一顿，突然想到了一个非常好的选题，如果能做出来，贡献也绝对是巨大的。
这个选题就是——多模态融合中的最优传输理论。
多模态学习的核心是如何将不同模态（视觉、语言）的特征空间对齐，当前的方法通常使用的是交叉注意力机制，甚至是更为简单的点积或余弦相似度。
而最优传输（OptimalTransport，OT）是一种数学理论，致力于寻找将质量或概率从一种构型转移到另一种构型的最有效方式，从而最小化给定的成本。
他的想法就是将对齐问题建模为OT问题，当然，这个OT问题肯定会非常难，因为每一个特征的维度都是非常高的，而多模态的特征又非常多。
所以他就联想到了人类的大脑，人脑在处理不同感官信息（视觉、听觉、触觉）时，似乎在底层存在着一种统一的“意识流”，
各种模态的信息涌入后，被映射并在这个流中进行交换、融合和理解，比如闻着榴莲吃西瓜，就会产生一种通感。
而他要做的就是，如何将这个所谓的‘意识流’用数学的方法表现出来，他能想到的最为接近的理论就是OT理论。
内容未完，下一页继续阅读