但哪怕他覺得自己現在已經足夠聰明，可是經過近半年的思考，他還是沒能想到什么全新的架構，終究還是被束縛在Transform的框架之下。
不過他也沒有氣餒，畢竟這東西要是研究出來，說一句名垂千古都不為過。
更何況他還年輕。
既然新的架構不行，就只能從他熟悉的兩個領域入手了。
他的手指一頓，突然想到了一個非常好的選題，如果能做出來，貢獻也絕對是巨大的。
這個選題就是——多模態融合中的最優傳輸理論。
多模態學習的核心是如何將不同模態（視覺、語言）的特征空間對齊，當前的方法通常使用的是交叉注意力機制，甚至是更為簡單的點積或余弦相似度。
而最優傳輸（OptimalTransport，OT）是一種數學理論，致力于尋找將質量或概率從一種構型轉移到另一種構型的最有效方式，從而最小化給定的成本。
他的想法就是將對齊問題建模為OT問題，當然，這個OT問題肯定會非常難，因為每一個特征的維度都是非常高的，而多模態的特征又非常多。
所以他就聯想到了人類的大腦，人腦在處理不同感官信息（視覺、聽覺、觸覺）時，似乎在底層存在著一種統一的“意識流”，
各種模態的信息涌入后，被映射并在這個流中進行交換、融合和理解，比如聞著榴蓮吃西瓜，就會產生一種通感。
內容未完，下一頁繼續閱讀