按理來說，這種大項(xiàng)目，這樣的驗(yàn)收時(shí)間并不算富裕，不過周昀有信心一年之內(nèi)搞定。
實(shí)驗(yàn)室里，周昀并沒有第一時(shí)間就開始設(shè)計(jì)方案，反倒是開始看起了論文。
因?yàn)椴还苁乔笆肋€是現(xiàn)在，他接觸的都是“小模型”，這里的小模型指的是LSTM、、F這種結(jié)構(gòu)單一，參數(shù)量不大的輕量級神經(jīng)網(wǎng)絡(luò)。
而他現(xiàn)在要做的項(xiàng)目則需要用到真正意義上的多模態(tài)大模型，這種大模型現(xiàn)在普遍都是基于Transformer架構(gòu)，
雖然Transformer非常厲害，但是也有一個(gè)缺點(diǎn)，因?yàn)樗闹饕诵腁ttention也就是注意力機(jī)制，
這種算法的時(shí)間復(fù)雜度復(fù)雜度是O（n^2），所以需要的計(jì)算量非常大，這也是為什么現(xiàn)在市面上的大模型訓(xùn)練需要的顯卡都是幾千幾萬張。
大模型和小模型之間除了算力消耗和成本上有著巨大差異，在整體架構(gòu)上也有著明顯的差異。
一個(gè)小模型可能只需要幾百行代碼就能完整的寫出來，然后開始運(yùn)行。
而一個(gè)真正意義上的大模型想要正常運(yùn)行，除了其核心代碼之外還需要各種的配套功能的代碼，這些加起來幾萬行都算是少的了。
他在這方面的，不管是經(jīng)驗(yàn)還是知識都很欠缺，所以第一步就是——看文獻(xiàn)，至少要熟知多模態(tài)大模型領(lǐng)域所有的先進(jìn)技術(shù)之后，他才會開始計(jì)劃怎么將現(xiàn)有參數(shù)量不大的模型進(jìn)行升級。
其實(shí)這一步應(yīng)該是在談項(xiàng)目之前就做的，只不過周昀那個(gè)模型的性能實(shí)在太優(yōu)秀了，
內(nèi)容未完，下一頁繼續(xù)閱讀