IDEA研究院沈向洋在11月22日從深圳舉行的2023年IDEA大會(huì)上表示，大模型的發(fā)展到現(xiàn)在，能力已經(jīng)非常的強(qiáng)大，實(shí)際上還存在很多的問題，我們要尋找其中的問題，思考還可以做些什么，一個(gè)公認(rèn)沒有解決的問題就是多模態(tài)，除文本之外，先是圖像與計(jì)算機(jī)視覺。 視覺大模型是否有機(jī)會(huì)
沈向洋認(rèn)為計(jì)算機(jī)視覺有很多的特點(diǎn)，首先場景非常的長尾，理解有100個(gè)場景，就會(huì)有100個(gè)模型，其次問題碎片化，并不是非結(jié)構(gòu)化，意味著問題之間差異很大，另一方面是互聯(lián)網(wǎng)的數(shù)據(jù)并不足夠可以將計(jì)算機(jī)視覺需要檢測場景全部覆蓋，也就是說像GPT之語言理解領(lǐng)域一樣，要解決問題，所以計(jì)算機(jī)視覺領(lǐng)域同樣需要通用視覺大模型。早在今年的4月份研究院曾經(jīng)推出一句話檢測、分割、生成一切的工具Grounded SAM，就是利用文字提示，實(shí)現(xiàn)精準(zhǔn)的目標(biāo)檢測，利用Stable Diffusion模型對分割出來的區(qū)域進(jìn)行可控文圖生成，泛化的能力較強(qiáng)。還可以在多個(gè)應(yīng)用方面擴(kuò)展。 新的模型
這次大會(huì)上沈向洋笑介紹研究團(tuán)隊(duì)帶來的新的模型，視覺提示模型T-Rex，T-Rex屬于開箱即用的模型，不需要重新訓(xùn)練或者微調(diào)，就可以檢測模型在訓(xùn)練階段當(dāng)中從來沒有見過的物體。根據(jù)產(chǎn)品研究團(tuán)隊(duì)表示，從真實(shí)的應(yīng)用場景當(dāng)中，有很多罕見又復(fù)雜的物體很難用文字描述，視覺提示加入可以更好的理解。直觀的視覺反饋，有助于提高檢測效率以及精確度。 存在問題
沈向洋表示現(xiàn)在大模型存在的一個(gè)大問題就是一本正經(jīng)的胡說八道，由于大模型整體都是數(shù)據(jù)驅(qū)動(dòng)，基本可以想象成為統(tǒng)計(jì)的工具，其中最大的問題就是有條理的胡說。