Hugging Face推開源多模態(tài)AI模型IDEFICS 支持圖像、文本輸入
【資料圖】
編程客棧()8月23日 消息:最近, Hugging Face 推出了一個名為 IDEFICS 的開源多模態(tài) AI 模型,它可以接受圖像和文本作為輸入,并生成連貫的文本輸出。
IDEFICS 是一個強大的視覺語言模型,擁有高達(dá)800億的參數(shù)量,功能包括根據(jù)圖像生成描述、回答相關(guān)問題以及根據(jù)多個圖像生成敘述等。
IDEFICS 基于 DeepMind 開發(fā)的 Flamingo 模型,后者是一種目前最先進(jìn)的視覺語言模型,但尚未對外開源。相比之下,IDEFICS 作為 Flamingo 的開源實現(xiàn)版本,其測試結(jié)果顯示在各類圖像理解任務(wù)上其表現(xiàn)與 Flamingo 相當(dāng)。
為訓(xùn)練 IDEFICS,Hugging Face 利用了多種公開的數(shù)據(jù)集,還額外構(gòu)建了一個包含1.4億張圖像的大規(guī)模圖像-編程客棧文本數(shù)據(jù)集。
IDEFICS 有兩個版本,包括90億參數(shù)的基礎(chǔ)版和800億參數(shù)的大模型版,可以處理不同的應(yīng)用場景。
IDEFICS 的推出為研究人員和開發(fā)者提供了js一個強大的開源視覺語言編程模型,相比專利系統(tǒng)如 GPT-3,它提供了更大的靈活性。同js時,IDEFICS 也顯示出生成式模型處理多模態(tài)輸入的潛力。
未來如果能進(jìn)一步提升多模態(tài)理解和生成能力,將可以大幅推動諸如機器人、自動駕駛等多模態(tài) AI 應(yīng)用的發(fā)展。
項目網(wǎng)址:https://huggingface.co/spaces/HuggingFaceM4/idefics_playground
關(guān)鍵詞:
相關(guān)閱讀
-
Hugging Face推開源多模態(tài)AI模型IDEFIC...
編程客棧()8月23日消息:最近,HuggingFace推出了一個名為IDEFICS的開 -
上海一高架出現(xiàn)裂縫?官方科普:兩側(cè)結(jié)...
上海一高架出現(xiàn)裂縫?官方科普:兩側(cè)結(jié)構(gòu)形式不同 -
第二十六屆成都國際車展門票只能在當(dāng)天...
門票使用時間說明專業(yè)觀眾日門票8月26日-9月3日,任選一天,1次進(jìn)場。 -
2023??诰幼∽C辦理上門核實嗎?
??诰幼∽C辦理上門核實海口辦理居住證,公安派出所核對流動人口在本市 -
?王志煌作《軟件定義汽車及其開發(fā)與測...
2023年8月21日-24日,由工業(yè)和信息化部裝備工業(yè)發(fā)展中心、江蘇省工 -
公積金業(yè)務(wù)“亮碼可辦” 張家港公積金...
蘇報訊(駐張家港記者楊溢陳夢嬌)“太便捷了,只要登錄全國住房公... -
上海機電(600835.SH)發(fā)布半年度業(yè)績,凈...
智通財經(jīng)APP訊,上海機電(600835)(600835 SH)披露2023年半年度報告,報 -
新app推廣賺錢(新增app推廣)
1、主要方法是植入廣告:找一些現(xiàn)在很流行的應(yīng)用商店或者app,去應(yīng)用商 -
菏澤市定陶區(qū)杜堂鎮(zhèn)陸灣村志愿服務(wù)隊(關(guān)...
,你們好,今天0471房產(chǎn)來聊聊一篇澤市定陶區(qū)杜堂鎮(zhèn)陸灣村志愿服務(wù)隊, -
抹不去的回憶是什么意思(抹不去的回憶)
1、有兩首說~你看看是哪一首吧抹不去的回憶作詞:韻蝶兒(楊曉霞)作曲:韻 -
葡萄粉蚧(關(guān)于葡萄粉蚧簡述)
,你們好,今天0471房產(chǎn)來聊聊一篇萄粉蚧,萄粉蚧簡述的文章,網(wǎng)友們對 -
違法上快速路將被嚴(yán)查
本報訊?(鐘和)為有效凈化城市快速路通行環(huán)境,保障道路的安全暢通, -
午評:兩市震蕩調(diào)整 環(huán)保板塊逆勢領(lǐng)漲
午評:兩市震蕩調(diào)整環(huán)保板塊逆勢領(lǐng)漲 -
切紙機險成“切指機”!消防員成功解危難
近日,延邊州消防救援支隊龍井市消防救援大隊龍東街消防站接到報警稱: -
手機相關(guān)知識:徠卡三攝什么意思
科技、數(shù)碼、互聯(lián)網(wǎng)新聞如今都成為了大眾所關(guān)注的熱點了,因為在我們的 -
三部門推動落實購買首套房貸款“認(rèn)房不...
記者25日從住房和城鄉(xiāng)建設(shè)部獲悉,近日住房城鄉(xiāng)建設(shè)部、中國人民銀行、 -
鄭州1-7月房地產(chǎn)開發(fā)投資占比43.1% 比...
1-7月,鄭州全市地方財政一般公共預(yù)算收入825 2億元,同比下降0 4%;一 -
出手逾8億元!蘇州神秘女富豪,溢價超40...
洪匯新材(002802)實際控制人面臨變更。 -
三連勝!江蘇女足客場2:0擊敗四川女足,...
揚子晚報網(wǎng)8月23日訊(記者張晨瑆張昊)北京時間8月23日,在2023賽季女 -
彩虹新能源(00438)建議委任馬志斌為執(zhí)行董事
來源:智通財經(jīng)彩虹新能源(00438)發(fā)布公告,董事會于2023年8月22日舉行