1. 創(chuàng)業(yè)頭條
  2. 前沿領(lǐng)域
  3. 人工智能
  4. 正文

業(yè)界最強開源大模型來了!通義千問720億參數(shù)模型正式開源

 2023-12-01 11:53  來源:互聯(lián)網(wǎng)  我來投稿 撤稿糾錯

  域名預(yù)訂/競價,好“米”不錯過

12月1日,阿里云舉辦通義千問發(fā)布會,開源通義千問720億參數(shù)模型Qwen-72B。Qwen-72B在10個權(quán)威基準(zhǔn)測評創(chuàng)下開源模型最優(yōu)成績,成為業(yè)界最強開源大模型,性能超越開源標(biāo)桿Llama 2-70B和大部分商用閉源模型。未來,企業(yè)級、科研級的高性能應(yīng)用,也有了開源大模型這一選項。

通義千問還開源了18億參數(shù)模型Qwen-1.8B和音頻大模型Qwen-Audio。至此,通義千問共開源18億、70億、140億、720億參數(shù)的4款大語言模型,以及視覺理解、音頻理解兩款多模態(tài)大模型,實現(xiàn)“全尺寸、全模態(tài)”開源。力度之大,業(yè)界無出其右。

業(yè)界最強開源模型,填補中國LLM開源領(lǐng)域空白

Qwen-72B基于3T tokens高質(zhì)量數(shù)據(jù)訓(xùn)練,延續(xù)通義千問預(yù)訓(xùn)練模型一貫以來的強勢表現(xiàn),在10個權(quán)威基準(zhǔn)測評中奪得開源模型最優(yōu)成績,在部分測評中超越閉源的GPT-3.5和GPT-4。

英語任務(wù)上,Qwen-72B在MMLU基準(zhǔn)測試取得開源模型最高分;中文任務(wù)上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基準(zhǔn),得分超越GPT-4;數(shù)學(xué)推理方面,Qwen-72B在GSM8K、MATH測評中斷層式領(lǐng)先其他開源模型;代碼理解方面,Qwen-72B在HumanEval、MBPP等測評中的表現(xiàn)大幅提升,代碼能力有了質(zhì)的飛躍。

在10大權(quán)威測評中,通義千問720億參數(shù)模型獲得開源模型最優(yōu)成績

通義千問720億開源模型部分成績超越閉源的GPT-3.5和GPT-4

Qwen-72B可以處理最多32k的長文本輸入,在長文本理解測試集LEval上取得了超越ChatGPT-3.5-16k的效果。研發(fā)團隊優(yōu)化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游應(yīng)用集成。比如,Qwen-72B搭載了強大的系統(tǒng)指令(System Prompt)能力,用戶只用一句提示詞就可定制AI助手,要求大模型扮演某個角色或者執(zhí)行特定的回復(fù)任務(wù)。

用戶僅用一句提示詞就可創(chuàng)建自己的AI助手

此前,中國大模型市場還沒出現(xiàn)足以對標(biāo)Llama 2-70B的優(yōu)質(zhì)開源模型。Qwen-72B填補了國內(nèi)空白,以高性能、高可控、高性價比的優(yōu)勢,提供不亞于商業(yè)閉源大模型的選擇?;赒wen-72B,大中型企業(yè)可開發(fā)商業(yè)應(yīng)用,高校、科研院所可開展AI for Science等科研工作。

從1.8B到72B, 通義千問 率先實現(xiàn)全尺寸開源

如果說Qwen-72B“向上摸高”,抬升了開源大模型的尺寸和性能天花板;發(fā)布會上的另一開源模型Qwen-1.8B則“向下探底”,成為尺寸最小的中國開源大模型,推理2K長度文本內(nèi)容僅需3G顯存,可在消費級終端部署。

從18億、70億、140億到720億參數(shù)規(guī)模,通義千問成為業(yè)界首個“全尺寸開源”的大模型。用戶可在魔搭社區(qū)直接體驗Qwen系列模型效果,也可通過阿里云靈積平臺調(diào)用模型API,或基于阿里云百煉平臺定制大模型應(yīng)用。阿里云人工智能平臺PAI針對通義千問全系列模型進行深度適配,推出了輕量級微調(diào)、全參數(shù)微調(diào)、分布式訓(xùn)練、離線推理驗證、在線服務(wù)部署等服務(wù)。

阿里云是國內(nèi)最早開源自研大模型的科技企業(yè),8月以來開源了Qwen-7B、Qwen-14B和視覺理解模型Qwen-VL。幾款模型先后沖上HuggingFace、Github大模型榜單,得到中小企業(yè)和個人開發(fā)者的青睞,累計下載量超過150萬,催生出150多款新模型、新應(yīng)用。發(fā)布會現(xiàn)場,多位開發(fā)者伙伴現(xiàn)身說法,分享了他們用Qwen開發(fā)專屬模型和特定應(yīng)用的實踐。

阿里云CTO周靖人表示,開源生態(tài)對促進中國大模型的技術(shù)進步與應(yīng)用落地至關(guān)重要,通義千問將持續(xù)投入開源,希望成為“AI時代最開放的大模型”,與伙伴們共同促進大模型生態(tài)建設(shè)。

通義千問基座模型持續(xù)進化,多模態(tài)探索業(yè)界領(lǐng)先

通義千問在多模態(tài)大模型領(lǐng)域的探索也領(lǐng)先業(yè)界一步,當(dāng)天,阿里云首次開源音頻理解大模型Qwen-Audio。

Qwen-Audio能夠感知和理解人聲、自然聲、動物聲、音樂聲等各類語音信號。用戶可以輸入一段音頻,要求模型給出對音頻的理解,甚至基于音頻進行文學(xué)創(chuàng)作、邏輯推理、故事續(xù)寫等等。音頻理解能夠賦予大模型接近人類的聽覺能力。

通義大模型能“聽”也能“看”。通義千問8月開源出視覺理解大模型Qwen-VL,迅速成為國際開源社區(qū)最佳實踐之一。本次發(fā)布會又宣布了Qwen-VL的重大更新,大幅提升通用OCR、視覺推理、中文文本理解基礎(chǔ)能力,還能處理各種分辨率和規(guī)格的圖像,甚至能“看圖做題”。不論從權(quán)威測評成績還是真人體驗的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通義千問閉源模型也在持續(xù)進化,一個月前發(fā)布的通義千問2.0版閉源模型,最近已進階至2.1版,上下文窗口長度擴展到32k,代碼理解生成能力、數(shù)學(xué)推理能力、中英文百科知識、幻覺誘導(dǎo)抵抗能力分別提升30%、10%、近5%和14%。用戶可以在通義千問APP免費體驗最新版本的閉源模型。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關(guān)標(biāo)簽
大模型

相關(guān)文章

  • 首屆通義千問AI挑戰(zhàn)賽開賽,參賽者可暢玩通義開源模型家族

    12月1日,首屆“通義千問AI挑戰(zhàn)賽”開賽,參賽者可免費暢玩通義開源模型家族,包括剛剛發(fā)布的720億參數(shù)模型Qwen-72B。主辦方為參賽者提供價值50萬元的免費云上算力和豐厚獎金。賽事分為算法和Agent兩大賽道,前者聚焦通義千問大模型的微調(diào)訓(xùn)練,希望通過高質(zhì)量的數(shù)據(jù)探索開源模型的代碼能力上限,后

    標(biāo)簽:
    大模型
  • 最強開源大模型來了!通義千問720億參數(shù)模型開源發(fā)布

    12月1日通義千問發(fā)布會,阿里云開源通義千問720億參數(shù)模型Qwen-72B。Qwen-72B在10個權(quán)威基準(zhǔn)測評創(chuàng)下開源模型最優(yōu)成績,成為業(yè)界最強開源大模型,性能超越開源標(biāo)桿Llama2-70B和大部分商用閉源模型,可適配企業(yè)級、科研級的高性能應(yīng)用。通義千問當(dāng)天還開源了18億參數(shù)模型Qwen-1.

    標(biāo)簽:
    大模型
  • 掰開安卓手機,滿屏都是三個字:大模型

    這年頭,安卓廠商沒個大模型,都不敢開手機發(fā)布會了。前腳OPPO剛用大模型升級了語音助手,后腳vivo就官宣自研手機AI大模型;小米發(fā)布會則直接將大模型當(dāng)場塞進手機系統(tǒng)……其競爭激烈程度,不亞于搶芯片首發(fā)。到底是怎么回事?究其原因,還是智能終端已經(jīng)成為了各類AIGC應(yīng)用的落地“新灘頭”。先是圖像生成大

    標(biāo)簽:
    大模型
  • 加速大模型落地,容聯(lián)云發(fā)布多款生成式智能服務(wù)

    基于容聯(lián)云自主研發(fā)的赤兔大模型能力,容聯(lián)云容犀機器人真正將大模型強大的理解能力、知識學(xué)習(xí)能力、總結(jié)能力、挖掘能力、推理能力融入于實際落地應(yīng)用中。開創(chuàng)性的打造生成式場景化智能問答、生成式智能輔助、AI運營話術(shù)庫,幫助企業(yè)洞悉更精準(zhǔn)的客戶真實需求,提升一線客服人員的專業(yè)服務(wù)能力,并代替人工完成大量低價值

    標(biāo)簽:
    大模型
  • 從搜索到大模型,百度商業(yè)化的“驚險一躍”

    文:向善財經(jīng)關(guān)于百度,最近發(fā)生了這么兩件事兒。一個是華爾街分析師重申了對百度股票的買入評級和目標(biāo)價,但在該公司11月21日公布第三季度收益之前下調(diào)了第三季度收入預(yù)期。分析師給出的理由是,線下廣告支出走軟,以及2G資金減少之后,給智能交通帶來挑戰(zhàn)。另外一個是最近文心一言正式上線了專業(yè)版,并且開始收費,

    標(biāo)簽:
    百度
    大模型
  • “創(chuàng)造市場”與“算法進化”,中美AI競速的岔路口

    “人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點。而當(dāng)前的全球AI市場,占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進行排位先后、優(yōu)

    標(biāo)簽:
    ai智能
  • 智能體進化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實在智能最新發(fā)布的實在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實現(xiàn)了流程全自動化AIAgent構(gòu)建到執(zhí)行全自動化,持續(xù)進化RPAAgent再次降低智能體應(yīng)用門檻實在智能重磅發(fā)布實

  • 崔大寶:大模型降溫背后的難點、卡點、節(jié)點

    崔大寶|節(jié)點財經(jīng)創(chuàng)始人進入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動了,英偉達股價動輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費市場,BATH們的推新活動少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計費”,打響國內(nèi)大模型

    標(biāo)簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄

    標(biāo)簽:
    數(shù)字人
  • 來到IPO關(guān)口,地平線離“三分天下”還有多遠?

    黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預(yù)計籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供

  • 機器人大會引領(lǐng)產(chǎn)業(yè)動向,卓翼飛思繪制無人系統(tǒng)教科研新藍圖

    8月21日,萬眾矚目的2024世界機器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機器人盛會,反映了當(dāng)下機器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計數(shù)據(jù),今年現(xiàn)場逛展觀眾高達25萬人次,比去年增加25%。機器人行業(yè)有多火?看看2024世界機器人大會火爆程度便可知

  • 卓翼智能:超大載重高烈度環(huán)境特種智能系留無人平臺的應(yīng)用與未來

    瞄準(zhǔn)場景需求,打造國內(nèi)領(lǐng)先的自主可控、高質(zhì)量超大載重高烈度環(huán)境特種智能系留無人平臺。卓翼智能亮相HICOOL峰會以科技實力榮摘創(chuàng)業(yè)大賽一等獎這個比賽5年培育出16家“獨角獸”HICOOL2024全球創(chuàng)業(yè)者峰會暨創(chuàng)業(yè)大賽已于8月25日在北京圓滿落下帷幕,大賽共吸引了124個國家和地區(qū)的7406個創(chuàng)業(yè)項

  • 60萬獎金召喚AI創(chuàng)新者,2024無錫國際人工智能創(chuàng)新應(yīng)用大賽火熱進行中!

    人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。無錫市作為中國的科技創(chuàng)新中心之一,正通過構(gòu)建人工智能"算力+算法+數(shù)據(jù)"三要素齊備的產(chǎn)業(yè)生態(tài),為產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用提供強大支撐,通過“AI+”行動推動人工智能與多個產(chǎn)業(yè)交叉融合,實現(xiàn)技術(shù)落地和產(chǎn)業(yè)化,加速形成新質(zhì)生產(chǎn)力,打造具有國際競爭力的產(chǎn)業(yè)創(chuàng)新智造

  • “云+AI”驅(qū)動操作系統(tǒng)創(chuàng)新升級,龍蜥堅持可持續(xù)發(fā)展路線

    近日,2024龍蜥操作系統(tǒng)大會(OpenAnolisConference)在北京圓滿召開,此次大會由中國計算機學(xué)會開源發(fā)展委員會、中關(guān)村科學(xué)城委員會、海淀區(qū)委網(wǎng)信辦、中國開源軟件推進聯(lián)盟指導(dǎo),龍蜥社區(qū)主辦,阿里云、浪潮信息、Intel、中興通訊、Arm、中科方德等24家理事單位共同承辦,主題為“進化