通義千問

“通義千問”（英文名：Tongyi Qianwen）是阿里云開發(fā)的大型語言模型，旨在通過自然語言處理技術(shù)為用戶提供跨領域的智能服務。該模型具備文本創(chuàng)作、代碼編寫、多語言翻譯以及角色扮演對話等功能。

阿里云于2023年逐步推進通義千問大模型的發(fā)展。4月初開始邀請測試，隨后在當月中旬的阿里云峰會上正式發(fā)布，并宣布阿里巴巴所有產(chǎn)品將接入該模型。同年9月，通義千問通過備案并向公眾開放。10月底，阿里云在云棲大會上發(fā)布了通義千問2.0版本，模型參數(shù)提升至千億級別。進入2024年，6月初發(fā)布Qwen2大模型，并在開源平臺上線。最終，在2025年初，阿里云推出了旗艦版模型Qwen2.5-Max。

除了基礎大模型，阿里云還基于通義大模型開發(fā)了多個行業(yè)應用模型，包括通義靈碼、通義智文等多個領域特定的應用，以滿足不同行業(yè)的需求。

自2019年起，阿里巴巴集團便啟動了大模型的研發(fā)工作。到了2023年4月7日，阿里云宣布“通義千問”大模型開始邀請企業(yè)用戶進行測試。緊接著在4月11日的阿里云峰會上，阿里云智能首席技術(shù)官周靖人正式發(fā)布了這一大模型。發(fā)布會上，阿里巴巴集團董事會主席兼CEO、阿里云智能集團CEO張勇宣布，阿里巴巴旗下的所有產(chǎn)品，包括天貓、釘釘、高德地圖、淘寶、優(yōu)酷、盒馬等，都將接入“通義千問”大模型進行全面升級改造。

一周后的4月18日，釘釘總裁葉軍宣布釘釘正式接入通義千問大模型。他現(xiàn)場演示了接入后的功能，用戶通過在釘釘中輸入“/”，即可喚起10余項AI能力，如使用AI生成推廣文案、繪圖創(chuàng)建應用、視頻會議中生成摘要等。

在2023年4月27日舉行的第六屆數(shù)字中國建設峰會上，阿里巴巴董事會主席兼CEO、阿里云智能集團CEO張勇透露，阿里云工程師正在實驗將通義千問大模型接入工業(yè)機器人。通過這項技術(shù)，用戶只需在釘釘對話框輸入一句人類語言，即可遠程指揮機器人工作。隨后，在8月3日，通義千問宣布旗下70億參數(shù)通用模型Qwen-7B和對話模型Qwen-7B-Chat正式上架魔搭平臺。這兩款模型不僅開源且免費，還可以用于商業(yè)用途。同時，它們支持在消費級顯卡上部署和運行模型。用戶可以從魔搭社區(qū)下載這些模型到本地進行部署，也可以直接在魔搭平臺上一鍵啟動阿里云機器學習平臺PAI，在云端對模型進行微調(diào)、部署和推理操作。

通義千問在模型開源方面持續(xù)取得顯著進展：2023年8月25日，發(fā)布了大規(guī)模視覺語言模型Qwen-VL及其視覺AI助手Qwen-VL-Chat，并宣布開源。隨后的9月25日，通義千問140億參數(shù)模型Qwen-14B及其對話模型Qwen-14B-Chat也宣布開源。同年12月1日，阿里云通義千問進一步推出了720億參數(shù)模型Qwen-72B、18億參數(shù)模型Qwen-1.8B以及音頻大模型Qwen-Audio的開源計劃。至此，通義千問已經(jīng)開源了涵蓋18億、70億、140億和720億參數(shù)的四款大型語言模型，以及視覺理解和音頻理解兩款多模態(tài)大模型。這一系列舉措實現(xiàn)了“全尺寸、全模態(tài)”的開源策略，累計下載量已超過150萬次，激發(fā)了150多款新模型和新應用的開發(fā)。

2023年9月，通義千問大模型成功通過備案并向公眾開放。用戶可通過通義千問官網(wǎng)進行體驗，企業(yè)用戶則可以通過阿里云調(diào)用相關(guān)API。同時，阿里旗下的網(wǎng)絡零售平臺淘寶也推出了內(nèi)測應用“淘寶問問”，接入通義千問服務。

2023年10月，在云棲大會上，阿里云正式發(fā)布了升級版的通義千問2.0，其模型參數(shù)達到了千億級別。與此同時，通義千問APP也在各大手機應用市場上線。此外，基于通義大模型訓練的8大行業(yè)模型組團上線發(fā)布，涵蓋了多個領域。

2023年11月7日，通義千問App在蘋果App Store上架，安裝包大小為25.9MB。此前，通義千問2.0發(fā)布時已同步在各大安卓應用市場上架。

2023年11月16日，阿里巴巴集團公布了截至9月30日的2024財年第二季度財務報告。報告顯示，釘釘?shù)?7條產(chǎn)品線已全面集成了大模型技術(shù)，并且開放了其人工智能平臺AI PaaS給客戶和生態(tài)系統(tǒng)合作伙伴，以支持生態(tài)系統(tǒng)參與者的產(chǎn)品創(chuàng)新。

2024年5月21日，阿里云宣布通義千問GPT-4級主力模型Qwen-Long的API輸入價格從0.02元/千tokens降至0.0005元/千tokens，降幅達97%。6月7日，阿里發(fā)布了通義千問Qwen2大模型，并在Hugging Face和ModelScope上同步開源。Qwen2系列包括五個尺寸的預訓練和指令微調(diào)模型，上下文長度支持進一步擴展至最高128K tokens。6月19日，OpenCompass發(fā)布了首個大模型高考全卷評測結(jié)果，其中阿里通義千問2-72B排名第一，得分303分（滿分420分）。12月31日，阿里云宣布2024年度第三輪大模型降價。通義千問Qwen-VL-Plus直降81%，輸入價格為0.0015元/千tokens；而更高性能的Qwen-VL-Max則降至0.003元/千tokens，降幅為85%。

2025年1月29日，阿里云正式發(fā)布了通義千問旗艦版模型Qwen2.5-Max。該模型的預訓練數(shù)據(jù)超過20萬億tokens。開發(fā)者可在Qwen Chat平臺免費體驗此模型，企業(yè)和機構(gòu)也可通過阿里云百煉平臺直接調(diào)用新模型API服務。

AI對話作為通義千問的核心功能，利用通義大模型，通過自然語言理解和語義分析，在多個領域和任務中為用戶提供服務。其包含10項基本能力：語義理解與抽取、閑聊、上下文對話、生成與創(chuàng)作、知識與百科、代碼、邏輯與推理、計算及角色扮演。

通義千問2.0版本增加了文本回答、圖片理解、文檔解析三種模式。用戶可以在網(wǎng)頁端上傳圖片和文檔，并就相關(guān)內(nèi)容提出問題，實現(xiàn)文字以外的互動方式。

特色功能

包括“百寶袋”，這是預先提供的小應用集合，方便用戶快速上手。百寶袋的功能分為四類：

AI 應用服務概述

一、創(chuàng)意文案服務

通義千問具備強大的創(chuàng)意文案生成能力。無論用戶身處何種場景，它都能快速響應需求，精準創(chuàng)作多種類型的優(yōu)質(zhì)文案。在內(nèi)容創(chuàng)作領域，無論是短視頻劇本的構(gòu)思與撰寫，還是溫馨動人的祝福語創(chuàng)作；無論是專業(yè)電影劇本的打造，還是對已有內(nèi)容的擴寫輔助；從商品評價的客觀分析，到情書的深情表達；從直播文案的巧妙設計，到評論的機智回復；從小紅書文案的潮流撰寫，到回憶錄的細膩生成；從七言詩的創(chuàng)作，到人物傳記的詳實記錄，通義千問都能為用戶提供全方位的創(chuàng)意支持，助力其在各類內(nèi)容創(chuàng)作中展現(xiàn)出獨特魅力與專業(yè)水準。

二、辦公助理服務

在辦公場景中，通義千問發(fā)揮著高效的輔助作用。通過提供營銷文案撰寫服務，幫助用戶精準傳達產(chǎn)品或服務的核心價值，提升市場營銷效果。周報助理能夠協(xié)助用戶梳理一周工作要點與成果，確保匯報工作的條理清晰與高效性。PPT 大綱助手為用戶構(gòu)建演示文稿的邏輯框架，助力其制作出專業(yè)且富有吸引力的 PPT。日報助手方便用戶每日總結(jié)工作情況，促進工作的及時復盤與改進。簡歷幫手和求職助手則能在職業(yè)發(fā)展道路上給予有力支持，幫助用戶優(yōu)化簡歷內(nèi)容，提升求職競爭力，從而全方位提升用戶的辦公效率與質(zhì)量。

三、學習助手服務

通義千問在學習過程中扮演著貼心助手的角色。針對開學規(guī)劃這一重要階段，它能為用戶提供合理的學習計劃建議，助力學生在新學期伊始就明確學習目標與方向。詩歌分析家功能有助于深入剖析詩歌的內(nèi)涵與藝術(shù)手法，提升學生對詩歌的鑒賞能力。讀后感生成器能夠幫助學生在閱讀后快速整理思緒，形成有深度的讀后感悟。知識鞏固助手通過對知識點的梳理與強化練習，幫助學生更好地掌握所學內(nèi)容。文言文翻譯則解決了學生在古文學習中的語言障礙，使其更順暢地領略古代文化的博大精深，全方位提升學生的學習體驗與學習效果。

四、趣味生活服務

通義千問還積極融入日常生活，為用戶解答各類生活問題或提供有趣的互動話題。當面臨社交場合時，高情商回復功能能幫助用戶以恰當?shù)姆绞綉獙Ω鞣N情況，增進人際關(guān)系。吹彩虹屁這一有趣的功能則能為用戶在輕松氛圍中增添歡樂元素。健身計劃服務根據(jù)用戶的身體狀況與目標制定個性化的健身方案，助力健康生活。怎么辦助手為用戶提供生活中的各類難題解決思路，如海底撈食譜等生活小竅門分享，讓用戶的生活更加豐富多彩與便捷高效。

五、AI 語音對話服務

通義千問還具備先進的 AI 語音對話功能，為用戶提供更加便捷的交互體驗。用戶可以通過語音輸入的方式提出問題或獲取信息，系統(tǒng)能夠快速準確地識別并給出相應的回答，進一步提升了服務的便捷性與高效性。

通義千問App具備獨特的語音交互功能，允許用戶通過語音向AI提問并接收語音回答。用戶可隨時開啟新的話題，并能為AI語音選擇溫柔、幽默、嚴謹或親切的音色。

截至2023年9月，通義千問模型的預訓練數(shù)據(jù)達到了3萬億tokens。這些數(shù)據(jù)主要來源于公共網(wǎng)絡文檔、百科全書、書籍和代碼等，覆蓋多種語言，但以中文和英文為主。為確保數(shù)據(jù)質(zhì)量，開發(fā)團隊設計了一套全面的預處理流程：

針對公共Web數(shù)據(jù)，從HTML中提取文本內(nèi)容，并通過語言識別工具確定語種。

為了增強數(shù)據(jù)的多樣性，采用了重復數(shù)據(jù)刪除技術(shù)，包括規(guī)范化后的精確匹配刪除方法，以及基于MinHash和LSH算法的模糊匹配刪除方法。

在數(shù)據(jù)收集階段，開發(fā)團隊運用規(guī)則與機器學習方法相結(jié)合的方式篩選高質(zhì)量數(shù)據(jù)。具體而言，通過多種模型對內(nèi)容進行綜合評分，包括語言模型、文本質(zhì)量評分模型以及用于檢測潛在攻擊性或不當內(nèi)容的模型。此外，開發(fā)團隊手動審查來自不同來源的樣本數(shù)據(jù)，進一步確保其質(zhì)量。

對于數(shù)據(jù)選擇，開發(fā)團隊有針對性地從特定來源采樣，以提升整體數(shù)據(jù)質(zhì)量，保證模型在多樣化且高質(zhì)量的數(shù)據(jù)集上進行訓練。

在分詞器設計方面，Qwen采用了開源快速BPE分詞器tiktoken，基于cl100k基礎詞匯庫進行構(gòu)建。為了增強模型在多語言下游任務中的表現(xiàn)，尤其是針對中文場景，開發(fā)團隊擴充了常用中文字詞及其他語言詞匯，并將數(shù)字字符串分割成單個數(shù)字，最終詞表大小達到152K。這些優(yōu)化措施旨在提高模型的訓練效率和任務執(zhí)行效果，特別是在處理多語言數(shù)據(jù)時。

開發(fā)團隊展示了Qwen模型與其他模型在不同語言壓縮率上的對比結(jié)果。Qwen在大多數(shù)語言上表現(xiàn)出更高的壓縮效率，這有助于降低模型服務的成本。

Qwen模型基于Transformer框架，并采用了開源大語言模型訓練方法LLaMA。為了優(yōu)化性能，開發(fā)團隊對模型架構(gòu)進行了以下關(guān)鍵修改：

通義千問

嵌入和輸出投影：Qwen選擇了無限制的嵌入方法，而非綁定輸入嵌入和輸出投影的權(quán)重。這種改動以增加內(nèi)存成本為代價，提升了模型的性能。

位置編碼：模型采用Rotary Positional Embedding（RoPE）進行位置編碼，并選用FP32精度而非BF16或FP16的逆頻率矩陣，以此提高模型的性能表現(xiàn)和精確度。

偏差（Bias）：開發(fā)團隊在模型中移除了大部分層的偏差，僅在QKV注意力層中添加了偏差，以提高模型的外推能力。

預規(guī)范化和RMSNorm：為了提升訓練穩(wěn)定性，模型采用了預規(guī)范化方法，并用RMSNorm替代了傳統(tǒng)的層歸一化方法。

激活函數(shù)：模型引入了SwiGLU作為激活函數(shù)，并減小了前饋網(wǎng)絡（FFN）的維度，從原來的4倍隱藏大小調(diào)整為8/3倍。

外推能力的擴展：Transformer模型的注意力機制在處理長上下文時面臨計算成本和內(nèi)存消耗急劇增加的問題。為此，千問模型采用了無需額外訓練的技術(shù)，在推理過程中有效擴展上下文長度，從而提升了模型處理長序列的能力。

NTK感知插值技術(shù)通過免訓練的方式調(diào)整尺度，以防止高頻信息丟失，從而提升性能。為了進一步優(yōu)化性能，開發(fā)團隊還實現(xiàn)了動態(tài)NTK感知插值技術(shù)，該技術(shù)按塊動態(tài)改變規(guī)模，避免嚴重的性能下降。這些技術(shù)有效地擴展了Transformer模型的上下文長度，同時不影響其計算效率或準確性。

LogN-Scaling技術(shù)通過一個取決于上下文長度與訓練長度之比的因子重新調(diào)整查詢和值的點積，確保注意力值的熵隨著上下文長度的增長保持穩(wěn)定。

Window attention技術(shù)將注意力限制在一個上下文窗口內(nèi)，防止模型關(guān)注到太遠的內(nèi)容。基于千問模型的長上下文建模能力在不同層之間有所不同，與較高層相比，較低層對上下文長度擴展更加敏感。因此，開發(fā)團隊為每一層分配不同的窗口大小：較低的層使用較短的窗口，而較高的層使用較長的窗口。

千問模型在訓練過程中嚴格遵循了自回歸語言建模的規(guī)范方法，即通過預測下一個Token的內(nèi)容來進行訓練。具體來說，模型的最大訓練長度限制為2048個Token。在數(shù)據(jù)預處理階段，為確保批次數(shù)據(jù)的多樣性，開發(fā)團隊對原始文本內(nèi)容進行了隨機打亂和合并處理，隨后將處理后的文本截斷至指定的長度。為了提升計算效率，模型在注意力機制部分采用了先進的Flash Attention技術(shù)。優(yōu)化方面，選擇了AdamW作為主要的優(yōu)化器，并設置了超參數(shù)β1、β2以及?分別為0.9、0.95和10^-8以實現(xiàn)更精細的控制。此外，學習率策略上采取了余弦調(diào)度方案，針對不同規(guī)模的模型設定了相應的峰值學習率，并且允許學習率降至最低峰值的10%。最后，為了增強訓練過程的穩(wěn)定性，引入了BFloat16格式進行混合精度訓練。

2023年6月1日，阿里云在廣州舉辦粵港澳大灣區(qū)峰會。在此次峰會上，阿里云發(fā)布了其通義大模型的最新進展，推出了專注于音視頻的AI新品“通義聽悟”。這款產(chǎn)品標志著中國首個開放公測的大模型應用產(chǎn)品的誕生。“通義聽悟”融合了通義千問大模型的理解與摘要能力，旨在為用戶提供一個強大的AI助手，以提升音視頻內(nèi)容的轉(zhuǎn)寫、檢索、摘要和整理效率。

阿里云還介紹了“通義靈碼”，這是一款智能編碼助手，它依托于阿里云的通義代碼大模型。通過利用海量的優(yōu)秀開源代碼數(shù)據(jù)集和編程教科書進行訓練，該助手能夠根據(jù)現(xiàn)有代碼文件及其上下文，自動生成行級或函數(shù)級的代碼、單元測試以及代碼注釋。它還具備代碼解釋、智能研發(fā)問答、異常報錯排查等功能，并對阿里云SDK/OpenAPI的使用場景進行了優(yōu)化，為開發(fā)者提供了高效流暢的編碼體驗。

通義星塵是一個創(chuàng)新的個性化角色創(chuàng)作系統(tǒng)，它通過利用大規(guī)模的高質(zhì)量對話數(shù)據(jù)，采用階段性的個性化訓練方法。這種策略不僅使模型保持了廣泛的通用能力，還增強了其擬人化、情感表達和獨特的語言風格的能力。在遵循特定角色的個性和風格方面，該系統(tǒng)展現(xiàn)出卓越的指令遵從性。相較于傳統(tǒng)的通用模型，通義星塵能夠更深入地定制化人物設定，與用戶建立深層次的聯(lián)系，支持多種形式的對話交互，并且可以基于特定的事件背景進行討論。這使得它在情感陪伴、游戲NPC設計、IP再現(xiàn)等領域具有廣泛的應用潛力。

通義曉蜜是阿里云推出的一款智能客服機器人，集成了智能對話平臺、全渠道聯(lián)絡中心以及智能坐席助理等多項功能。它利用自然語言處理和機器學習技術(shù)，能夠與用戶進行高效智能的對話，并提供多樣化的信息和服務。該機器人具備智能問答、自動回復、多輪對話和情感分析等功能，能夠理解用戶的問題并提供相應的答案和解決方案，從而極大地提升了客戶服務的效率和響應速度。

通義點金：大模型驅(qū)動的智能金融助手，提供深度財報解讀、金融事件分析、實時市場數(shù)據(jù)等功能。

通義法睿：基于通義大模型的AI法律顧問，提供法律智能對話、文書生成、知識檢索、文本閱讀等功能。

通義仁心：阿里云推出的醫(yī)療領域人工智能產(chǎn)品，結(jié)合技術(shù)與專業(yè)知識，解答醫(yī)療健康問題。

通義智文：基于通義大模型的AI閱讀助手，支持多種閱讀形式，提高閱讀效率。

相關(guān)合作

無錫政務服務APP“靈錫”成功接入“通義千問”并進入測試階段。通義點金作為一款由大模型驅(qū)動的智能金融助手，致力于為用戶提供全方位的金融服務體驗。其具備深度解讀財報研報的能力，通過精準分析金融事件，為用戶揭示隱藏在數(shù)據(jù)背后的價值。此外，它還支持自動繪制圖表和表格，以及進行實時市場數(shù)據(jù)分析，助力用戶更好地理解金融世界的動態(tài)變化。通義點金的功能包括智能投研機器人、文檔分析機器人、金融信息搜索引擎、智能資訊機器人等，旨在為用戶提供便捷、高效的金融信息服務。

通義法睿是一款基于通義大模型的AI法律顧問，它能夠提供全面的法律服務功能。無論是智能對話、法律文書生成，還是法律知識檢索、法律文本閱讀，通義法睿都能夠以高效、準確的方式滿足用戶的需求。通過深度學習和大數(shù)據(jù)分析，這款AI法律顧問能夠為用戶提供專業(yè)的法律建議和支持。

通義仁心是阿里云推出的專注于醫(yī)療領域的人工智能產(chǎn)品。它融合了阿里云的先進技術(shù)和醫(yī)療行業(yè)的專業(yè)知識，為用戶提供全面的醫(yī)療健康管理解決方案。無論是對于疾病的診斷、癥狀的解讀，還是藥品的選擇、報告指標的理解，通義仁心都能夠給出專業(yè)的解答和建議。它的出現(xiàn)，無疑為醫(yī)療領域帶來了新的變革和發(fā)展。

通義智文則是一款基于通義大模型的AI閱讀助手，它支持網(wǎng)頁閱讀、論文閱讀、圖書閱讀和自由閱讀等多種閱讀形式。通過智能化的文本分析和處理技術(shù)，通義智文能夠幫助用戶提高閱讀效率和質(zhì)量，讓用戶在海量的信息中快速找到自己所需的內(nèi)容。同時，它還具備輔助用戶深入理解文本內(nèi)容的能力，使用戶能夠讀得更多、更快、更懂。

值得一提的是，通義系列的產(chǎn)品已經(jīng)在多個領域得到了廣泛的應用和認可。例如，在2023年4月，無錫政務服務和城市服務的移動端總?cè)肟凇办`錫”APP就成功接入了“通義千問”，并進入了全面測試階段。這一合作不僅展示了通義系列產(chǎn)品的強大實力和廣泛應用前景，也為推動相關(guān)領域的發(fā)展注入了新的動力。

2023年4月26日，阿里云在合作伙伴大會上發(fā)布了“通義千問合作伙伴計劃”，旨在促進大模型技術(shù)在各行業(yè)的廣泛應用。昆侖數(shù)智、朗新科技、千方科技、中金財富、石基集團、用友網(wǎng)絡及亞信科技等七家數(shù)字化服務商被選為首批合作伙伴。

緊接著，在2023年5月19日，北京市經(jīng)濟和信息化局聯(lián)合市科委中關(guān)村管委會和市發(fā)改委共同啟動了“北京市通用人工智能產(chǎn)業(yè)創(chuàng)新伙伴計劃”。阿里云及其通義大模型被納入為該計劃的首批算力和模型合作伙伴。

2023年6月27日，在山東曲阜舉辦的“世界互聯(lián)網(wǎng)大會數(shù)字文明尼山對話”上，阿里云智能集團董事長兼首席執(zhí)行官張勇宣布，阿里云的“通義千問”大模型自4月份對外測試以來，已吸引超過20萬企業(yè)申請接入。這一模型幾乎覆蓋了所有新興和傳統(tǒng)行業(yè)。此外，阿里云還啟動了“千問伙伴計劃”，旨在與各行業(yè)合作伙伴共建創(chuàng)新生態(tài)。該計劃已在油氣、電力、交通、金融等多個行業(yè)取得進展，并計劃進一步打造更多企業(yè)專屬模型，以促進各行業(yè)更快速地分享智能化帶來的紅利。

2023年7月14日，巨人網(wǎng)絡與阿里云宣布達成全面合作，在上海簽署了合作備忘錄。雙方計劃共同建設一個基于巨人網(wǎng)絡游戲研發(fā)平臺、阿里云通義千問大模型以及AIGC產(chǎn)品能力的“游戲+AI”智算平臺。通過此次合作，兩家公司將致力于推動AI技術(shù)在游戲領域的應用和發(fā)展，特別是在云游戲、云計算、網(wǎng)絡安全、AR/VR以及游戲全球化等方面展開全方位的合作。這一舉措標志著雙方對于未來技術(shù)創(chuàng)新和應用前景的共同承諾。

2023年7月，IDC發(fā)布的最新AI大模型評估報告中顯示，通義千問在11項測試中的6項獲得滿分。同年8月15日，新華社研究院發(fā)布《人工智能大模型體驗報告2.0》，對中國主流AI大模型進行橫向測評。該榜單評測了中國8款主流AI大模型的基礎、智商、情商和工具提效表現(xiàn)，訊飛星火以總分1014分排名第一，阿里通義千問以總分935分排名倒數(shù)第二。同年12月，全球最大的開源大模型社區(qū)HuggingFace和OpenCompass分別公布開源大模型排行榜，阿里云通義千問（Qwen-72B）在兩個排行榜上均登頂榜首。