紫東太初

“紫東太初大模型1.0”是由中科院自動化所和武漢人工智能研究所聯合推出的業界首個千億參數三模大模型，也是全球首個圖文并茂的三模大模型，于2021年7月9日正式發布。該模型具有強大的自然語言處理能力，可以執行文本生成、情感分析、問答系統等多種任務。

“紫東太初”具有跨模態理解和生成的能力。與單一模式和圖形模式相比，它可以使用大模型靈活支持圖文聲的全場景AI應用，具有無監督多任務聯合學習和快速遷移到不同領域數據的強大能力。此外，它還具有跨語言、跨領域的特點，可以應用于許多語言和領域。

2023年6月16日，“紫東太初2.0”正式發布。“紫東太初2.0”是在全球首款三模大型模型“紫東太初”的基礎上，由盛思AI框架升級推出的新一代大型模型。此外，它還實現了從三種模式到全模式的形式。

名稱含義

中科院自動化所研究員、武漢人工智能研究院院長王金橋表示，“紫東太初”的名字寓意紫氣東來，混沌初開，代表人工智能從專用走向通用，從感知智能走向認知智能；第二，“紫東”與自動化所諧音，代表自動化所本身的意義和使命。

成立初期

2021年7月9日，“紫東太初大模型1.0”正式發布。同月29日至31日，紫東太初模型在首屆中國計算大會上被授予“DC科技創新先鋒”優秀成就獎。

2022年9月1日，“紫東太初”多模態大模型項目獲得世界人工智能大會最高獎——賽爾獎。在獲得這個獎項之前，“紫東太初”還在人工智能領域的國際比賽中獲得了第一名，比如2021年舉辦的國際多媒體大會和國際計算機視覺大會。

2022年11月19日-21日，以“融合萬物智造未來”為主題的2022中國5G+工業互聯網大會在武漢召開。本次發布會展示了基于“紫東泰初”的織物疵點檢測設備。該項目首次實現了織物疵點識別從純手工升級到自動的新路徑，不僅可以識別70多種不同的疵點，還支持一鍵微調，達到了與熟練的驗布師一樣的精度要求，疵點識別的檢出率從70%左右提高到90%以上，精度達到4倍，進一步提升了傳統工業行業。

2023年2月20日，首屆“行知杯”全國人工智能創新與應用大賽暨全球(深圳)人工智能創新生態高峰論壇在深圳落下帷幕。本次活動中，武漢人工智能研究院“紫東泰初”大型模型開放服務平臺入選，成為國內首個通過工信部信通院大規模預訓練模型系統測試的大型模型項目，在多模態技術能力測評中獲得2 S+和2 S級評價，在平臺能力測評中獲得7項高級評價。

2023年3月2日，在光谷青桐匯活動現場，武漢人工智能研究院正式發布了全球首個由三模大模型以千億參數“紫東太初”打造的AI內容創作平臺——“江城洛神”AI內容創作平臺，該平臺以“紫東太初”為基礎，將正在崛起的AI融入多模態擴散生成模型，以語義引導實現圖像編輯和生成，輔助用戶制作各類內容。

探究階段

2023年5月8-9日，基于紫東太初2.0全模態大模型升級、可與用戶互動的虛擬人初曉，在華為中國合作伙伴大會上首次呈現在公眾面前。升級后的虛擬人“小開端”功能有所提升，如文字創建、多輪問答到圖像生成、視頻生成、3D理解、信號分析等，可實現文字、圖片、音頻、視頻、3D等不同模式的統一表示和學習。

紫東太初

2023年6月16日，中國科學院自動化研究所所長徐波在“人工智能框架生態峰會2023”上正式發布了“紫東太初”全模態大模型。全模態大模型是基于千億參數多模態大模型“紫東太初”的升級版2.0，包含音樂理解與生成、三維場景導航、信號理解、多模態對話等諸多強大功能。同時在語音、圖像、文本的基礎上增加了視頻、信號、3D點云等模態數據，突破了認知增強多模態關聯等關鍵技術，還具備了全模態理解、生成和關聯的能力。

“紫東太初”2.0依托武漢人工智能計算中心的計算能力支持孵化，以中科院自動化所自研算法為核心，基于盛思AI硬件和盛思MindSpore AI框架，著力打造全棧國內通用人工智能基地。此外，“紫東太初”大模型開放服務平臺2.0具有四大特點:一是開箱即用，內置紫東太初2.0前期訓練基礎大模型；第二，快速定制，為大模型提供完整的微調工具鏈，可以在各種場景下自動適配；第三，一鍵部署實現云、邊、端全場景部署；第四，支持多種交付方案，如公有云、SaaS、API服務、云上專屬資源池、私有集群部署、超集成培訓和推送機等。，并且可以不斷升級優化。

2023年8月19日，由工業和信息化部、寧夏回族自治區政府共同主辦的中國計算力大會暨第二屆計算力產業大會在寧夏回族自治區首府銀川正式召開。“紫東太初”成為大會“計算中國年度突破成就獎”中唯一的大模型獲得者。

2023年8月31日，紫東太初通過備案，正式對外開放服務，成為首批“正式上線”的人之一。

2023年9月，紫東太初大模型功能全面升級，對外開放。用戶不僅可以體驗圖像、語音、文本等多模態能力，還可以基于紫東太初的多模態交互能力，以多種方式與AI進行交互，享受AI服務。

2023年9月6日，武漢人工智能研究院院長王金橋在中國國際服務貿易交易會計算服務高質量發展論壇上指出，“紫東太初”模式有助于處理復雜問題和大規模數據，提升政府決策水平和服務效率。這個大模型通過對海量數據的學習和分析，實現了更高層次的認知和理解能力，在數字政府領域也取得了一定程度的應用。此外，“紫東太初”在智能文本創作、智能政務、交通違法認知判斷等多個方面都有落地。，并能賦能數字政務。

2023年10月21日-23日，以“聚焦科普新領域，創新服務部門賽道”為主題的第十一屆中國(蕪湖)科普用品博覽會在安徽蕪湖成功舉辦。“紫東太初”向參與者展示了文字創作、繪畫和詩歌，以及與虛擬數字人的互動。同時，《紫東太初》為觀眾提供了一個全模態的對話平臺，觀眾可以通過模擬不同場景下的不同角色、話題、對話方式，與《紫東太初》大模型進行對話互動。

創新階段

2023年10月17日，由長江計算和武漢人工智能研究所聯合舉辦的以“融合創新計算未來”為主題的武漢計算技術應用創新交流會正式落幕。大會正式發布了以“紫東太初”為基礎，由武漢人工智能研究所和長江計算聯合研發的“長江計算——紫東太初訓練推送一體機”。

2023年11月，武漢人工智能研究院宣布“紫東泰初”大模型正式入駐浪潮信息元腦生態AIStore，雙方共同推動大模型產業落地，并提供以下服務:紫東泰初大模型開放服務平臺、紫東泰初大模型對話平臺、紫東泰初數字生活生產平臺、江城洛神AI內容創作平臺、紫東泰初大模型。

2023年11月10日至13日，中國電信與廣東省人民政府在廣州聯合舉辦“2023數字科技生態大會”。作為中國電信戰略合作伙伴，武漢人工智能研究院構建了全棧國產化、自主可控的紫東太初大模型開放服務平臺，并基于紫東太初全模態大模型，在智能制造、智能醫療等領域建設了典型示范應用。

2023年12月9日，以“創未來，享非凡”為主題的盛騰AI開發者創造日廣州站成功舉辦。本次活動由廣州市工業和信息化局指導，廣州無線電集團、華為技術有限公司主辦，廣州人工智能公共計算中心承辦，廣東省人工智能行業協會、廣州市信息協會、天河人才港、廣州市天河區軟件和信息行業協會協辦。作為國內第一批通用和垂直模型，紫東泰初模型、廣安聯邦模型、從容模型、靈腦模型、肝癌模型將作為首批合作伙伴，通過聯合各方攻關大模型關鍵技術難題、打造垂直領域場景、推動商業化，推動大模型在各垂直領域的落地和應用，打造開放、包容、合作、共享的大模型創新生態。

核心功能

形象能力：圖像能力包括圖像描述、目標檢測、圖像檢索、圖像生成和字符識別。

語言能力：語言能力涵蓋文本、翻譯、代碼、數學、邏輯等多個方面，包括中文問答、文本摘要、文本延續、文本創作、標題生成、語法分析、機器翻譯、古詩詞創作、代碼理解、代碼寫作、數學計算、邏輯推理。

視頻功能：視頻能力包括視頻描述、檢索和問答。視頻描述和問答是指大模型可以理解和回答用戶上傳的視頻素材，如視頻識別和視頻描述問題，同時支持上下文信息理解和多輪問答，如果用戶缺乏自己的素材或者想使用大模型中的素材，可以使用檢索功能，因為大模型本身也有豐富的視頻素材庫，可以滿足用戶搜索高度相關視頻素材的需求。

音樂能力：音樂能力包括音樂生成和音樂多模態問答。

音頻能力：音頻能力包括四個功能:音頻認證、音頻事件分類、語音識別和語音生成。

3D功能：3D能力是指“紫東太初2.0”具備基于點云數據的3D場景理解和物體感知能力。

信號類能力：信號類能力是指“紫東太初2.0”支持雷達信號識別和知識交互，用戶可以借助模型快速掌握信號的基本來源和參數。

特色功能

角色扮演：大模型可以在任何形式的角色扮演中進行相應的場景對話，如游戲娛樂、戲劇表演、真人演練、心理指導、自我思考等。

信息提取：大模型可以從給定的文本中提取名稱、地點、關鍵詞等核心信息，幫助用戶以結構化的方式提取非結構化數據。

視頻腳本：用戶根據自己的需求輸入內容，大模型可以生成視頻拍攝腳本和相關創意。

游戲NPC：大模型可以在游戲中作為非玩家角色(NPC)與玩家進行對話和互動。

圖片百科全書：大模型可以根據輸入的圖片生成相關的說明信息，幫助用戶更好地理解和利用圖片的內容。

穿搭博主：大模型可以分析用戶的個性偏好和需求，定制推薦。

行為描述：用戶輸入人類行為的任何圖片，大模型都能生成相應的描述、解釋和介紹。

圖像制作：當用戶輸入文本時，大模型可以根據描述自動生成圖像。

景觀欣賞：大模型通過對大量文獻和影像資料的研究分析，了解不同類型和區域的景觀特征和文化內涵。用戶可以隨意輸入一張景觀圖片，大模型可以對景觀進行描述和評價。

紫東太初基于業界領先的中文預訓練模型、語音預訓練模型和視覺預訓練模型，采用多層次多任務自我監控預訓練學習模式，其中視覺預訓練模型首次超越監督學習的性能，速度比其他方法高8倍，在語義切分結果上也超越了監督學習的水平；在中文預訓練模型方面，提出的任務意識和推理增強模型的性能較GPT-3有明顯提高；在語音預訓練模型中，有效突破了多語言、多任務、低資源等語音預訓練的關鍵技術，解決了語音領域語言多樣、標注成本高的問題，使人們能夠用很少的標注數據大幅提升語音識別的性能。然而，與這些訓練和學習方法相關的論文已經發表，論文中提出的三種模式數據的統一語義表達可以同時支持三種或任意兩種模式下的多個數據預訓練。紫東太初模型可以在跨模態理解的基礎上實現跨模態生成，可以平衡理解和生成這兩種最重要的認知能力，從而實現以圖傳聲和以圖傳聲。

“紫東太初”大模型已應用于神經外科導航、法律咨詢、醫學多模態鑒別診斷、交通違章圖像研究等領域。

在醫療領域，依托紫東泰初大模型開放服務平臺，滿足了智能的數據標注、高效的模型訓練、靈活的模型部署，實現了骨科器械/耗材的自動識別、庫存等功能，實現了智能化、精細化管理。與傳統方法相比，效率提高了6倍，準確率達到97%以上。在醫療應用場景中，神經外科“紫東太初”模型部署的機器人MicroNeuro，通過融合醫療手術中的視覺、觸覺等多模態信息，幫助醫生對手術場景進行實時推理和判斷，已完成國內首例顱內深部活檢。同時，“紫東太初”模式研究團隊與北京協和醫院合作，試圖利用“紫東太初”強大的邏輯推理能力，突破人類罕見疾病診療的醫學領域。

在智慧物流領域，“紫東泰初”與湖北港著力打造多模態數據融合、泛化能力強、業務協同高效的全省供應鏈通用人工智能基地。

在法律咨詢行業，“紫東太初”模式的應用顯著提升了辦公效率。例如，法律案件拆解提取僅需0.546秒，實現了案件分析速度的百倍提升，有利于解決律師整體資源匱乏、服務成本高等問題。

在智能交通領域，基于“紫東泰初”大模型的高速公路網雙生模擬、調度、維護、節能、服務的全周期、全天候、安全可靠的數字智能平臺，有效提升道路通行率30%。

在汽車領域，中科院自動化所研究員、武漢人工智能研究院院長王金橋在接受科技創新板日報采訪時指出，“紫東泰初”大車型與東風藍兔、長安歐尚汽車等一系列智能車企有一系列合作，包括軟件的自動代碼編寫和測試，為智能駕駛艙打造了成千上萬的數字人。例如，長安汽車基于“紫東太初”的多模態模型引入了元宇宙的概念，并創建了YYDS虛擬數字人。“YYDS”允許用戶重現自己或親人的形象和聲音，可以捏出自己的語音助手，滿足各種定制需求。