商量SenseChat是商湯科技開發(fā)的千億參數(shù)大語言模型應用平臺。該產品具備語義理解、多輪對話、知識掌握、邏輯推理等綜合能力，可為醫(yī)療、金融、移動終端、代碼開發(fā)、企業(yè)服務、城市管理、汽車出行、教育等垂直領域用戶提供服務。

2023年4月10日，商湯發(fā)布了大型模型系統(tǒng)SenseNova和該系統(tǒng)下的大型語言模型討論商量。2023年8月31日，商量正式向用戶開放，作為第一批開發(fā)大規(guī)模模型的科技公司，商湯通過咨詢商量實現(xiàn)了生成式人工智能相關收入的增長。截至2023年10月，商量主要服務于B端，與金融、手機、醫(yī)療、汽車、房地產、能源、媒體、工業(yè)制造等多個垂直行業(yè)的500多家客戶建立了深度合作。

投資機遇

2014年，商湯科技成立。作為一家人工智能軟件公司，商湯科技以“堅持原創(chuàng)，讓AI引領人類進步”為使命，長期投入AI研究。2015年，商湯開始開發(fā)深度學習訓練框架SenseParrots，這是商湯智能計算基礎設施SenseCore的核心。2018年前后，商湯開始著手準備大模型初始階段所需的算力、算法和數(shù)據(jù)。2018年4月，商湯啟動人工智能計算原型開發(fā)項目。同年10月，OpenMMLab人工智能算法開源系統(tǒng)上線，涉及10多個研究方向，開放了130多個算法和1000個預訓練模型。2021年7月，商湯開始打造SenseCore AI。2022年1月，商湯的上海臨港人工智能智能計算中心（AIDC）正式投入運營。AIDC是尚湯艾設備的重要計算基地，其設計峰值計算能力高達每秒374億次浮點運算，使其成為亞洲最大的超級計算中心之一。

2022年11月30日，OpenAI推出了ChatGPT聊天機器人。ChatGPT被視為通向通用人工智能的道路（AGI）。此后，大語言模型迅速引起了世界各國的廣泛關注。商湯科技開展了新的業(yè)務探索，并于2023年2月25日推出了SenseCore尚湯艾云，基于該云構建了AGI基礎設施并開發(fā)了大型模型系統(tǒng)。

發(fā)布開發(fā)

2023年4月10日，商湯發(fā)布了大規(guī)模模型系統(tǒng)“SenseNova”，該系統(tǒng)包括自然語言處理、內容生成、自動數(shù)據(jù)標注、用戶自定義模型訓練等眾多大規(guī)模模型和能力，其中包括大規(guī)模語言模型“咨詢商量”。討論的意思是“如果你討論，你就可以解決它。”SenseChat1.0基于海量數(shù)據(jù)和深度計算能力開發(fā)，具備多輪對話和超長文本理解能力，支持編程助手、健康咨詢助手、PDF文件閱讀助手等應用。

商量SenseChat

2023年6月，商湯發(fā)布了第一款基礎型號InternLM，其綜合能力超過了GPT-3.5-turbo。該模型的參數(shù)達到1040億個，并使用1.6萬億token多語言語料庫進行訓練，支持20多種語言。在此基礎上，討論SenseChat2.0將于7月初發(fā)布。討論了商量2.0在MMLU、AGIEval和C-Eval的評估中領先于ChatGPT，其中一些非常接近GPT-4的水平。2023年8月，新型號InternLM-123B完成了訓練，其測試成績在全球51個知名評估集中的30萬個問題中排名世界第二，超過了GPT-3.5-turbo和LLaMA2-70B。在此基礎上，討論將商量升級到3.0版。2023年8月31日，商量正式向用戶開放。討論商量3.0在2023年9月SuperCLUE中國大型車型總榜單中排名第一。商量3.0在人工智能代理（由SuperCLUE添加的人工智能子列表）中排名第一，領先于所有中國中國大型模型、GPT 3.5和克勞德2。

2023年上半年，借助大設備的計算能力、“逐日增長”大模型系統(tǒng)的大語言模型和文生圖模型的研發(fā)，商湯與生成式人工智能相關的收入增長670.4%，收入貢獻占比超過20%。截至2023年10月，商量已與金融、手機、醫(yī)療、汽車、房地產、能源、媒體和工業(yè)制造等多個垂直行業(yè)的500多家客戶建立了深度合作。

版本信息

2023年4月10日

1.0：它包含1800億個參數(shù)，支持長文本知識理解、交互式多輪對話、自動及時的知識更新，并具有通過模型理解問題后生成和總結答案的能力；支持的應用包括:編程助手，可以幫助開發(fā)人員更高效地編寫和調試代碼；健康咨詢助手，為用戶提供個性化醫(yī)療建議；PDF文件閱讀助手，可以輕松地從復雜的文檔中提取和總結信息

2023年7月7日

2.0：它突破了大語言模型輸入長度的限制，支持阿拉伯語和粵語，并推出不同參數(shù)順序的模型版本，可適應移動終端、云等不同終端和場景的應用需求，降低部署成本；知識和信息的準確性、邏輯判斷能力、語境理解能力和創(chuàng)造力都有了很大的提高。

2023年8月31日

3.0：基礎模型為“學者普宇InternLM-123B”，擁有1230億個參數(shù)，生成的內容更加準確可靠，可用于復雜場景下的多步推理和計算。具有獨立反思和糾錯的能力；代碼解釋器和插件調用能力已經升級。python解釋器、API調用和搜索可用于解決復雜任務和構建AI代理應用程序。

計算能力和數(shù)據(jù)：商湯的SenseCore基于商湯人工智能計算中心的AIDC，擁有3萬個在線GPU，可輸出6000 Petaflops，可有效支持大型語言模型的訓練、升級迭代和服務。到2023年8月，尚湯燦每月產生約2萬億個高質量數(shù)據(jù)令牌，以支持基礎模型訓練。此外，該公司還投入了數(shù)百臺配備千卡GPU計算資源的服務器，并使用算法結合人工方法對原始語料數(shù)據(jù)進行分類和精細清洗，以確保數(shù)據(jù)的質量、安全性和價值符合要求。

基礎模型：學者Puyu InternLM是由上海人工智能實驗室（上海ai實驗室）、商湯科技、香港中文大學、復旦大學和上海交通大學發(fā)布的多語言、數(shù)十億參數(shù)的基座模型，并在萬億代幣數(shù)據(jù)上進行訓練。

數(shù)據(jù)集：InternetLM的訓練數(shù)據(jù)集來源包括網頁、書籍、學術論文、代碼等。語料庫包含多種語言的文檔，其中英文文本涵蓋了廣泛的領域，而中文文本則增強了模型對中國和中國文化的了解。雖然其他語言的文本只占很小的比例，但也提高了模型的多語言能力。為了保證語言模型預處理的魯棒性和準確性，進行了一些數(shù)據(jù)處理，分為四個階段:語言分類，將所有文檔按照主要語言（如英語、漢語或其他語言）進行分類，實現(xiàn)語言感知的數(shù)據(jù)處理；基于規(guī)則過濾，通過各種規(guī)則和啟發(fā)式方法去除無關或低質量的內容；基于模型過濾，在黃金標準語料庫上訓練的小語言模型用于識別那些高質量的文檔，以確保所有訓練數(shù)據(jù)都符合高質量標準。重復數(shù)據(jù)刪除意味著消除相似的文檔或完全重復的段落，以減少數(shù)據(jù)冗余并避免破壞模型性能。

模型設計：interlm-104 b的模型架構采用基于變壓器的解碼器架構，類似于GPT系列。該模型包括82個變壓器層，每層有80個頭，頭維度設置為128。因此，模型大小為10240。

培訓過程：訓練過程分為幾個階段，每個階段通過控制不同比例的數(shù)據(jù)來定義其優(yōu)化目標。并選擇適當?shù)臄?shù)據(jù)集來評估進度。如果某個特定階段未能達到預期，我們將從該階段結束時重新開始訓練，以避免重新開始，從而提高訓練效率。為了確保數(shù)據(jù)利用率，不會對相同的數(shù)據(jù)進行重新采樣。此外，為了進一步提高訓練效率，不同長度的句子將被打包成固定長度的序列，并使用特殊符號來描述不同的句子。訓練過程中使用的優(yōu)化參數(shù)包括:學習速率、批量大小和總學習步驟。通過余弦學習速率調度將最大學習速率設置在2e-4和4e-5之間。在每個訓練階段結束時，最終學習率下降到峰值學習率的10%。訓練中使用的優(yōu)化算法是AdamW，其特征是β1值為0.9，β2值為0.95。權重衰減的范圍保持在0.01-0.1之間，所有階段的梯度削波值和學習率預熱比分別保持在1.0和0.025。

監(jiān)督微調：SFT（監(jiān)督微調）:收集了一個包含問答對和多輪對話的教學數(shù)據(jù)集。基于指令數(shù)據(jù)集，以監(jiān)督的方式對模型進行微調。獎勵模型的訓練:根據(jù)3H標準，即幫助、無害和誠實，訓練了一個獎勵模型。我們在互聯(lián)網上收集用戶提示，構建一組有毒提示，然后使用人類注釋器、語言模型和注釋偏好來生成不同的響應。獎勵模型從SFT模型初始化，最后一個投影層由新的全連接層替換。人工反饋強化學習（RLHF）:基于獎勵模型，使用近似策略優(yōu)化（PPO）進一步微調SFT模型。此階段的目的是使模型響應與人類偏好一致。

基本功能

咨詢商量具有語義理解、多輪對話、知識掌握和邏輯推理的綜合能力。它使用大量數(shù)據(jù)進行訓練并充分考慮中文上下文，因此可以理解和處理中文文本，并具有理解多輪對話和長文本的能力；憑借合理性判斷和邏輯推理能力，我們可以判斷用戶給出的陳述是否合理，也可以根據(jù)前提和事實進行推導，以處理復雜的邏輯問題。它還可以通過與用戶的多輪互動解決復雜問題，提供定制化建議，協(xié)助文本創(chuàng)作，并自帶知識自動及時更新模塊，從而生成更可信、準確、更安全的信息；并且具有一定的共情能力，可以成為用戶傾訴社交壓力、情感困惑等個人問題的對象。此外，咨詢還可以通過字符識別技術閱讀和理解PDF文件，并根據(jù)用戶關于文件輸入的問題給出相應的答案。

擴展功能

AI代碼助手：AI代碼助手是基于大型語言模型的人工智能輔助開發(fā)工具，應用于編程領域。AI代碼助手支持中英文和多種編程語言，并能適應開發(fā)人員的個性化編碼風格，提高開發(fā)效率并減少開發(fā)錯誤。它具有代碼補全、代碼擴展、代碼翻譯、代碼重構、代碼修正、注釋代碼生成、復雜性分析和測試用例生成等功能。

大醫(yī)：基于問診模式的醫(yī)療健康大語言模型。基于萬億代幣的預訓練語料庫，以超200億代幣的高質量醫(yī)學知識數(shù)據(jù)進行訓練，涵蓋醫(yī)學教科書、醫(yī)學指南、臨床路徑、藥物庫、疾病庫、體檢報告，以及4000萬真實病歷、醫(yī)患問答等。大醫(yī)生的嵌入式醫(yī)療“場景集市”包括智慧健康、智慧患者服務、智慧門診和數(shù)字智能建設四大領域，包含智能自診、用藥咨詢、診后隨訪管理、智慧病歷和結構化視頻報告等13個預設場景。支持提示項目定制、長期記憶訪問、醫(yī)學知識庫查詢匯總等個性化功能。

2023年11月18日，新華社中國企業(yè)發(fā)展研究中心發(fā)布《人工智能大模型體驗報告3.0》，對國內主流大模型進行了全面評估。根據(jù)該報告，在量化衡量情商的維度上，商湯的商量在10個被評估的大型模型中排名第一。分析表明，就智商指數(shù)而言，商量能夠根據(jù)指令回答問題；在情商指標方面，它可以給出詳細的計劃，多種角度切入問題，并能引發(fā)用戶深入思考。商量憑借其技術實力和發(fā)展?jié)摿Ρ恍氯A研究院評為中國大型模型市場的“未來領導者”。