云雀語言模型

云雀語言模型是字節(jié)跳動公司開發(fā)的大規(guī)模預(yù)訓(xùn)練語言模型系列，有五個版本，即lite、plus、pro、pro-4k和chat。V1.0版本僅包含三個版本，即lite、plus和pro，于2023年8月6日發(fā)布。

基于字節(jié)神經(jīng)網(wǎng)絡(luò)加速器開發(fā)了云雀模型。通過便捷的自然語言交互，它可以高效地完成交互對話、信息獲取、輔助創(chuàng)作等任務(wù)。它還提供簡單的API調(diào)用，并可以快速構(gòu)建自己的AI應(yīng)用程序并基于大型模型進(jìn)行業(yè)務(wù)創(chuàng)新。

2023年8月17日，字節(jié)跳動公開測試了基于云雀模型的人工智能對話產(chǎn)品“豆包”，該產(chǎn)品具有web客戶端、iOS客戶端和Android客戶端，并預(yù)設(shè)了英語學(xué)習(xí)助手和寫作助手兩種功能。

2023年8月31日，包括云雀模型在內(nèi)的首批8個大模型通過了《生成式人工智能服務(wù)管理暫行辦法》。

2023年9月19日，火山引擎在“V-Tech數(shù)據(jù)驅(qū)動技術(shù)峰會”上宣布，火山引擎中的數(shù)字智能平臺VeDI推出了“AI助手”，主要通過接入Lark模型來幫助企業(yè)提高數(shù)據(jù)處理和查詢分析的效率。這是字節(jié)首次公開披露Lark的相關(guān)應(yīng)用。

代碼生成:該語言模型具有專業(yè)的代碼生成能力和知識儲備，能夠高效輔助代碼生產(chǎn)場景。

對話表達(dá):我們可以通過自然語言處理技術(shù)與用戶對話，回答用戶的問題，并在訓(xùn)練時同時處理大量數(shù)據(jù)，從而學(xué)習(xí)更復(fù)雜的特征表達(dá)，掌握底層特征，然后完成復(fù)雜的多輪對話并提供相關(guān)信息和建議。

信息抽取:通過遞歸地理解和把握復(fù)雜的語義結(jié)構(gòu)，深入理解文本信息之間的邏輯關(guān)系，可以從非結(jié)構(gòu)化的文本信息中抽取出所需的結(jié)構(gòu)化信息。

邏輯推理:通過分析問題的前提條件和假設(shè)，可以推導(dǎo)出答案或解決方案，并給出新的想法和觀點(diǎn)。

模型融合:通過將幾個小模型融合在一起，形成一個功能更強(qiáng)大的大模型，提高了模型的準(zhǔn)確性，使模型更加靈活，可以適應(yīng)更廣泛的數(shù)據(jù)和任務(wù)。

預(yù)訓(xùn)練能力:通過預(yù)訓(xùn)練，模型在訓(xùn)練前已經(jīng)學(xué)習(xí)了一些基礎(chǔ)知識和特征表示，這使得模型更高效，更具機(jī)動性，能夠適應(yīng)更廣泛的數(shù)據(jù)集和任務(wù)。

Lark是一個基于Transformer架構(gòu)的語言模型，它通過預(yù)測上一篇文章中下一個最可能出現(xiàn)的單詞來實(shí)現(xiàn)文本生成。其中，使用的新技術(shù)主要是基于Transformer架構(gòu)的語言模型和基于人類反饋的強(qiáng)化學(xué)習(xí)。前者對自然語言中包含的大量知識進(jìn)行建模，而后者使模型能夠通過對話提供適當(dāng)?shù)膬?nèi)容。

傳動機(jī)構(gòu)：用戶提問后，百靈鳥首先識別用戶需求，通過提前學(xué)習(xí)全網(wǎng)搜索內(nèi)容，在對話框或登陸頁面顯示相應(yīng)結(jié)果。該模型首先通過大規(guī)模無監(jiān)督預(yù)訓(xùn)練學(xué)習(xí)語言的統(tǒng)計(jì)規(guī)律和知識，然后通過監(jiān)督微調(diào)使模型學(xué)會遵循用戶的指令，最后通過強(qiáng)化學(xué)習(xí)和訓(xùn)練使模型生成合適的內(nèi)容。

云雀主要用于今日頭條、Tik Tok、剪報、番茄小說、西瓜視頻、飛書、豆包、悟空瀏覽器、知乎車皇等網(wǎng)站或應(yīng)用。它主要涵蓋以下三個方向:

內(nèi)容創(chuàng)作:該語言模型具有豐富的文本創(chuàng)作、嚴(yán)格的指令合規(guī)性和龐大的知識儲備能力，可應(yīng)用于大綱生成、營銷文案生成等內(nèi)容創(chuàng)作場景。

知識問答:這種語言模型集成了大量知識庫，可以高效地解決工作和生活等各種場景中的問題。

人與人之間的對話:這種語言模型的角色扮演能力符合設(shè)定，具有多輪記憶，可應(yīng)用于社交同伴、虛擬主播和其他人設(shè)置對話場景。

Skylark-lite:Lite: Lite版響應(yīng)速度快，適用于實(shí)時性要求高、成本敏感、對模型精度要求低的場景，如快速智能回復(fù)、實(shí)時通知生成、基本文本理解等。

云雀-Plus:Plus:Plus版本兼顧了響應(yīng)速度和模型精度，適用于兼顧模型效果和使用成本的場景，如文本摘要、基礎(chǔ)文案、文本翻譯等。

Skylark-Pro:Pro: Pro版本具有較高的模型精度，適用于更復(fù)雜的文本生成場景，如專業(yè)領(lǐng)域的文案生成、小說創(chuàng)作、高質(zhì)量翻譯等。

Skylark-Chat:聊天:聊天版本針對交互式場景進(jìn)行了優(yōu)化，可以更好地理解上下文并生成自然對話，適用于構(gòu)建聊天機(jī)器人、虛擬助理和在線客服。

豆包：“豆包”是基于云雀模型開發(fā)的AI機(jī)器人。用戶可以通過手機(jī)號碼、Tik Tok或蘋果ID登錄?！岸拱碧峁┝奶鞕C(jī)器人、寫作助手、英語學(xué)習(xí)助手等功能。它可以回答各種問題并進(jìn)行對話以幫助人們獲取信息。

云雀語言模型

除了文字，數(shù)字人“豆包”還會對每個答案進(jìn)行語音回答。在功能方面，豆包在注冊登錄后將默認(rèn)進(jìn)入聊天界面，提供豆包、英語學(xué)習(xí)助手、全能寫作助手和愛聊天的蕭寧等四個虛擬角色，為用戶提供多語言、多功能的AIGC服務(wù)，包括但不限于問答、智能創(chuàng)作和聊天。在技術(shù)上，“豆包”基于深度學(xué)習(xí)，可以預(yù)測和生成輸入文本。其語言模型基于Transformer架構(gòu)，具有高效的并行處理能力和良好的語言理解能力。訓(xùn)練數(shù)據(jù)來自互聯(lián)網(wǎng)上的大量文本，包括新聞、博客、小說、論文等。在訓(xùn)練過程中，使用了各種優(yōu)化算法，包括隨機(jī)梯度下降、Adagrad、Adadelta等。

洪辰：洪辰相當(dāng)于海外版的“豆包”，于今年8月在多個海外市場推出。聚焦海外市場，已于2023年8月在多個海外市場上線，截至12月初已在36個國家和地區(qū)上線，基本覆蓋除歐美成熟市場外的全球其他所有地區(qū)。

ChitChop：ChitChop是一款基于云雀模型的人工智能助手工具，可為用戶提供20智能機(jī)器人服務(wù)，通過提供創(chuàng)意靈感和提高工作效率來服務(wù)用戶的工作和生活。就功能而言，ChitChopCici和豆腐更通用。在ChitChop APP的首頁可以看到包括創(chuàng)作、工作、AI繪畫、娛樂、AI學(xué)習(xí)和生活在內(nèi)的六大使用場景。每個場景包含10多個AI工具，總計(jì)200多個智能機(jī)器人，用戶甚至可以與AI虛擬角色一起玩游戲。

2023年12月，外媒報道稱字節(jié)跳動正在使用OpenAI技術(shù)開發(fā)自己的大型語言模型，這違反了OpenAI的服務(wù)條款。對此，字節(jié)跳動相關(guān)負(fù)責(zé)人回應(yīng)稱，在使用OpenAI相關(guān)服務(wù)時，公司強(qiáng)調(diào)需要遵守其使用條款，同時也在與OpenAI聯(lián)系，以澄清外部報道可能造成的誤解。