新聞資訊
了解金山云最新資訊
2025-03-10 10:00:00
金山云已完成對階躍星辰最新開源的兩款多模態(tài)大模型的適配，包括全球參數(shù)量最大的開源視頻生成模型Step-Video-T2V，以及業(yè)界首款產(chǎn)品級開源語音交互模型Step-Audio。目前，用戶可登錄金山云官方網(wǎng)站進行體驗。
*登錄金山云賬號控制臺選擇裸金屬服務(wù)器-新建實例
Step-Video-T2V 模型
金山云針對Step-Video-T2V模型，為用戶提供強大的算力支持和穩(wěn)定的運行環(huán)境讓模型性能得以充分釋放，帶來流暢的視頻生成體驗。
據(jù)悉，Step-Video-T2V模型的參數(shù)達300億，可直接生成204 幀、540P 分辨率的高質(zhì)量視頻。評測結(jié)果顯示，該模型在指令遵循、運動平滑性、物理合理性、美感度等方面的表現(xiàn)均顯著超過市面上既有的效果絕佳的開源視頻生成模型。
*圖為Step-Video-T2V-Eval評測結(jié)果
階躍星辰官方提供了多卡并行部署的支持，其中文本編碼器和VAE部分由獨立的進程維護，DiT部分可以選擇4卡并行或8卡并行，每張卡需要至少80G顯存。如果要在單臺機器上運行，推薦使用5個80G顯存的GPU。
模型部署
在部署方面，金山云已預(yù)裝好ubuntu22.04-Step-Video-T2V模型和依賴環(huán)境的鏡像。在多卡并行部署時，金山云的云計算環(huán)境可精準(zhǔn)協(xié)調(diào)各卡資源，保障文本編碼器、VAE 和 DiT 等部分協(xié)同工作，大幅提升視頻生成效率。
*金山云裸金屬服務(wù)器控制臺創(chuàng)建流程，選擇內(nèi)置Step-Video-T2V的自定義鏡像創(chuàng)建,創(chuàng)建完成即可啟動模型并使用
運行測試
登錄服務(wù)器進入Step-Video-T2V-main目錄啟動服務(wù)
cd Step-Video-T2V-main
python3 api/call_remote_server.py--model_dir /models/stepvideo-t2v
出現(xiàn)如下提示后服務(wù)啟動成功
* Running on all addresses (0.0.0.0)
* Running on http://127.0.0.1:8080
Step-Audio模型
金山云同時完成了實時語音對話系統(tǒng)Step-Audio模型的適配工作。金山云將借助先進的云計算技術(shù)，降低模型響應(yīng)延遲，讓用戶與模型的對話更加自然流暢。在實際應(yīng)用中，無論是實時語音聊天，還是語音指令控制，金山云都能確保 Step-Audio 模型快速準(zhǔn)確地響應(yīng)，為用戶提供優(yōu)質(zhì)的語音交互服務(wù)。
Step-Audio作為業(yè)內(nèi)創(chuàng)新性的開源語音模型，能夠根據(jù)不同的場景需求生成情緒、方言、語種、歌聲和個性化風(fēng)格的表達，并且能和用戶自然地進行高質(zhì)量對話。根據(jù) LlaMA Question等五大主流公開測試，Step-Audio 模型性能均位列第一，并在HSK-6（漢語水平考試六級）評測中表現(xiàn)突出，是最懂中國話的開源語音交互大模型。
*圖為5大主流公開評測結(jié)果
模型部署
在部署方面，金山云已預(yù)裝好ubuntu22.04-Step-Audio模型和依賴環(huán)境的鏡像。
*金山云裸金屬服務(wù)器控制臺創(chuàng)建流程，選擇內(nèi)置Step-Audio的自定義鏡像創(chuàng)建，創(chuàng)建完成即可啟動模型并使用
運行測試
登錄服務(wù)器進入Step-Audio-main目錄啟動服務(wù)
cd Step-Audio-main
python3 tts_inference.py--
model-path/models/Step-Audio/model--output-path/root/Step-Audio-output--synthesis-type tts
在人工智能高速發(fā)展的當(dāng)下，秉承技術(shù)立業(yè)的金山云將始終與前沿技術(shù)同頻，繼續(xù)攜手生態(tài)合作伙伴為前沿技術(shù)的落地轉(zhuǎn)化提供助力。