產品介紹
博越GPU管理器和優化器幫助客戶構建資料中心級的AI計算資源加速器,使無需修改的用戶應用程序(CUDA)可以在AI以上的資料中心的任何服務器上透明共亯和使用GPU電源,不僅可以幫助用戶提高資源利用率,還可以極大地方便用戶AI應用程序的部署。

- AI應用與AI硬體解耦合,AI應用的落地更加靈活方便支持多種網路通訊協定對GPU資源池進行遠端調用
- 實現CPU與GPU資源平衡,最大化發揮各自優勢

- 可多用戶共用一個GPU,提高GPU利用率
- 顯存、算力兩個維度獨立切分,顆細微性更細,靈活度更高
- 對每個用戶資源限制和隔離,確保QoS
- 按需分配資源,滿足差異化需求

- 用戶可以將多台伺服器的GPU資源聚合後提供給單一虛擬機器或者容器使用
- 支援訓練等大模型場景,為使用者的AI 應用提供資料中心級的海量算力

- 支援多工潮汐疊加,調用系統記憶體補充GPU顯存,在邏輯上擴大GPU顯存的承載容量,充分利用GPU 閒置算力
- 支持不同任務設置不同優先順序,保證突發高優先順序任務的服務品質

- 支援用戶在虛擬機器或者容器的生命週期內,動態分配和釋放所需要的GPU資源,實現真正的GPU資源動態伸縮,極大提升了GPU 源調度的靈活度
- 支持vGPU 資源預留模式和獲取模式

- 任務佇列,合理匹配支持全域優先順序設定,資源匹配更合理
- 允許對任務進行佇列優先順序預設,一旦資源缺乏導致任務進入等待佇列,按照優先順序進行全域排列,優先匹配重要任務