G5208 DS-32B-Pro｜輕量級AI伺服礦機 入門高效智能運算設備【Price negotiable】

簡易入門

透過低成本、低資源的輕量化部署方式，採用 32B 蒸餾模型，可實現高效率的輕量級 AI 應用。

推薦應用場景

充分運用模型的知識庫、文字理解與生成能力，特別適用於私有知識庫問答、程式碼自動補全與程式碼審查等應用情境。

硬體規格

• CPU 資源：64 核心
• 系統記憶體：512GB
• 運算能力：96GB GPU 記憶體、2048 Tensor Core、1.29 PFLOPS 運算效能

軟體環境

• 模型：DeepSeek-R1-Distill-Qwen-32B
• 作業系統：STONETEK AIOS 3.0 DS
• 推論引擎：vLLM
• 其他：整合 PyTorch 深度學習框架，支援 Web 人機互動