规模化视觉质检：跨工厂池化 GPU 资源

"我们为峰值上线买了 GPU——剩下大半个季度都在闲置"

某多厂区制造企业在 9 个工厂 部署自动视觉质检。换班和大品上新时负载激增，其余时间边缘 GPU 利用率很低。多条产线同时上新 SKU 时出现吞吐瓶颈，训练与推理抢同一批 GPU——生产节奏和模型更新都被拖慢。

三大核心痛点：边缘 GPU 闲置、多线并发瓶颈、训练与推理争抢

痛点一：非换班高峰时边缘 GPU 严重闲置

• 峰值 vs 日常：换班和上线窗口 GPU 打满；其它时段利用率常只有 25–33%。
• 工厂间无法共享：各厂按自身峰值配置——A 厂闲置算力帮不了 B 厂。9 个厂区资源割裂。
• 量化影响：平均 GPU 利用率 25–33%；单线缺陷检测吞吐 220–260 件/分钟，多线同时上新时排队。

痛点二：多条产线同时上新 SKU 时吞吐瓶颈

• 多线并发现实：几条线一起上新 SKU 时，GPU 被占满——吞吐掉、排队涨、质检变慢。
• 根因：各线抢同一套本地 GPU 池；没有跨厂池化，也没有按产线或上线紧急度做优先级。
• 业务影响：上线窗口被拖后；排队一多、检测延迟一高，漏检率到 0.9–1.1%。

痛点三：训练与推理抢同一批 GPU

• 模型更新 vs 生产：重训和微调与在线质检共用一套 GPU。训练占满就阻塞推理；推理一尖峰，模型更新就得等。
• 模型更新周期约 10 周——比期望长，因为训练总要等"安静"窗口，而这种窗口很少。
• 没有分层："常驻"质检容量与"突发"训练容量混在一起。

基线指标（引入 TensorFusion 前）：

TensorFusion 如何对应解决这些痛点

TensorFusion 提供 跨工厂池化的边缘优先推理、仅在模型重训窗口启用的突发训练池、以及 按策略的 GPU 切分 优先保障产线——吞吐随需求伸缩、训练不挡生产、支出与实际用量对齐。

痛点一（边缘闲置）为何被解决

• 跨工厂 GPU 资源池化：在 TensorFusion 调度（及策略允许时的 GPU-over-IP）下，A 厂闲置容量可服务 B 厂——算力流动，数据可留在本地。
• 按使用扩缩容：换班和上线窗口扩容，空闲时缩容；不再"为峰值买、为闲置付"。
• GPU 虚拟化与超配 在本案例中把利用率从 约 30% 提到 70%+。

痛点二（吞吐瓶颈）为何被解决

• 按策略的 GPU 切分 按产线重要程度分配——上线关键产线预留容量，其余共享剩余。
• 边缘优先推理池 保持常驻、稳定，支撑在线质检；突发池承接训练和重度批处理，推理不再等训练。
• 跨厂池化 把 9 个本地池合成一个逻辑池——本案例中多线并发时单线吞吐从 约 240 提到 约 420 件/分钟。

痛点三（训练 vs 推理争抢）为何被解决

• 突发训练池 仅在模型重训窗口启用；空闲时释放容量，不占资金、不挡推理。
• 训练与推理分层：推理占"常驻"容量；训练占弹性容量，按排队压力扩缩。本案例中模型更新周期从 10 周 降到 6 周。
• 优先级策略化：生产质检走优先通道；训练仍能快速跑完——只是不牺牲生产 SLO。

结果：优化前 vs 优化后

为何 TensorFusion 适合制造业

工厂有 可预测的换班高峰 和 突发的训练窗口。TensorFusion 按这些节奏对齐算力、不多买：边缘优先推理 为生产常驻温热，突发训练池 按需扩缩，按策略切分 保证上线关键产线有保障容量。GPU 池化与虚拟化（显存隔离、超配）使吞吐提升、模型更新周期缩短、漏检率下降——同时支出可预测、与实际用量挂钩。