MindSpore 场景的精度数据采集基线

"statistics"模式(未开启md5)采集时间膨胀参考基线

该基线为MindSpore框架下,使用"statistics"模式采集数据性能膨胀参考基线。测试了38B语言大模型在不同采集模式下,使用8卡时的性能膨胀。

采集模式

无工具(耗时)

加工具但未使能 Dump(耗时)

加工具并使能 Dump(耗时)

L0

≈340 ms

≈340 ms (无膨胀)

≈1.2 s (膨胀3.5倍)

L1

≈340 ms

≈0.7–1.2 s (膨胀2~4倍)

≈3.8 s (膨胀11倍)

mix

≈340 ms

≈0.7–1.2 s (膨胀2~4倍)

≈5.5 s (膨胀16倍)

"tensor"模式采集数据量参考基线

该基线为MindSpore框架下,使用"tensor"模式采集数据量参考基线。本基线测试了38B语言大模型在不同采集模式下,不同global_batch_size下,单卡和8卡下,数据量的变化。

38B语言大模型

采集模式 global_batch_size 单卡 8卡
L0 1 262GB 2.1TB
2 480GB 3.8TB
3 928GB 7.4TB
L1 1 2.1TB 17.1TB
2 2.8TB 22.7TB
3 4.2TB 34.3TB
mix 1 2.4TB 19.2TB
2 3.3TB 26.6TB
3 5.1TB 41.4TB