TensorFlow 技术博客发布新文，文章讨论道，混合精度训练利用半精度加速训练，在某些情况下即便是使用相同超参数进行单精度训练，也能达到相同的精度。如此一来，内存需求会减少。使用混合精度需要两个步骤：移植模型以在适当时候使用半精度数据类型;并使用损耗缩放来保留小的梯度值。我们（指英伟达）为 TensorFlow 引入了自动混合精度功能（现在可以在 1.x 中使用，很快也能在 2.x 中使用），这能通过英伟达的 Volta 和 Turing GPU 中的 Tensor Core 进行修改以提高训练性能。自动混合精度在 TensorFlow 中内部应用这两个步骤，在 NVIDIA 的 NGC 容器中使用单个环境变量，并在必要时实现更精细的控制。