我是h1

 

地址: 深圳湾科技生态园5栋D座1302室
客服电话:
4008400488
邮箱: bd@rainxn.com

墨客星球

友情链接

© 2019 深圳雨本信息技术有限公司 | 粤ICP备17123203号 网站建设:中企动力 深圳

联系我们

最新文章

苹果COO抛售股票套现3000万美元;硅谷银行找到“接盘侠”,First Citizens 银行以165亿美元收购其720亿美元
苹果COO抛售股票套现3000万美元;硅谷银行找到“接盘侠”,First
降本提效下的博弈:大厂严抓考勤,迟到3次及以上扣50%绩效;原达摩院大模型M6带头人杨红霞加入字节 参与语言生成大模型研发
降本提效下的博弈:大厂严抓考勤,迟到3次及以上扣50%绩效;原达摩院大模型M6带头人杨红霞加入字节
亚马逊宣布再裁员9000人,CEO称2023年首要原则是精简;南京大学团队重复实验再次推翻美国室温超导轰动性研究
亚马逊宣布再裁员9000人,CEO称2023年首要原则是精简;南京大学团队重复实验再次推翻美国室温超导轰动性研究
支付宝安全中心提醒“山寨 ChatGPT”骗局;我国已完全掌握量子计算用极低温稀释制冷机关键核心技术,实现接近绝对零度
支付宝安全中心提醒“山寨
腾讯46岁T13技术大佬黄希彤被曝遭裁员;台积电美国厂整体建设和设备安装进度已被推迟
腾讯46岁T13技术大佬黄希彤被曝遭裁员;台积电美国厂整体建设和设备安装进度已被推迟
共享办公巨头WeWork与投资者谈判重组超30亿美元债务;奇瑞领导回应周六要上班争议邮件:本意是不是压榨,鼓励愿意努力的奋斗
共享办公巨头WeWork与投资者谈判重组超30亿美元债务;奇瑞领导回应周六要上班争议邮件:本意是不是压榨,鼓励愿意努力的奋斗

TensorFlow 中的自动混合精度,可在 NVIDIA GPU 上实现更快的 AI 训练

快讯
2019年3月20日
浏览量
【摘要】:
TensorFlow技术博客发布新文,文章讨论道,混合精度训练利用半精度加速训练,在某些情况下即便是使用相同超参数进行单精度训练,也能达到相同的精度。如此一来,内存需求会减少。使用混合精度需要两个步骤:移植模型以在适当时候使用半精度数据类型;并使用损耗缩放来保留小的梯度值。我们(指英伟达)为TensorFlow引入了自动混合精度功能(现在可以在1.x中使用,很快也能在2.x中使用),这能通过英伟达

TensorFlow 技术博客发布新文,文章讨论道,混合精度训练利用半精度加速训练,在某些情况下即便是使用相同超参数进行单精度训练,也能达到相同的精度。如此一来,内存需求会减少。使用混合精度需要两个步骤:移植模型以在适当时候使用半精度数据类型;并使用损耗缩放来保留小的梯度值。我们(指英伟达)为 TensorFlow 引入了自动混合精度功能(现在可以在 1.x 中使用,很快也能在 2.x 中使用),这能通过英伟达的 Volta 和 Turing GPU 中的 Tensor Core 进行修改以提高训练性能。自动混合精度在 TensorFlow 中内部应用这两个步骤,在 NVIDIA 的 NGC 容器中使用单个环境变量,并在必要时实现更精细的控制。