IBM提出8位深度网络训练法，提速4倍同时保持高精度
AI前线导读： 计算效率是人工智能的代表。在训练速度、准确性和能耗之间保持平衡并非易事，但最近硬件的进步让这个目标比以前更容易实现。举个例子：IBM本周将在NeurIPS上展示一些新的人工智能训练方法，性能超过此前的最优表现。
这家位于纽约州阿蒙克的公司取得的第一个突破是加速数字技术，能够以8位实现全精度。第二个突破是用于模拟芯片的8位精密技术——这是IBM公司同类产品中实现的精度最高的技术，精确度提高了约一倍。
周二在蒙特利尔举行的NeurIPS 2018上，IBM对这一技术作了详细介绍。
更多干货内容请关注微信公众号“AI前线”（ID：ai-front）
“下一代AI应用程序需要更快的响应时间、更大的AI工作负载以及来自众多流的多模式数据。为了释放人工智能的全部潜力，我们正在重新以AI的思维设计硬件：从加速器到用于AI工作负载的专用硬件，如我们的新芯片，以及最终用于AI的量子计算，“IBM阿尔马登研究所副总裁兼实验室总监Jeffrey Wesler在博客文章中写道。“利用新的硬件解决方案扩展AI是IBM研究所工作的一部分，从狭义的人工智能（通常用于解决特定的，定义明确的任务）转向通用人工智能，跨越各个学科，帮助人类解决我们最紧迫的问题。 ”
从相对高精度（16位）浮点运算到低精度（8位）FP可能听起来违反直觉，但语音识别和语言翻译等任务并不一定非常严格。使用近似值可以显著提高电源效率和性能；正如Wesler解释的那样，使用16位精度引擎的“计算构建块”平均比具有32位精度的同类块小四倍。
在一篇名为《用8位浮点数训练深度神经网络》（Training Deep Neural Networks with 8-bit Floating Point Numbers）的论文中，IBM研究人员描述了他们如何在将加法算术精度从32位降到16位的同时，在ResNet50、AlexNet和BN50_DNN，以及一系列图像、语音和文本数据集模型中保持8位精度。他们声称，该技术可以将16位系统的深度神经网络的训练时间加速两到四倍。
第二篇论文 《带有投射式相变存储器的8位精度存储器内乘法》（8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory）提供了一种补偿模拟AI芯片低固有精度的方法，使它们能够在标量乘法运算中达到8位精度，获得大致两倍的精度，同时比同类数字AI系统耗能少33倍。
该论文的作者提出内存计算作为传统内存的替代方案，担负起传统内存执行存储数据和处理数据的双重角色。架构调整本身就可以将能耗降低90％或更多，且相变存储器（PCM）可以获得额外的性能提升，后者具有可以通过电脉冲修改的电导。这个属性使其能够执行计算，投射式PCM（Proj-PCM）使PCM在很大程度上不受电导变化的影响，从而实现比以前更高的精度。
“研究团队取得的高精度表明，内存计算可能可以在低功耗环境中实现高性能的深度学习，例如物联网和边缘应用，”Wesler写道。“与我们的数字加速器一样，我们的模拟芯片可以扩展到视觉、语音和文本数据集的AI训练和推理，以及新兴的广泛的AI应用中。”
原文链接：
https://venturebeat.com/2018/12/02/ibms-8-bit-ai-training-technique-is-two-to-four-times-faster-while-retaining-accuracy/
链接：http://t.cn/E28YBT9