• MXNet Gluon上实现跨卡同步Batch Normalization

  24 Jul 2018   ·   张航 Amazon AI Applied Scientist

  很多用户在论坛上，GitHub 上，甚至是不同的深度学习平台上，都要求提供跨卡同步（Cross-GPU Synchronized） Batch Normalization 或称为同步BN （SyncBN）。 我们团队率先提供了 MXNet 的实现。 写在前面：为什么要跨卡同步 Batch Normalization 现有的标准 Batch Normalization 因为使用数据并行（Da...

• 如何发表一篇文章

  29 Mar 2018   ·   李沐 Amazon AI Principal Scientist

  我们讨论在这里发表一篇文章的流程和一些写作建议。 内容 一篇文章通常讨论一个主题。建议长度在控制在读者能够10分钟读完以内。保守估计一个人可以一分钟读200个字，那么总长度应该在2000字内。如果文章里面有图片，表格和代码，我们可以简单估算成一张图片15秒，一行代码和表格2秒，那么一篇文章最多可以有2张图片，5个代码块，每块10行代码，2个表格，每个表格5行，外加一千五百字。这个只是一个...

• 为什么开设 Apache MXNet 博客

  22 Mar 2018   ·   李沐 Amazon AI Principal Scientist

  半年前我们开始了一个实验性质的项目：通过代码实现来从0开始学深度学习。因为我们认为深度学习是一门动手的学科，只有通过亲手实现和实验才能体会到各个细节是如何影响最终结果，从而可以应用深度学习来解决实际问题。 我们假设小伙伴有一定的编程基础，但只有极为有限的机器学习和数学知识。然后通过每周直播一到两个小时，现场演示各个模型算法的实现，和在真实数据上不同参数下的结果，以及一系列的Kaggle竞赛...