找回密码
 立即注册
首页 业界区 安全 关于nan的大小判定规则

关于nan的大小判定规则

釉她 6 天前
技术背景

在Numpy或PyTorch框架编程的过程中,如果有计算异常,可能会存在NAN这样的一个东西,也就是not a number。这不是一个常规的数字,但是也可以参与计算,例如加和、比较等等。本文通过一个简单的示例,展示一下PyTorch框架下,NAN的计算规则。
代码示例

如下是一个简单的示例:
  1. In [1]: import torch as tc
  2. In [2]: tc.nan
  3. Out[2]: nan
  4. In [3]: a = tc.tensor([0., 1.0, tc.nan])
  5. In [4]: a
  6. Out[4]: tensor([0., 1., nan])
  7. In [5]: a.max()
  8. Out[5]: tensor(nan)
  9. In [6]: a.min()
  10. Out[6]: tensor(nan)
  11. In [7]: a.sum()
  12. Out[7]: tensor(nan)
  13. In [8]: b = a - tc.nan
  14. In [9]: b
  15. Out[9]: tensor([nan, nan, nan])
复制代码
我们可以直接用torch.nan来定义一个NAN的数。然后这个NAN在计算过程中,不论是取最大值还是最小值,都会取到NAN。如果另外一个数跟NAN做四则运算,得到的结果也是NAN,这就是NAN的基本运算规则。
NAN的产生

如果我们直接使用1/0这样的形式去计算,得到的结果会是inf而不是NAN:
  1. In [1]: import torch as tc
  2. In [2]: a = tc.zeros(1)
  3. In [3]: b = tc.ones(1)
  4. In [4]: c=b/a
  5. In [5]: c
  6. Out[5]: tensor([inf])
复制代码
实际上出现NAN时,只有两种可能的情况:0/0和inf/inf:
  1. In [1]: import torch as tc
  2. In [2]: a = tc.zeros(1)
  3. In [3]: b = tc.zeros(1)
  4. In [4]: a/b
  5. Out[4]: tensor([nan])
  6. In [5]: b[0]=1
  7. In [6]: a/b
  8. Out[6]: tensor([0.])
  9. In [7]: b/a
  10. Out[7]: tensor([inf])
  11. In [8]: (b/a)/(b/a)
  12. Out[8]: tensor([nan])
复制代码
那么就可以通过这样的规则,去排除一下是计算的哪个步骤出现了问题。
总结概要

本文通过几个简单的代码示例,展示了一下NAN在PyTorch框架下形成的原因。通过了解这个原因和规则,有助于解决在深度学习开发和训练过程中出现的NAN的问题。
版权声明

本文首发链接为:https://www.cnblogs.com/dechinphy/p/tc-nan.html
作者ID:DechinPhy
更多原著文章请参考:https://www.cnblogs.com/dechinphy/
打赏专用链接:https://www.cnblogs.com/dechinphy/gallery/image/379634.html
腾讯云专栏同步:https://cloud.tencent.com/developer/column/91958

来源:程序园用户自行投稿发布,如果侵权,请联系站长删除
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
您需要登录后才可以回帖 登录 | 立即注册