关于nan的大小判定规则

技术背景

在Numpy或PyTorch框架编程的过程中，如果有计算异常，可能会存在NAN这样的一个东西，也就是not a number。这不是一个常规的数字，但是也可以参与计算，例如加和、比较等等。本文通过一个简单的示例，展示一下PyTorch框架下，NAN的计算规则。
代码示例

如下是一个简单的示例：

1. In [1]: import torch as tc
3. In [2]: tc.nan
4. Out[2]: nan
6. In [3]: a = tc.tensor([0., 1.0, tc.nan])
8. In [4]: a
9. Out[4]: tensor([0., 1., nan])
11. In [5]: a.max()
12. Out[5]: tensor(nan)
14. In [6]: a.min()
15. Out[6]: tensor(nan)
17. In [7]: a.sum()
18. Out[7]: tensor(nan)
20. In [8]: b = a - tc.nan
22. In [9]: b
23. Out[9]: tensor([nan, nan, nan])

复制代码

我们可以直接用torch.nan来定义一个NAN的数。然后这个NAN在计算过程中，不论是取最大值还是最小值，都会取到NAN。如果另外一个数跟NAN做四则运算，得到的结果也是NAN，这就是NAN的基本运算规则。
NAN的产生

如果我们直接使用1/0这样的形式去计算，得到的结果会是inf而不是NAN：

1. In [1]: import torch as tc
3. In [2]: a = tc.zeros(1)
5. In [3]: b = tc.ones(1)
7. In [4]: c=b/a
9. In [5]: c
10. Out[5]: tensor([inf])

复制代码

实际上出现NAN时，只有两种可能的情况：0/0和inf/inf：

1. In [1]: import torch as tc
3. In [2]: a = tc.zeros(1)
5. In [3]: b = tc.zeros(1)
7. In [4]: a/b
8. Out[4]: tensor([nan])
10. In [5]: b[0]=1
12. In [6]: a/b
13. Out[6]: tensor([0.])
15. In [7]: b/a
16. Out[7]: tensor([inf])
18. In [8]: (b/a)/(b/a)
19. Out[8]: tensor([nan])

复制代码

那么就可以通过这样的规则，去排除一下是计算的哪个步骤出现了问题。
总结概要

本文通过几个简单的代码示例，展示了一下NAN在PyTorch框架下形成的原因。通过了解这个原因和规则，有助于解决在深度学习开发和训练过程中出现的NAN的问题。
版权声明

本文首发链接为：https://www.cnblogs.com/dechinphy/p/tc-nan.html
作者ID：DechinPhy
更多原著文章请参考：https://www.cnblogs.com/dechinphy/
打赏专用链接：https://www.cnblogs.com/dechinphy/gallery/image/379634.html
腾讯云专栏同步：https://cloud.tencent.com/developer/column/91958

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！