【学习笔记8】阅读StyleID论文源码
论文【链接】
源码【链接】
一、DDIM eta
ddim_step表示执行几轮去噪迭代，eta表示DDPM和DDIM的插值系数。当eta=0时，为DDPM；当eta≠0时，为DDIM。
参考
DDIM 简明讲解与 PyTorch 实现：加速扩散模型采样的通用方法
【stable diffusion】两个与采样器有关的参数效果:eta大小与ddim插值方式
二、torch.permute()函数
作用：
用于对torch进行维度变换。
transpose与permute的异同：
同：都是对tensor维度进行转置
异：permute函数可以对任意高维矩阵进行转置，但没有torch.permute()这个调用方式
对比：permute，也可以多次使用transpose
# 例子
torch.randn(2,3,4,5).permute(3,2,0,1).shape
参考
Pytorch之permute函数
三、parser.add_argument(action=‘store_true’)
action=‘store_true’表示：只要运行时该变量有传参就将该变量设为True。
参考
python之parser.add_argument()用法——命令行选项、参数和子命令解析器
四、seed everything（）
这是一个用于设置随机数种子的函数，它可以确保在每次运行程序时生成的随机数序列都是相同的。这对于需要重现实验结果或调试代码非常有用。该函数的参数是一个整数值，它可以是任何值，但通常使用当前时间戳或其他唯一的标识符作为种子值。
什么是随机种子
随机数，分为真随机数和伪随机数，真随机数需要自然界中真实的随机物理现象才能产生，而对于计算机来说生成这种随机数是很难办到的。而伪随机数是通过一个初始化的值，来计算来产生一个随机序列，如果初始值是不变的，那么多次从该种子产生的随机序列也是相同的。这个初始值一般就称为种子。
程序中的随机数：
np.random.seed只影响 NumPy 的随机过程，torch.manual_seed也只影响 PyTorch 的随机过程。
import torch
torch.manual_seed(777)print(torch.rand(1)) # 始终输出：tensor([0.0819])
print(torch.rand(1)) # 始终输出：tensor([0.4911])
CUDA 的随机数：
PyTorch 中，还有另一个设置随机种子的方法：torch.cuda.manual_seed_all，从名字可知这是设置显卡的随机种子。
import torch
torch.cuda.manual_seed_all(777)print(torch.rand(1)) # 多次调用都产生不同输出
print(torch.rand(1, device="cuda:0")) # 始终输出 tensor([0.3530], device='cuda:0')
print(torch.rand(1, device="cuda:1")) # 始终输出 tensor([0.3530], device='cuda:0')
不同设备之间的随机数：
在 CPU 上创建 Tensor，再切换到 GPU 上。只要不直接在 GPU 上创建随机变量，就可以在 CPU 和 GPU 上产出相同的结果。
import torchtorch.manual_seed(777)
print(torch.rand(1).to("cuda:0")) # 输出 tensor([0.0819], device='cuda:0')
参数
Seed Everything - 可复现的 PyTorch（一）
五、Python getattr() 函数
getattr() 函数用于返回一个对象属性值。
参考
Python getattr() 函数
六、tensor.detach()
返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个tensor永远不需要计算其梯度，不具有grad。即使之后重新将它的requires_grad置为true,它也不会具有梯度grad。
这样我们就会继续使用这个新的tensor进行计算，后面当我们进行反向传播时，到该调用detach()的tensor就会停止，不能再继续向前进行传播。
注意：使用detach返回的tensor和原始的tensor共同一个内存，即一个修改另一个也会跟着改变。
参考
pytorch的两个函数 .detach() .detach_() 的作用和区别
七、torch.full()
用于创建全相同的张量。
## 例子
t = torch.full((3,3),10)
print("torch.full((3,3),10)的输出结果\n",t)
## 输出结果
torch.full((3,3),10)的输出结果
tensor([[10., 10., 10.],[10., 10., 10.],[10., 10., 10.]])
参考
PyTorch | torch.full()使用方法 | torch.full()如何使用？ torch.full()例子说明 | 通过torch.full创建全相同的张量