Pytorch之finetune使用详解

站长资源 2025/5/15 佚名

4 1538 4

相思资源网 Design By www.200059.com

finetune分为全局finetune和局部finetune。首先介绍一下局部finetune步骤：

1.固定参数

  for name, child in model.named_children():
    for param in child.parameters():
      param.requires_grad = False

后，只传入需要反传的参数，否则会报错

filter(lambda param: param.requires_grad, model.parameters())

2.调低学习率，加快衰减

finetune是在预训练模型上进行微调，学习速率不能太大。

目前不清楚：学习速率降低的幅度可以更快一些。这样以来，在使用step的策略时，stepsize可以更小一些。

直接从原始数据训练的base_lr一般为0.01，微调要比0.01小,置为0.001

要比直接训练的小一些，直接训练的stepsize为100000，finetune的stepsize: 50000

3. 固定bn或取消dropout：

batchnorm会影响训练的效果，随着每个batch，追踪样本的均值和方差。对于固定的网络，bn应该使用全局的数值

def freeze_bn(self):
  for layer in self.modules():
    if isinstance(layer, nn.BatchNorm2d):
      layer.eval()

训练时，model.train()会修改模式，freeze_zn()应该在这里后面

4.过滤参数

训练时，对于优化器，应该只传入需要改变的参数，否则会报错

filter(lambda p: p.requires_grad, model.parameters())

以上这篇Pytorch之finetune使用详解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。

Pytorch,finetune

标签：

相思资源网 Design By www.200059.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com

相思资源网 Design By www.200059.com

评论“Pytorch之finetune使用详解”

暂无Pytorch之finetune使用详解的评论...