From 184421a56bb1df34c0846bd6cb6ade27c491c930 Mon Sep 17 00:00:00 2001 From: AyaseNana <13659110308@163.com> Date: Mon, 8 Apr 2024 14:33:18 +0800 Subject: [PATCH] update mode --- docs/api/paddle/nn/initializer/KaimingNormal_cn.rst | 5 +++-- docs/api/paddle/nn/initializer/KaimingUniform_cn.rst | 5 +++-- .../api_difference/init/torch.nn.init.kaiming_normal_.md | 5 +++-- .../api_difference/init/torch.nn.init.kaiming_uniform_.md | 5 +++-- 4 files changed, 12 insertions(+), 8 deletions(-) diff --git a/docs/api/paddle/nn/initializer/KaimingNormal_cn.rst b/docs/api/paddle/nn/initializer/KaimingNormal_cn.rst index 969d5e4c8b6..3a9960c9dcb 100644 --- a/docs/api/paddle/nn/initializer/KaimingNormal_cn.rst +++ b/docs/api/paddle/nn/initializer/KaimingNormal_cn.rst @@ -3,7 +3,7 @@ KaimingNormal ------------------------------- -.. py:class:: paddle.nn.initializer.KaimingNormal(fan_in=None, negative_slope=0.0, nonlinearity='relu') +.. py:class:: paddle.nn.initializer.KaimingNormal(fan_in=None, negative_slope=0.0, nonlinearity='relu', mode='fan_in') @@ -14,7 +14,7 @@ Kaiming 正态分布方式的权重初始化函数，方法来自 Kaiming He，X .. math:: - \frac{gain}{\sqrt{{fan\_in}}} + \frac{gain}{\sqrt{{fan\_mode}}} 参数 :::::::::::: @@ -22,6 +22,7 @@ Kaiming 正态分布方式的权重初始化函数，方法来自 Kaiming He，X - **fan_in** (float16|float32，可选) - 可训练的 Tensor 的 in_features 值。如果设置为 None，程序会自动计算该值。如果你不想使用 in_features，你可以自己设置这个值。默认值为 None。 - **negative_slope** (float，可选) - 只适用于使用 leaky_relu 作为激活函数时的 negative_slope 参数。默认值为 :math:`0.0`。 - **nonlinearity** (str，可选) - 非线性激活函数。默认值为 relu。 + - **mode** (str，可选) - 设置 fan_mode 为 'fan_in' 或 'fan_out'。默认值为 'fan_in'。 .. note:: diff --git a/docs/api/paddle/nn/initializer/KaimingUniform_cn.rst b/docs/api/paddle/nn/initializer/KaimingUniform_cn.rst index e4d34f16bf5..e09c478bd5f 100644 --- a/docs/api/paddle/nn/initializer/KaimingUniform_cn.rst +++ b/docs/api/paddle/nn/initializer/KaimingUniform_cn.rst @@ -3,7 +3,7 @@ KaimingUniform ------------------------------- -.. py:class:: paddle.nn.initializer.KaimingUniform(fan_in=None, negative_slope=0.0, nonlinearity='relu') +.. py:class:: paddle.nn.initializer.KaimingUniform(fan_in=None, negative_slope=0.0, nonlinearity='relu', mode='fan_in') @@ -14,7 +14,7 @@ Kaiming 均匀分布方式的权重初始化函数，方法来自 Kaiming He，X .. math:: - x = gain \times \sqrt{\frac{3}{fan\_in}} + x = gain \times \sqrt{\frac{3}{fan\_mode}} 参数 :::::::::::: @@ -22,6 +22,7 @@ Kaiming 均匀分布方式的权重初始化函数，方法来自 Kaiming He，X - **fan_in** (float16|float32，可选) - 可训练的 Tensor 的 in_features 值。如果设置为 None，程序会自动计算该值。如果你不想使用 in_features，你可以自己设置这个值。默认值为 None。 - **negative_slope** (float，可选) - 只适用于使用 leaky_relu 作为激活函数时的 negative_slope 参数。默认值为 :math:`0.0`。 - **nonlinearity** (str，可选) - 非线性激活函数。默认值为 relu。 + - **mode** (str，可选) - 设置 fan_mode 为 'fan_in' 或 'fan_out'。默认值为 'fan_in'。 .. note:: diff --git a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_normal_.md b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_normal_.md index 4b7784effb8..a90feb69681 100644 --- a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_normal_.md +++ b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_normal_.md @@ -14,7 +14,8 @@ torch.nn.init.kaiming_normal_(tensor, ```python paddle.nn.initializer.KaimingNormal(fan_in=None, negative_slope=0.0, - nonlinearity='relu') + nonlinearity='relu', + mode='fan_in') ``` 两者用法不同：torch 是 inplace 的用法，paddle 是类设置的，具体如下： @@ -26,7 +27,7 @@ paddle.nn.initializer.KaimingNormal(fan_in=None, | tensor | - | n 维 tensor。Paddle 无此参数，因为是通过调用类的 __call__ 函数来进行 tensor 的初始化。 | | a | negative_slope | 只适用于使用 leaky_relu 作为激活函数时的 negative_slope 参数。仅参数名不一致。 | | nonlinearity | nonlinearity | 非线性激活函数。参数默认值不一样，PyTorch 默认值为`leaky_relu`，Paddle 默认值为`relu`，Paddle 需保持与 PyTorch 一致。 | -| mode | - | "fan_in"（默认）或 "fan_out"。Paddle 无此参数，mode="fan_out"时，Paddle 无此参数，暂无转写方式。 | +| mode | mode | "fan_in"（默认）或 "fan_out"。 | | - | fan_in | 可训练的 Tensor 的 in_features 值。PyTorch 无此参数，Paddle 保持默认即可。 | ### 转写示例 diff --git a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_uniform_.md b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_uniform_.md index c54aeba60ee..c45cee8577f 100644 --- a/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_uniform_.md +++ b/docs/guides/model_convert/convert_from_pytorch/api_difference/init/torch.nn.init.kaiming_uniform_.md @@ -14,7 +14,8 @@ torch.nn.init.kaiming_uniform_(tensor, ```python paddle.nn.initializer.KaimingUniform(fan_in=None, negative_slope=0.0, - nonlinearity='relu') + nonlinearity='relu', + mode='fan_in') ``` 两者用法不同：torch 是 inplace 的用法，paddle 是类设置的，具体如下： @@ -26,7 +27,7 @@ paddle.nn.initializer.KaimingUniform(fan_in=None, | tensor | - | n 维 tensor。Paddle 无此参数，因为是通过调用类的 __call__ 函数来进行 tensor 的初始化。 | | a | negative_slope | 只适用于使用 leaky_relu 作为激活函数时的 negative_slope 参数。仅参数名不一致。 | | nonlinearity | nonlinearity | 非线性激活函数。参数默认值不一样，PyTorch 默认值为`leaky_relu`，Paddle 默认值为`relu`，Paddle 需保持与 PyTorch 一致。 | -| mode | - | "fan_in"（默认）或 "fan_out"。Paddle 无此参数，mode="fan_out"时，Paddle 无此参数，暂无转写方式。 | +| mode | mode | "fan_in"（默认）或 "fan_out"。 | | - | fan_in | 可训练的 Tensor 的 in_features 值。PyTorch 无此参数，Paddle 保持默认即可。 | ### 转写示例