[PyTorch] LayerNorm
레이어 정규화는 색칠되어 있는 값을 가지고 평균과 분산을 계산해 정규화를 수행하는 방법이다. N, C, H, W shape을 가진 4차원 입력에 대해 위의 그림과 동일하게 LayerNorm을 적용하는 방식은 다음과 같다.import torchimport torch.nn as nnN, C, H, W = 10, 3, 32, 32normalized_shape = [C, H, W]x = torch.randn(N, C, H, W)layer_norm = nn.LayerNorm(normalized_shape=normalized_shape)x_norm = layer_norm(x) LayerNorm은 D차원의 normalized_shape을 입력으로 받아 입력의 마지막 D차원에 대해 평균과 분산을 계산해 정규화를 수행..
