[PyTorch] LayerNorm
레이어 정규화는 색칠되어 있는 값을 가지고 평균과 분산을 계산해 정규화를 수행하는 방법이다. N, C, H, W shape을 가진 4차원 입력에 대해 위의 그림과 동일하게 LayerNorm을 적용하는 방식은 다음과 같다.import torchimport torch.nn as nnN, C, H, W = 10, 3, 32, 32normalized_shape = [C, H, W]x = torch.randn(N, C, H, W)layer_norm = nn.LayerNorm(normalized_shape=normalized_shape)x_norm = layer_norm(x) LayerNorm은 D차원의 normalized_shape을 입력으로 받아 입력의 마지막 D차원에 대해 평균과 분산을 계산해 정규화를 수행..
info
numpy의 특정 function의 사용법이 궁금할 때 사용하면 된다. print(np.info(np.add)) add(x1, x2, /, out=None, *, where=True, casting='same_kind', order='K', dtype=None, subok=True[, signature, extobj]) Add arguments element-wise. Parameters ---------- x1, x2 : array_like The arrays to be added. If ``x1.shape != x2.shape``, they must be broadcastable to a common shape (which becomes the shape of the output). out : nda..
