본문 바로가기

Deep Learning/etc

 (3)
Bicubic Interpolation 이 보간법은 $(x, y)|0 \le x \le 1, 0 \le y \le 1$로 정의되는 $D$의 임의의 점 $x, y$로 부터 16개의 점의 값을 보간하는 방법이다. 보간 곡면 $f(x, y)$는 다음과 같이 $x, y$의 3차 함수로 정의된다. $f(x, y) = \sum_{i=0}^3 \sum_{j=0}^3 a_{ij} x^i y^j$ 보간하는 점이 16개인 이유는 위의 수식에서 미지수가 $a_{00}$ ~ $a_{33}$으로 16개이기 때문이다. 미지수가 16개이기 때문에 자명한 해를 구하기 위해서는 16개의 관계식이 필요하다. 따라서 계수를 추정하기 위해 $D$의 4개의 코너에 대한 함수값, x에 대한 편미분, y에 대한 편미분, 그리고 x, y에 대한 편미분을 사용한다. 먼저 4개의 코너에 ..
쿨백 라이블러 발산 wikipedia 쿨백 라이블러 발산(Kullback-Leibler divergence, KLD)은 두 확률분포의 차이를 계산하는 데 사용하는 함수로, 어떤 이상적인 분포에 대해, 그 분포를 근사하는 다른 분포를 사용해 샘플링을 한다면 발생할 수 있는 정보 엔트로피 차이를 계산한다. 의미 어떠한 확률분포 $P$가 있을 때, 샘플링 과정에서 그 분포를 근사적으로 표현하는 확률분포 $Q$를 $P$ 대신 사용할 경우 엔트로피 변화를 의미한다. 따라서, 원래의 분포가 가지는 엔트로피 $H(P)$와 $P$ 대신 $Q$를 사용할 때의 교차 엔트로피 $H(P, Q)$의 차이를 구하면 다음과 같다. $D_{KL}(P \parallel Q)=H(P, Q)-H(P)$ $=( -\underset{x}\sum p(x) \lo..
사전 학습된 모델 사전 학습된 모델(Pre-trained Model)이란 대규모 데이터셋으로 학습된 딥러닝 모델로 이미 학습이 완료된 모델을 의미한다. 사전 학습된 모델 자체를 현재 시스템에 적용하거나 사전 학습된 임베딩 벡터를 활용해 모델을 구성할 수 있다. 이를 활용한다면 모델을 처음부터 구성하고 학습하는 것이 아닌 이미 학습된 모델의 일부를 활용하거나 추가 학습을 통해 모델의 성능을 끌어낼 수 있다. 처음부터 모델을 훈련하지 않으므로 학습에 필요한 시간이 감소하고, 전이 학습(Transfer Learning)과 같은 작업뿐만 아니라 백본 네트워크(Backbone Networks)로 사용되어 소규모 데이터로도 우수한 성능을 달성할 수 있다. 1. 백본 백본 네트워크(Backbone Network)는 딥러닝 모델의 핵심..

티스토리툴바