12. Recurrent Neural Networks
순환 신경망의 구조와 수식, vanishing gradient 문제, 그리고 LSTM의 게이트 동작 원리.
순환 신경망의 구조와 수식, vanishing gradient 문제, 그리고 LSTM의 게이트 동작 원리.
사전 학습된 ConvNet을 특징 추출기로 쓰거나 fine-tuning하는 전략과 실무 지침.
학습된 ConvNet의 활성화와 필터 시각화, 최근접 이웃과 t-SNE 임베딩으로 표현 이해하기.
CONV·POOL·FC 층의 동작 원리, 하이퍼파라미터 설정, 그리고 대표적인 ConvNet 구조 사례.
2차원 나선형 데이터에 선형 분류기와 2층 신경망을 처음부터 구현해보는 전 과정.
기울기 점검, 학습 과정 모니터링, 매개변수 갱신 방식, 하이퍼파라미터 최적화와 앙상블.
데이터 전처리, 가중치 초기화, batch normalization, 정규화와 손실 함수 설정.
생물학적 뉴런에서 출발한 신경망 모델, 활성화 함수의 종류, 층 구조와 표현력.
연쇄 법칙에 기반한 역전파의 직관적 이해, 계산 그래프와 게이트, 벡터화된 기울기 계산.
손실 함수 최적화, 수치적·해석적 기울기 계산, 경사 하강법과 mini-batch SGD.