인공지능은 어떻게 배우는가: 최적화의 원리

1 최적화 개념
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 정의
– 최적화: 주어진 문제 공간 내 목표 함수(손실 함수) 최소화 또는 성능 지표(정확도) 최대화 위한 해 탐색 과정
○ 비유 사례
– 시험 오답노트 작성→오답 유형 분석→약점 보완 반복 학습 프로세스
– 안개 낀 산길에서 손전등으로 경사 탐지→한 걸음씩 낮은 지점 향해 이동
– 복잡한 미로에서 최단 경로 탐색 알고리즘(A*, Dijkstra)과 유사한 탐색 구조
○ 필요성
– 수백만~수억 개 파라미터 동시 조정 없이는 심층 신경망 학습 불가능
– 고차원 비선형 문제 해결을 위한 체계적 학습 절차 필수
– 반복 학습 과정에서 모델 성능 안정적 향상 유도
○ 목표
– 손실 함수 값 최소화
– 예측 정확도·일반화 성능 최대화
– 학습 효율성 및 연산 자원 최적 활용

2 손실 함수(Loss Function)
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 개념
– 모델 출력 ŷ와 실제 레이블 y 간 오차 수치화 척도
– 학습 방향(파라미터 업데이트) 및 수정 강도 안내자 역할
○ 주요 유형 및 특징
– 평균 제곱 오차(MSE)
□ 회귀 문제에서 오차 제곱 평균 기반 손실
□ 큰 오차에 더 큰 패널티 부여
– 교차 엔트로피(Cross-Entropy)
□ 분류 문제에서 확률 분포 차이 기반 손실
□ 정답 클래스 확률이 높아질수록 손실 감소
– 헌지 손실(Hinge Loss)
□ 마진 기반 분류기(SVM) 최적화 지표
□ 잘못 분류된 샘플에 마진 위반 정도만큼 패널티
– 코사인 유사도 손실(Cosine Loss)
□ 임베딩 벡터 간 각도 일치도 측정
□ 추천·검색 시스템 임베딩 품질 평가에 활용
– 토크별 교차 엔트로피(Token-level CE)
□ 자연어 생성(NLG) 디코더 학습 시 단어별 확률 손실 합산
○ 선택 기준
– 문제 유형: 회귀 vs 분류 vs 순위 예측
– 데이터 특성: 클래스 불균형 vs 노이즈 수준
– 모델 구조: 출력층 활성화 함수(Softmax, Sigmoid) 호환성
○ 적용 예시
– 이미지 분류: CE 손실로 클래스 예측 확률 최적화
– 회귀 예측: MSE 손실로 값 예측 오차 최소화
– 순위 보정: 랭킹 손실(NDCG 기반)과 MSE 복합 최적화

3 경사 하강법(Gradient Descent)
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 기본 원리
– 손실 함수 L(θ)에 대한 기울기 ∇ₜL 계산
– 파라미터 θ를 음의 기울기 방향으로 이동: θ ← θ – η·∇ₜL
– η: 학습률(Learning Rate), 파라미터 업데이트 크기 조정 변수
○ 학습 과정
– 초기화: Xavier·He 방식 등 가중치 분포 균형화
– 반복:
□ 순전파(Forward Pass) → 예측값 계산
□ 손실 계산(Loss Computation)
□ 역전파(Backward Pass) → 기울기 산출
□ 파라미터 업데이트(Parameter Update)
– 수렴 조건: ∥∇ₜL∥ 임계값 이하 또는 손실 값 변화 미미 시 학습 중단
○ 학습률 스케줄링
– 지수 감쇠(Exponential Decay): ηₜ = η₀·e^(–kt)
– 단계적 감소(Step Decay): 일정 에포크마다 η 감소
– 사이클릭 학습률(Cyclic LR): 주기적 η 변동으로 탈출 역치 극복
○ 비유
– 산길 하산 시 매걸음 발밑 경사(기울기) 확인 후 이동 거 결정

4 역전파(Backpropagation)
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 목적
– 출력 오차가 각 파라미터에 미치는 기여도(그래디언트) 효율적 산출
○ 핵심 개념: 연쇄 법칙(Chain Rule)
– ∂L/∂θ 계산을 위해 중간 변수 z, 활성화 a별 기울기 단계별 전파
○ 순전파 vs 역전파
– 순전파: 입력 x → 은닉층 → 출력 ŷ 순차적 예측 수행
– 역전파: 출력 오차 → 은닉층 → 입력층 방향으로 기울기 전파
○ 계산 효율화
– 동적 프로그래밍 기반 중복 부분 미리 계산→연산 비용 절감
– 텐서 연산 병렬화로 GPU 활용도 제고
○ 구현 유의사항
– 그래디언트 폭주·소실 방지 위한 수치 안정성 확보(Clipping, 정규화)
– 그래디언트 계산 그래프 관리 및 메모리 최적화 필요
○ 비유
– 시험 답안지 역순 점검을 통한 오답 원인 규명 및 교정 지점 식별

5 에포크(Epoch) 및 배치 처리
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 에포크 정의
– 전체 학습 데이터셋 한 차례 순회 후 파라미터 업데이트 완료 시점
○ 배치 종류 및 특징
– 배치 GD(Batch Gradient Descent): 전체 데이터 한꺼번에 사용, 안정성 높으나 계산 비용 큼
– 확률적 GD(Stochastic GD): 데이터 1개 단위 업데이트, 빠르나 학습 진동 심함
– 미니배치 GD(Mini-batch GD): B개 샘플 단위 업데이트, 속도·안정성 균형
○ 배치 크기(B) 선정 기준
– 메모리 제약(GPU VRAM)
– 학습 속도 vs 일반화 성능 균형
– 하이퍼파라미터 튜닝 시 배치 크기도 주요 변수
○ 배치 처리 효과
– GPU 병렬 연산 극대화
– 학습 속도 단축 및 안정적 수렴 유도
○ 비유
– 반 전체 학생 성적 동시에 채점 vs 소그룹별 순차적 채점 방식

6 경사 하강법 변형 기법
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 모멘텀(Momentum)
– 과거 업데이트 방향 반영: vₜ = μ·vₜ₋₁ + η·∇ₜL, θ ← θ – vₜ
– μ: 관성 계수(예: 0.9), 진동 제거 및 수렴 가속 목적
○ 네스테로프 가속 경사(Nesterov Accelerated Gradient)
– 미래 지점 예측 후 기울기 계산→더 정확한 가속 방향 제시
○ Adagrad
– 과거 기울기 제곱 합 누적 기반 학습률 자동 조정, 희소 데이터 학습에 유리
○ RMSProp
– Adagrad 학습률 감소 문제 해결 위해 지수 이동 평균 적용
○ Adam
– 1차 모멘텀·2차 RMSProp 결합, 편향 보정 단계 포함
– 현재 딥러닝 분야 기본 옵티마이저로 활용
○ 추가 변형 기법
– Nadam, AdamW, AMSGrad 등, 각 기법별 보정 방식 존재
○ 선택 기준
– 모델 규모·데이터 특성·컴퓨팅 자원 제약 종합 고려

7 심층 신경망 학습의 한계
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 기울기 소실(Vanishing Gradient)
– 역전파 시 기울기값 반복 곱 연산으로 값 소멸
– 초깊은 층 학습 정체 및 표현력 제한
○ 기울기 폭주(Exploding Gradient)
– 반복 곱으로 기울기값 급증→파라미터 발산 현상
– 학습 불안정 및 발산 방지를 위한 클리핑 필요
○ 부동소수점 표현 한계
– 극단적 작은 수 0 근처 처리로 정밀도 손실
– 학습 중 수치 오버플로우/언더플로우 위험
○ 내부 공변량 변화(Internal Covariate Shift)
– 층별 입력 분포 변화로 학습 동역학 불안정
– 배치 정규화 등 분포 고정 기법 등장 배경
○ 모델 복잡도 vs 안정성 Trade-off
– 층 수 증가 시 표현력 확대 vs 수치적 문제 가중
– 적정 깊이·폭 설계 및 하이퍼파라미터 최적화 중요

8 정보 손실 방지: 잔차 연결(Skip Connection)
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 기본 개념
– 입력 x와 블록 함수 F(x) 합산: y = F(x) + x
– 지름길(skip path)로 정보 및 그래디언트 직접 전달
○ ResNet (Residual Network)
– 50·101·152층 등 초심층 네트워크 성공 사례
– 잔차 블록 구성 및 학습 안정성 확인
○ DenseNet
– 모든 층 간 직접 연결, 특징 정보 공유 강화
– 파라미터 수 대비 효율적 성능 확보
○ Transformer
– Self-Attention 모듈마다 잔차 연결 적용
– 언어 모델 학습 시 문맥 정보 손실 방지
○ 효과
– 기울기 소실 문제 완화
– 수렴 속도 개선 및 모델 일반화 성능 향상
– 네트워크 깊이 확장 용이성 확보
○ 연구 동향
– 다중 경로 연결, 가변 블록 구조, 동적 연결 방식 등 확장 연구 활발

9 과적합(Overfitting) 및 일반화(Generalization)
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 과적합 정의
– 학습 데이터 최적화 집중→새 데이터 성능 저하 현상
○ 주요 방지 기법
– 드롭아웃(Dropout): 뉴런 일부 무작위 비활성화
– L1·L2 정규화(Regularization): 가중치 크기 제한
– 데이터 증강(Data Augmentation): 입력 변형 및 다양성 확보
– 배치 정규화(Batch Normalization): 층별 입력 분포 고정
– 조기 종료(Early Stopping): 검증 손실 증가 시 학습 중단
○ 일반화 성능 평가
– 교차 검증(Cross-Validation)
– 홀드아웃 테스트(Hold-out Validation)
– 외부 데이터셋 평가
○ 모델 간 비교 지표
– 정확도, 정밀도, 재현율, F1 스코어, AUC 등 복합 지표 활용

10 손실 지형(Loss Landscape) 이해
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 손실 지형 정의
– 손실 함수 값에 따른 고저차 복잡 미로 형태 구조
○ 주요 특징
– 안장점(Saddle Point): 학습 정체 유발
– 국소 최저점(Local Minima) 다수 분포
– 전역 최저점(Global Minimum) 존재하나 실용적 탐색 불필요
– 평평한 지점(Flat Minima) vs 날카로운 지점(Sharp Minima)
○ 시각화 기법
– 2차원 투영·등고선 플롯 활용
– PCA 기반 차원 축소 후 손실 면 분석
○ 최적화 전략
– 랜덤 초기화 다중 시작점
– 학습률 스케줄링 조합
– 여러 옵티마이저 비교 실험
○ 연구 동향
– 저차원 자유도 탐색, 지형 제어 최적화 기법, 메타학습 기반 최적화

11 학습 과정 종합 및 전망
––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––––
○ 학습 사이클 요약
– 모델 설계 → 손실 함수 정의 → 파라미터 초기화 → 순전파 → 손실 계산 → 역전파 → 파라미터 업데이트 → 에포크 반복
○ 최적화 발전 방향
– 2차 최적화(Second-Order Methods) 연구 확대
– 적응형 학습률·분산 최적화 기법 고도화
○ 대규모 모델 학습 과제
– 혼합 정밀도(Mixed Precision) 훈련
– 분산 학습·데이터 병렬화·모델 병렬화 전략
○ 자동화 최적화 기법
– AutoML·메타러닝 기반 하이퍼파라미터 자동 탐색
– 강화학습 기반 모델 구조 탐색(NAS)
○ 실용화 고려 사항
– 추론 속도·메모리·에너지 효율 최적화
– 온디바이스 학습·경량화 모델 개발
○ 다음 장 예고
– 신경망 기본 벽돌: 선형 회귀(Linear Regression)
– 활성화 함수(Activation Function) 종류 및 특성
– 다층 퍼셉트론(MLP) 구조 분석
– 특화 아키텍처: CNN·RNN·Transformer 심층 해부