딥러닝 기본 용어 정의

수학적 모델을 바탕으로 가설을 세우고 참값과 예측값 사이에 차이를 계산하여 오차를 구하고 
오차를 최소화 하기 위해 최적화 함수를 도입하고 이걸 옵티마이저라고 한다. 


singe layer perceptron 
여러가지 input 이 한개의 layer 를 들어가 한개의 결과 같이 나온다. 

Multi layer perceptron (MLP) 
여러가지 input 이 여러개의 layer 를 통과하는것 즉 딥러닝이라 한다. 

이전에 학습 한것같이 1차 layer 에서 선형회규로 1차 방적식, 2차 layer에서는 로지스틱시그모이드 함수를 사용 하는 느낌으로 확률을 더 욱 높인다 생각한다. 

대표적으로 Loss funtion 
모델의 예측값과 실제값 사이의 차이를 측정하는 함수로, 모델의 성능을 평가하는 데 사용됩니다. 대표적인 손실 함수로는 평균 제곱 오차(MSE), 교차 엔트로피 손실 함수 등이 있습니다.

1. Mean Square Err
참값과 예측값의 차이를 제곱한 값을 평균하여 계산

2. Binary Cross Entropy
logistic regression 에서 활용했던 cost Function
참값이 1,0 일때 log loss 를 다르게 적요하여 계산

3.Categorical Cross Ectropy 

softmax regression 에서 활용 
one-hot vector 로 encodiong 된 값과 예측값의 차이를 계산

Optimizer (최적화)

모델의 가중치를 업데이트하는 방법을 결정하는 알고리즘으로, 손실 함수의 값을 최소화하도록 설계되었습니다. 대표적인 옵티마이저로는 SGD, Adam, RMSprop 등이 있습니다.
Graient Descent : 기울기를 바탕으로 방향을 찾는다. 
Momentum : 기울기로 움직이되, 관성을 고려한다. 
Adagrad : 탐색해본 적 없는 구간의 step은 크게 해본적 있는 구간은 작게 
RMSprop : step을 작게할 때는 이전영향을 고려한다
Adam : Momentum + RMSprop  (보편적으로 많이 사용 한다.)

기본적 용어 개념
epoch : total data 가 학습된 횟수

Batch : 대규모 데이터셋을 다룰 때 한 번에 모든 데이터를 처리하는 것이 아니라, 작은 '배치(batch)'로 나누어 모델을 학습시키는 기법!!

total data 를 한번에 학습한다면 정교하게 GD를 수행할 수 있지만, computational Cost가 커진다는단점이 있어 
전체데이터를 작은사이즈로 잘라서 학습에 활용한다. 작은사이지는 정교하게 GD를 수행하고 적당한 Computational Cost를 소모하게끔 minibatch형태로 Training

Batch Size : Batch Size는 한 번에 네트워크를 통과하는 데이터의 수입니다.

iteration : 설정한 Batch size로 total data가 학습되기위해 반복하는 횟수 즉 total data 가 100 이고 batch 20 이면 iteration : 5 가된다. 

 

Mini-batch Gradient Descent:

• 전체 데이터셋을 작은 배치로 나누어 학습하는 방식을 Mini-batch Gradient Descent라고 합니다. 이 방식은 각 배치마다 가중치를 업데이트하여, Stochastic Gradient Descent(SGD)보다 안정적이며, Batch Gradient Descent보다 빠릅니다.

인공신경망 (Artificial Neural Networks, ANN)

• 인공신경망은 사람의 뇌에서 영감을 받아 만들어진 알고리즘으로, 여러 뉴런(노드)이 서로 연결되어 복잡한 데이터에서 패턴을 학습할 수 있습니다.

가중치 (Weights)와 편향 (Bias)

• 가중치는 입력 신호의 영향력을 조절하는 매개변수입니다. 편향은 가중치와 함께 뉴런의 출력에 영향을 미치는 매개변수로, 뉴런이 활성화되는 정도를 조절합니다.

활성화 함수 (Activation Function)

• 뉴런의 출력을 결정하는 함수로, 비선형 문제를 해결하기 위해 사용됩니다. 대표적인 활성화 함수로는 ReLU, 시그모이드, 탄젠트 함수 등이 있습니다.