[NLP] 신경망기반 텍스트 분류 - 개념

머신러닝( 신경망 )

신경망 = 지도학습데이터와 라벨이 모두 제공

 

종류

1. Linear Regression (선형 회귀)

가설 함수 세우기H(x) = Wx + b

2.Multi Variable Linear Regression (선형 회귀-여러 변수)

변수가 많아질 뿐 선형 회귀와 동일

3. Logistic Regression (이중 회귀)

회귀 모델의 계열이지만, 이중 분류에 사용

 

입력값에 대해 연속형 값을 로지스틱 회귀를 사용해 이진 분류 작업

 

0또는 1로 분류

 

 

 

 

4.Multi Classification (다중 분류)

SoftMax 활성화 함수 사용

5.인공신경망 (Artificial Neural Network) = ANN

 

 

5. 인공신경망 (Artificial Neural Network) = ANN

신경망 = 인간의 뉴런과 유사하게 구성

 

 

언어 능력 점수를 결정하는 것에 동일한 영향을 미친다 = 가중치가 모두 1값일때 -> 신뢰가 없다.

언어 능력 점수를 결정하는 것에는 국어와 영어가 큰 영향을 미치고 나머지는 미미하기때문에 가중치는 인풋마다 달라야한다.

훈련 = 이 데이터를 가장 잘 설명하는 적절한 가중치를 찾아내는 것

모델 = 찾아낸 것을 적용

w와 b를 찾는 방법 -> 머신러닝, 딥러닝 알고리즘

그림은 가중치를 어떻게 바꿔야 오차를 줄일 수 잇는지 가중치를 조정해가면서 모델을 만드는 과정

 

 

6.DNN(Deep Neural Network)

(1)다중 퍼셉트론 (Multi Level Perceptron) : 입출력 Layer 사이 Hidden Layer 추가

(2)역전파

---

딥러닝 - 순환  신경망

RNN (Recurrent Neural Network)

시간의 흐름에 따라 발생된 데이터에 대해서 데이터 시간적인 특성을 파악해 이해 / 예측

 

아래 -> 위방향으로 학습

리커런트 뉴럴 네트워크 : 연산결과가 출력에 보내지는 동시에 동일한 구조의 다음 셀에도 보내진다.

 

RNN 유형

(1)일대일

(2)일대다

(3)다대일

(4)다대다 ex) 번역기

 

RNN 단점

문장이 여러 개거나 길이가 길면 예측 잘 X

Long Term Dependency - 문장 길이가 길면 앞의 정보가 손실 되어 잘 반영 X

 

Long Term Dependency (장기 의존성 문제) 해결 - LSTM

LSTM 다음 발전 단계

Seq2seq → Attention → Transformer → GPT / BERT