Attention, Self-Attention

Attention
1) 항목별 가중치를 구하기 

ex. 입학전형에서 수능 과목별 가중치를 다르게 준다라고 했을 때, 과목별 가중치를 구한다. 이때는 과목의 난이도와 중요도에 의해 가중치를 정함
2) 항목별 가중치를 반영하여 종합 점수 구하기

ex. 위 예시에서는 과목별 가중치를 곱한 뒤 모든 점수를 더해 가중 평균을 구하는 과정에 해당합니다.

 

1. Attention(어텐션): 특정 정보에 집중하고 중요도를 부여하는 메커니즘
   • 어텐션은 자연어 처리에서 특정 단어나 문맥에 주목하거나 집중하는 메커니즘입니다.
   • 기존의 번역 모델에서는 입력 문장의 모든 단어를 고정된 크기의 벡터로 표현하는데, 어텐션은 이를 개선하였습니다.
   • 어텐션 메커니즘은 입력 문장의 각 단어가 출력 문장의 각 위치에 얼마나 중요한지를 판단하여 가중치를 부여합니다.
   • 이러한 가중치를 사용하여 모델이 번역할 때 입력 문장의 각 단어에 집중할 수 있게 해줍니다.
2. Transformer(트랜스포머): 어텐션 메커니즘을 사용하여 자연어 처리 작업을 수행하는 딥 러닝 모델
   • 트랜스포머는 어텐션 메커니즘을 기반으로 한 딥 러닝 모델입니다.
   • 이 모델은 기존의 순환 신경망(RNN)이나 장기 단기 기억(LSTM)과 달리 어텐션 메커니즘만으로 구성되어 있어 병렬 처리가 가능하고, 긴 시퀀스에 대한 처리도 효율적입니다.
   • 트랜스포머는 "Attention is all you need"라는 논문에서 처음 제안되었으며, 주로 기계 번역 및 자연어 이해와 같은 자연어 처리 작업에 사용됩니다.
   • 입력 문장과 출력 문장 간의 어텐션 메커니즘을 사용하여 문장을 번역하거나 의미를 이해합니다.