Self attention

Q. Self attention 방법이란

 

Self-Attention(자기 어텐션)은 딥러닝에서 사용되는 어텐션 메커니즘의 한 종류입니다. 어텐션 메커니즘은 입력 시퀀스의 모든 요소가 출력 시퀀스의 모든 요소에 영향을 미치도록 하는 메커니즘입니다. Self-Attention은 입력 시퀀스 내에서 각 단어의 상대적인 중요도를 계산하여 출력을 생성하는 방법입니다.

Self-Attention의 기본적인 아이디어는 입력 시퀀스 내의 각 단어 벡터들이 서로 어떤 관계를 가지는지 학습하는 것입니다. 이를 위해 입력 시퀀스 내의 각 단어 벡터를 Query, Key, Value로 각각 변환한 뒤, Query와 Key의 유사도에 따라 Value를 가중합하여 출력을 생성합니다. 이때 유사도를 계산하는 방법으로는 내적(dot product)이나 유클리디안 거리 등을 사용할 수 있습니다.

Self-Attention은 트랜스포머 네트워크에서 사용되며, 특히 자연어 처리 분야에서 문장 내 단어 간의 관계를 학습하는 데에 매우 효과적입니다. Self-Attention은 문장 내에서 각 단어의 위치 정보를 보존하면서 전체 문장을 함께 고려할 수 있기 때문에, 문장 내에서 단어 순서의 변화에 강인한 모델을 만들 수 있습니다.