Data/Data visualization
Self attention
Q. Self attention 방법이란 Self-Attention(자기 어텐션)은 딥러닝에서 사용되는 어텐션 메커니즘의 한 종류입니다. 어텐션 메커니즘은 입력 시퀀스의 모든 요소가 출력 시퀀스의 모든 요소에 영향을 미치도록 하는 메커니즘입니다. Self-Attention은 입력 시퀀스 내에서 각 단어의 상대적인 중요도를 계산하여 출력을 생성하는 방법입니다. Self-Attention의 기본적인 아이디어는 입력 시퀀스 내의 각 단어 벡터들이 서로 어떤 관계를 가지는지 학습하는 것입니다. 이를 위해 입력 시퀀스 내의 각 단어 벡터를 Query, Key, Value로 각각 변환한 뒤, Query와 Key의 유사도에 따라 Value를 가중합하여 출력을 생성합니다. 이때 유사도를 계산하는 방법으로는 내적(dot..
