NLP 마스킹(Masking) 정리

마스킹

• 마스킹은 모델의 입력 데이터에서 특정 값을 가리는 것
• 자연어 처리 분야에서는 마스킹을 통해 모델이 문장의 일부를 숨기고 나머지 부분만 보고 빈칸 채우기나 문장 생성과 같은 작업을 수행하도록 하는데 활용

마스킹의 두 가지 종류

입력 마스킹 (Input Masking): 입력 시퀀스 중 일부를 마스크하여 모델의 입력으로 사용하는 방법

• 일반적으로 순환 신경망(RNN)이나 컨볼루션 신경망(CNN)에서 사용됩
• 이 방법에서는 입력 시퀀스의 일부를 랜덤하게 마스크하여 모델이 해당 부분을 예측하도록 유도함

출력 마스킹 (Output Masking): 출력 시퀀스 중 일부를 마스크하여 모델의 출력에 사용하는 방법

• 이 방법은 자연어 처리 분야에서 자주 사용되는 마스킹 기법 중 하나로, 입력 문장에서 일부 단어를 마스킹하여 빈칸 채우기나 문장 생성과 같은 작업을 수행.

정리

• 마스킹은 모델이 데이터를 잘 학습하도록 하는 데 매우 유용함.
• 특히, 텍스트 데이터와 같은 시퀀스 데이터에서는 입력이나 출력 시퀀스의 일부를 마스크하여 누락된 정보를 예측하도록 모델을 훈련시키는 것을 일반적인 방법
• 이를 통해 모델은 문맥을 파악하고 다음에 나올 단어나 토큰을 예측할 수 있음.