NLP MLM(Masked Language Model) 정리

Masked Language Model (MLM)

• Masked Language Model (MLM)은 자연어 처리 분야에서 널리 사용되는 모델
• 전체 문장에서 일부 단어를 마스킹(Masking)하고, 해당 마스킹(Masking)된 단어를 모델의 입력으로 주어졌을 때, 마스킹된 단어를 예측하는 task
• MLM은 Transformer 모델을 비롯한 다양한 자연어 처리 모델에서 사용되며, 이를 통해 모델이 문장 내의 단어들을 이해하고, 문맥을 파악하는 능력을 향상시킬 수 있음.

MLM의 학습 과정

1. 전체 문장에서 일부 단어를 랜덤하게 선택하여 마스킹
2. 마스킹된 단어를 제외한 나머지 단어들을 모델의 입력으로 주고, 모델은 마스킹된 단어를 예측
3. 모델은 예측한 단어와 실제 마스킹된 단어를 비교하여 오차를 계산하고, 이를 역전파하여 모델을 학습
4. 학습이 완료된 모델은 마스킹된 단어를 포함한 전체 문장을 입력받아, 마스킹된 단어를 예측하고, 문장을 생성하는데 사용될 수 있음.

정리

• MLM은 다양한 자연어 처리 task에서 활용됨
• 기계 번역에서는 입력 문장을 하나의 시퀀스로 처리하기 위해 MLM이 사용됩
• 입력 문장을 마스킹하여 번역 모델이 해당 문장을 더 잘 이해할 수 있도록 학습
• 문서 요약에서는 입력 문서에서 중요한 단어들을 선택하고, 해당 단어들을 예측하기 위해 MLM이 사용됨