NLP (6) 썸네일형 리스트형 NLP Denoising Autoencoder 정리 Denoising Autoencoder Denoising Autoencoder는 오토인코더(Autoencoder)의 변형 모델 중 하나 Autoencoder는 입력 데이터를 압축하여 잠재 변수(latent variable)로 만들고, 이를 기반으로 원본 데이터를 재구성하는 모델 Denoising Autoencoder는 이러한 Autoencoder에 잡음 제거(noise reduction) 기능을 추가한 모델 Denoising Autoencoder는 잡음이 있는 입력 데이터를 받아들이고, 잡음을 제거하여 원래의 입력 데이터로 복원하는 모델 Denoising Autoencoder는 잡음 제거에 매우 효과적 음성 인식이나 이미지 분류와 같은 task에서 입력 데이터의 노이즈를 제거하고, 더 나은 결과를 도출할.. NLP 마스킹(Masking) 정리 마스킹 마스킹은 모델의 입력 데이터에서 특정 값을 가리는 것 자연어 처리 분야에서는 마스킹을 통해 모델이 문장의 일부를 숨기고 나머지 부분만 보고 빈칸 채우기나 문장 생성과 같은 작업을 수행하도록 하는데 활용 마스킹의 두 가지 종류 입력 마스킹 (Input Masking): 입력 시퀀스 중 일부를 마스크하여 모델의 입력으로 사용하는 방법 일반적으로 순환 신경망(RNN)이나 컨볼루션 신경망(CNN)에서 사용됩 이 방법에서는 입력 시퀀스의 일부를 랜덤하게 마스크하여 모델이 해당 부분을 예측하도록 유도함 출력 마스킹 (Output Masking): 출력 시퀀스 중 일부를 마스크하여 모델의 출력에 사용하는 방법 이 방법은 자연어 처리 분야에서 자주 사용되는 마스킹 기법 중 하나로, 입력 문장에서 일부 단어를 마.. NLP MLM(Masked Language Model) 정리 Masked Language Model (MLM) Masked Language Model (MLM)은 자연어 처리 분야에서 널리 사용되는 모델 전체 문장에서 일부 단어를 마스킹(Masking)하고, 해당 마스킹(Masking)된 단어를 모델의 입력으로 주어졌을 때, 마스킹된 단어를 예측하는 task MLM은 Transformer 모델을 비롯한 다양한 자연어 처리 모델에서 사용되며, 이를 통해 모델이 문장 내의 단어들을 이해하고, 문맥을 파악하는 능력을 향상시킬 수 있음. MLM의 학습 과정 전체 문장에서 일부 단어를 랜덤하게 선택하여 마스킹 마스킹된 단어를 제외한 나머지 단어들을 모델의 입력으로 주고, 모델은 마스킹된 단어를 예측 모델은 예측한 단어와 실제 마스킹된 단어를 비교하여 오차를 계산하고, 이를.. NLP Transformer 아키텍처 Transformer 아키텍처 Transformer는 Attention Mechanism을 기반으로 한 딥러닝 아키텍처 입력 시퀀스를 처리하면서 문맥 정보를 모두 유지하면서 각각의 위치와 단어들 간의 상호작용을 파악 Transformer의 핵심 구성 요소는 Encoder와 Decoder로 구성 인코더와 디코더 모두에서 Self-Attention 메커니즘을 사용하기 때문에 입력 시퀀스의 길이에 영향을 받지 않는 모델 Transformer는 자연어 처리 분야에서 기계 번역, 요약, 질문 응답, 이미지 캡셔닝, 텍스트 요약, 기계 번역 등 다양한 태스크에서 활용 용어정리 Encoder - 입력 시퀀스를 입력받아 내부적으로 다수의 Self-Attention 계층과 Feed-Forward 계층으로 이루어진 인코딩.. NLP BART 모델 정리 BART (Bidirectional and Auto-Regressive Transformer) BART (Bidirectional and Auto-Regressive Transformer)는 Facebook AI Research (FAIR)에서 개발한 Transformer 아키텍처를 기반으로 한 언어 모델 대량의 텍스트 데이터를 사용하여 사전 학습된 언어 모델(like GPT) BART의 두 가지 주요 구성 요소 Masked Language Model (MLM)과 같은 auto-regressive 인코더 인코더는 문장의 각 단어를 하나씩 처리하며, 이전 단어에 대한 정보를 사용하여 다음 단어를 예측함. 그래서 이 모델은 문장 내의 의미론적인 특성과 구문적인 패턴을 학습할 수 있음. denoising au.. NLP 용어정리 2023/03/11 업데이트 Sentence BERT: 문장 임베딩을 학습하는 모델. RoBERTa-base 모델을 사용하여 만들어졌으며, 각 문장을 벡터 공간에 임베딩하여 유사도를 계산하거나 클러스터링과 같은 작업에 활용됨. RoBERTa: BERT 모델을 개선한 모델로, Transformer 모델을 사용하여 양방향으로 문맥을 파악할 수 있는 능력을 가짐. BERT 모델의 문제: pre-training 단계에서 사용되는 데이터셋에 노이즈가 많아서 모델이 잘못된 정보를 학습할 수 있음. 입력 문장의 토큰을 무작위로 마스킹하는 방식을 사용하여 학습되었는데, 이는 문장의 일부분만 보고 학습하는 것이기 때문에 전체 문장을 잘 이해하지 못할 수 있음. 임베딩(Embedding): 텍스트 같은 자연어를 수치화(벡.. 이전 1 다음