클로즈 태스크(Cloze task)는 문장에서 일부를 제거하고, 선택지 안에 있는 필러(Filler) 중 누락된 부분에 적합한 필러를 찾는 작업이다. 언어 모델은 사람처럼 배경 지식을 알기 어렵고, 입력의 표면적인 단서로 정답을 유추하기 때문에 이런 작업에 어려움을 보인다. 따라서 본 논문은 이런 문제점을 완화하고, 목표 작업의 성능을 높이기 위해 멀티태스크 학습(Multi-task learning)을 통하여 언어 모델에 어휘 정보와 상식 정보를 반영하는 방법을 제안한다. 정량적 성능 평가를 위해 클로즈 태스크가 확장된 SemEval-2022 task 7의 검증 데이터셋을 사용했고, 기본 모델과 비교하여 0.52%p~4.47%p의 성능 향상을 보였다.