대규모 언어 모델

언어 모델이란 무엇인가요?

언어 모델은 더 긴 토큰 시퀀스 내에 토큰 또는 토큰 시퀀스가 발생할 확률을 추정합니다. 토큰은 단어, 하위 단어(단어의 하위 집합), 단일 문자일 수 있습니다.

다음 문장과 이 문장을 완성할 수 있는 토큰을 생각해 보세요.

 When I hear rain on my roof, I _______ in my kitchen. 

언어 모델은 빈칸을 채우는 데 사용될 수 있는 다양한 토큰 또는 토큰 시퀀스의 확률을 결정합니다. 예를 들어 확률 테이블은 가능한 토큰과 그 확률을 식별합니다.

어떤 상황에서는 토큰의 시퀀스가 한 문장의 전체 문장이 될 수 있습니다. 단락 또는 에세이 전체의 내용이 포함됩니다.

애플리케이션은 확률 표를 사용하여 예측할 수 있습니다. 예측은 가장 높은 확률(예: 'cook soup')일 수도 있고 특정 임곗값보다 높은 확률을 가진 토큰 중에서 무작위로 선택된 토큰일 수도 있습니다.

텍스트 시퀀스에서 빈칸을 채울 확률을 추정하면 다음과 같은 보다 복잡한 작업으로도 확장됩니다.

• 텍스트를 생성하는 중입니다.
• 텍스트를 한 언어에서 다른 언어로 번역
• 문서 요약

토큰의 통계적 패턴을 모델링함으로써 최신 언어 모델은 매우 강력한 언어 내부 표현을 생성하고 이를 통해 있습니다.

N-gram 언어 모델

N-그램은 언어 모델을 만드는 데 사용되는 단어의 순서가 지정된 시퀀스입니다. 여기서 N은 시퀀스의 단어 수입니다. 예를 들어 N이 2인 경우 N-그램은 2-그램(또는 빅그램)이라고 합니다. N이 5인 경우 N-그램은 5-그램이라고 합니다. 학습 문서에 다음과 같은 문구가 있습니다.

 you are very nice 

그 결과 2-그램은 다음과 같습니다.

• 나는
• 매우
• 대단하다

N이 3인 경우 N-그램을 3-그램(또는 트라이그램)이라고 합니다. 같은 구문에서 결과 3-그램은 다음과 같습니다.

• 넌 정말
• 진짜 친절해

두 단어가 입력으로 주어지면 3-그램을 기반으로 하는 언어 모델은 확률을 평가합니다. 예를 들어 다음 두 단어가 있다고 가정해 보겠습니다.

 orange is 

언어 모델은 학습에서 파생된 다양한 3-그램을 모두 검사함 orange is로 시작하는 코퍼스의 조합을 사용하여 가능성이 가장 높은 세 번째 단어를 결정합니다. 수백 개의 3-그램이 orange is라는 두 단어로 시작할 수 있지만, 다음 두 가지 가능성에만 집중하세요.

 orange is ripe orange is cheerful 

첫 번째 가능성 (orange is ripe)은 과일 주황색에 관한 것이고 두 번째 가능성 (orange is cheerful)은 색상에 관한 것입니다. 주황색입니다.

컨텍스트

인간은 비교적 긴 맥락을 유지할 수 있습니다. 연극의 3막을 시청하는 동안 1막에서 소개된 캐릭터에 관한 지식을 유지합니다. 마찬가지로 장황한 농담을 보내면 맥락을 기억할 수 있어 웃음을 자아냅니다. 장난이 아니더라도 말이죠.

언어 모델에서는 컨텍스트가 대상 토큰입니다. 컨텍스트는 언어 모델이 '주황색'인지 여부를 판단하는 데 감귤류 과일 또는 색상을 나타냅니다.

문맥은 언어 모델이 더 나은 예측을 하는 데 도움이 될 수 있지만 3-gram은 충분한 문맥을 제공하나요? 안타깝게도 3-그램의 유일한 컨텍스트는 첫 두 단어입니다 예를 들어 orange is라는 두 단어는 언어 모델이 세 번째 단어를 예측하기에 충분한 컨텍스트를 제공하지 않습니다. 3-그램을 기반으로 하는 언어 모델은 컨텍스트의 부족으로 인해 많은 실수를 합니다.

긴 N-그램은 짧은 N-그램보다 더 많은 맥락을 제공합니다. 그러나 N이 커질수록 각 인스턴스의 상대적 발생 횟수는 감소합니다. N이 매우 커지면 언어 모델에는 일반적으로 N 토큰이 각 발생마다 단일 인스턴스만 있으므로 타겟 토큰을 예측하는 데 큰 도움이 되지 않습니다.

순환 신경망(RNN)

순환 신경망은 N-그램보다 더 많은 컨텍스트를 제공합니다. 순환 신경망은 신경망의 학습합니다. 예를 들어 순환 신경망은 각 단어에서 선택된 컨텍스트를 점진적으로 학습하고 이를 무시하는 방법을 학습하게 됨 문장을 만듭니다. 대규모 순환 신경망은 여러 개의 문장에서 컨텍스트를 획득할 수 있음 학습합니다.

순환 신경망은 N-그램보다 더 많은 컨텍스트를 학습하지만 반복 신경망이 직관적으로 이해할 수 있는 것은 제한됩니다. 순환 신경망은 '토큰별로' 정보를 평가합니다. 이와 대조적으로 대규모 언어 모델은 섹션 - 전체 맥락을 한 번에 평가할 수 있습니다.

긴 컨텍스트에 대해 순환 신경망을 학습시키는 것은 소실 경사 문제에 대해 자세히 알아보세요.

연습문제: 학습 내용 점검하기