본문 바로가기

[NLP]

[NLP] 2023. 3. 27. [NLP] 한국어 전처리 패키지 앞서 소개한 형태소와 문장 토크나이징 도구들인 koNLPy와 KSS와 함께 유용하게 사용할 수 있는 패키지 들입니다. 1. PyKoSpacing pip install git+https://github.com/haven-jeon/PyKoSpacing.git GitHub - haven-jeon/PyKoSpacing: Automatic Korean word spacing with Python Automatic Korean word spacing with Python . Contribute to haven-jeon/PyKoSpacing development by creating an account on GitHub. github.com 전희원님이 개발한 띄어쓰기가 되어 있지 않은 문장을 띄어쓰기를 한 문장으로 ..
[NLP] 2023. 3. 27. [NLP] 원-핫 인코딩 컴퓨터 또는 기계는 문자보다 숫자를 더 잘 처리할 수 있기 때문에 문자를 숫자로 바꾸는 여러가지 기법에 대해 알아보겠습니다. 원-핫 인코딩(One-Hot-Encoding)은 단어를 표현하는 가장 기본적인 표현 방법입니다. 단어 집합의 크기를 벡터의 차원으로 하고, 표현하고 싶은 단어의 인덱스에 1의 값을 부여하고, 다른 인덱스에는 0을 부여하는 단어의 벡터 표현 방식입니다. 이렇게 표현된 벡터를 원-핫 벡터(One-Hot vector)라고 합니다. 단어 집합은 서로 다른 단어들의 집합입니다. - 중복 x 원-핫 인코딩을 하기 위해 단어집합을 만드는 일이 우선인데 이 단어 집합에 고유한 정수르르 부여하는 정수 인코딩이 있습니다. 원-핫 인코딩을 두 가지 과정으로 정리 첫째, 정수 인코딩을 수행합니다. 다시..
[NLP] 2023. 3. 27. [NLP] 패딩(padding) 자연어 처리를 하다보면 각 문장은 서로 길이가 다를 수 있습니다. 그런데 기계는 길이가 전부 동일한 문서들에 대해서는 하나의 행렬로 보고, 한번에 묶어서 처리할 수 있습니다. 다시말해 병렬 연산을 위해서 여러 문장의 길이를 임의로 동일하게 맞춰주는 작업이 필요할 때가 있습니다. 1. 케라스 전처리 도구로 패딩하기 케라스는 pad_sequences()를 제공하고 있습니다. from tensorflow.keras.preprocessing.sequence import pad_sequences 기본적으로 문서의 뒤에 0을 채우는 것이 아니라 앞에 0을 채우는데 반대로 하고 싶다면 인자로 padding='post'를 주면 됩니다. 가장 긴 길이의 문서를 기준으로 패딩한다고 가정하기도 하지만, 실제로는 꼭 가장 긴..
[NLP] 2023. 3. 27. [NLP] 정수 인코딩 컴퓨터는 텍스트보다는 숫자를 좀더 잘 처리할 수 있습니다. 이를 위해 자연어 처리에서는 텍스트를 숫자로 바꾸는 여러가지 기법들이 있습니다. 첫 단계로 각 단어를 정수에 맵핑시키는 전처리 작업이 필요할 때가 있습니다. 1. 정수 인코딩(Integer Encoding) 단어에 정수를 부여하는 방법 중 하나의 단어를 빈도수 순으로 정렬한 단어 집합을 만들고 빈도수가 높은 순서대로 정수를 부여하는 방법이 있습니다. 1) dictionary 사용하기 from nltk.tokenize import sent_tokenize # 문장으로 쪼개주는 작업 from nltk.tokenize import word_tokenize # 단어으로 쪼개주는 작업 from nltk.corpus import stopwords # 불용어..
[NLP] 2023. 3. 27. [NLP] 정규 표현식(Regular Expression) 텍스트 전처리에서 정규 표현식은 아주 유용한 도구입니다. 정규 표현식 모듈 re와 NLTK를 통한 정규 표현식을 이용한 토큰화에 대해 설명하겠습니다. 1. 정규 표현식 문법과 모듈 함수 1) 정규 표현식 문법 특수 문자 설명 . 한 개의 임의의 문자를 나타냅니다. (줄바꿈 문자인 \n는 제외) ? 앞의 문자가 존재할 수도 있고, 존재하지 않을 수도 있습니다. (문자가 0개 또는 1개) * 앞의 문자가 무한개로 존재할 수도 있고, 존재하지 않을 수도 있습니다. (문자가 0개 이상) + 앞의 문자가 최소 한 개 이상 존재합니다. (문자가 1개 이상) ^ 뒤의 문자열로 문자열이 시작됩니다. $ 앞의 문자열로 문자열이 끝납니다. {숫자} 숫자만큼 반복합니다. {숫자1, 숫자2} 숫자1 이상 숫자2 이하만큼 반복..
[NLP] 2023. 3. 27. [NLP] 표제어 추출 and 어간 추출 정규화 기법 중 코퍼스에 있는 단어의 개수를 줄일 수 잇는 기법인 표제어 추출(lemmatization)과 어간 추출(stemming) 이 두 작업이 갖고 있는 의미는 눈으로 봤을 때는 서로 다른 단어들이지만, 하나의 단어로 일반화 시킬 수 있다면 하나의 단어로 일반화 시켜서 문서 내의 단어 수를 줄이겠다는 것입니다. 이러한 자연어처리의 지향점은 언제나 갖고 있는 코퍼스로부터 복잡성을 줄이는 일입니다. 1. 표제어 추출(Lemmatization) 표제어는 한글로는 표제어, 기본 사전형 단어 정도의 의미를 갖습니다. 표제어추출은 단어들로부터 표제어를 찾아가는 과정이며, 그 뿌리 단어를 찾아가서 단어의 개수를 줄일 수 있는지 판단합니다. am, are, is는 서로 다른 스펠링이지만 그 뿌리 단어는 be라고..
[NLP] 2023. 3. 27. [NLP] 불용어(Stopword) 불용어란 갖고 있는 데이터에서 유의미한 단어 토큰만을 선별하기 위해 큰 의미가 없는 단어 토큰을 제거하는 작업입니다. 개발자가 직접 정의할 수도 있지만, 영어 문장에서 NLTK가 정의한 영어 불용어를 제거할 수 있습니다. from nltk.corpus import stopwords from nltk.tokenize import word_tokenize from konlpy.tag import Okt import nltk nltk.download('stopwords') 1. NLTK에서 불용어 확인하기 stop_words_list = stopwords.words('english') print('불용어 개수 :', len(stop_words_list)) print('불용어 10개 출력 :',stop_word..
[NLP] 2023. 3. 27. [NLP] 정제 및 정규화 텍스트 데이터를 용도에 맞게 정제 및 정규화하는 일이 항상 함께합니다. 정제(cleaning): 갖고 있는 코퍼스로 부터 노이즈 데이터를 제거한다. 정규화(normalization): 표현 방법이 다른 단어들을 통합시켜서 같은 단어로 만들어준다. 정제 작업은 토큰화 작업에 방해가 되는 부분들을 배제시키고, 토큰화 작업을 수행하기 위해서 먼저 이루어 지기도 하지만, 여전히 남아있는 노이즈들을 제거하기 위해 지속적으로 이루어지기도 합니다. 완벽한 정제작업은 사실 어려운편이라, 일종의 합의점을 찾아야합니다. 1. 규칙에 기반한 표기가 다른 단어들의 통합 USA와 US는 같은 의미를 가지므로 하나의 단어로 정규화해볼 수 있습니다. 뒤에서 표기가 다른 단어들을 통합하는 방법인 어간추출과 표제어추출에 대해 알아보겠..
[NLP] 2023. 3. 27. [NLP] Tokenization 토큰화 자연어 처리에서 크롤링 등으로 얻어낸 코퍼스 데이터가 필요에 맞게 전처리되지 않은 상태라면, 해당 데이터를 사용하고자 하는 용도에 맞게 토큰화&정제&정규화하는 일을 하게 됩니다. 주어진 코퍼스에서 토큰이라 불리는 단위로 나누는 작업을 토큰화라고 합니다. 1. 단어 토큰화(Word Tokenization) 토큰의 기준을 단어(word)로 하는 경우, 단어 토큰화(word tokenization)라고 합니다. 다만, 여기서 단어(word)는 단어 단위 외에도 단어구, 의미를 갖는 문자열로도 간주되기도 합니다. 보통 토큰화 작업은 단순히 구두점이나 특수문자를 전부 제거하는 정제(cleaning) 작업을 수행하는 것만으로 해결되지 않습니다. 구두점이나 특수문자를 전부 제거하면 토큰이 의미를 잃어버리는 경우가 발..

티스토리툴바