GPT - 임베딩에 관하여

임베딩은 텍스트 데이터를 수치 벡터로 변환하는 과정 혹은 
단어나 문장의 의미와 특성을 반영한 벡터 표현자체를 말함.
숫자로 된 벡터구조

심층 신경망 기반의 모델
Word2Vec, GloVe, FastText, BERT 등 알고리즘을 이용하여 만듬
TensorFlow, PyTorch, Keras 등을 사용

그러나, 제공되는지는 데이터가 많다고함?

chatGPT에게 임베딩 벡터데이터를 넘겨줄 수는 없음.
GPT도 내부적으로 요청받은 데이터 및 처리하는 데이터는 임베딩처리하여 돌아가는것일뿐.

https://lsjsj92.tistory.com/657

OpenAI ChatGPT API를 활용해 추천 시스템 구현하기(feat. HuggingFace)

예시를 보면, 영화추천서비스 인데,

GPT가 하는 일은 질문에 대한 자연어처리와, 답변에 대한 자연어처리다.
핵심로직은, 개발을 해야됨.
기존 영화추천데이터를 다운받아 벡터화하고
사용자의 질문을 벡터화하여, 두개 간의 유사도를 측정하는 로직

 

아래와 같은 로직에 임베딩(벡터구조) 활용가능함.

1. 문장 유사도 측정: 임베딩은 문장 간의 의미적 유사도를 측정하는 데 사용됩니다. 임베딩 공간에서 문장 간의 거리 또는 유사도를 계산하여 문장 유사도를 판단할 수 있습니다. 이를 활용하여 문서의 중복 검사, 검색 엔진의 쿼리-문서 매칭, 문장 단위 기계 번역 등에 사용될 수 있습니다.
2. 단어 간 의미 유사도 계산: 임베딩은 단어 간의 의미적 유사도를 계산하는 데 사용됩니다. 단어의 임베딩 벡터 간의 거리 또는 유사도를 계산하여 단어 간의 관련성을 판단할 수 있습니다. 이를 활용하여 단어의 클러스터링, 유사한 단어 찾기, 단어 간 유추 작업 등에 사용될 수 있습니다.
3. 감성 분석: 임베딩은 텍스트의 감성을 분석하는 데 사용될 수 있습니다. 감성 단어의 임베딩을 활용하여 텍스트의 긍정적 또는 부정적인 감성을 판단하고 감성 점수를 계산할 수 있습니다. 이를 활용하여 소셜 미디어 감성 분석, 제품 리뷰 분석, 사용자의 감성 분류 등에 사용될 수 있습니다.
4. 문서 분류 및 클러스터링: 임베딩은 텍스트 문서를 분류하거나 클러스터링하는 데 사용됩니다. 문서의 임베딩 벡터를 계산한 후, 벡터 간의 거리 또는 유사도를 기반으로 문서들을 분류하거나 클러스터링할 수 있습니다. 이를 활용하여 뉴스 기사 분류, 토픽 모델링, 사용자 리뷰 분석 등에 사용될 수 있습니다.