M3칩 2023년 10월

10코어 GPU가 탑재 ( M1 대비 65% 향상된 그래픽 성능)

3나노미터(nm) 공정 기술로 제작된 최초의 PC용 칩
차세대 GPU 및 다이내믹 캐싱(Dynamic Caching) 기술이 적용

GPU 성능은 정확히 공개안함. 아래 챠트만 보여줌

M1 최대 2.6 TFLOPS(테라플롭스) 
M2 최대 3.6 TFLOPS(테라플롭스)

그럼 M3는 최소 5 TFLOPS(테라플롭스) 인가?

그렇다면 엔비디아/AMD 그래픽카드보다는 아직... 멀었음.

M1의 옥타-코어 GPU 스펙
- PC 시장에서 첫 5nm 제조공정 칩

- 25,000개의 스레드를 동시 실행

- 최대 2.6 TFLOPS(테라플롭스) 그래픽 처리
- 메모리 대역폭은 68GB/sec

 M2 칩, 2022년 6월 발표

5nm 프로세스 노드 기반

GPU 성능은 3.6 TFLOPS(테라플롭스)

아직, 게이밍용 dGPU만한 성능까지는 아니다??

엔비디아 RTX 3050

단정밀도 부동 소수점 연산 FP32 처리 능력은 9 TFLOPS (테라플롭스)

AMD RX6600은 8.9 TFLOPS (테라플롭스)

애플 최초 PC용 자체 설계 칩의 첫번째 시리즈 M1


GPU가 들어있는 M1칩의 성능이 궁금하여 차아보니

'Tom's Hardware' 벤치마크 결과

애플의 M1 프로세서가 아래 GPU카드 보다 앞섬.

엔비디아 지포스(Nvidia GeForce) GTX 1050 Ti

AMD 라데온(Radeon) RX 560

M1의 옥타-코어 GPU 스펙

- 25,000개의 스레드를 동시 실행

- 최대 2.6 TFLOPS(테라플롭스) 그래픽 처리 

GFXBench 5.0 벤치마크는 애플의 메탈 API로 테스트

모바일 단말기에서 주로 사용되는 GFXBench 5.0 벤치마크

지포스 GTX 1050 Ti와 라데온 RX 560은 구형/저가형 GPU임

원문: 'MacRumors'

Cognitive Search

전체텍스트검색	Lucene 사용 제품코드, 전문용어, 사람이름, 날짜 등은 더 잘됨.   Lucene 쿼리 실행의 4단계 -쿼리 구문 분석 -어휘 분석 -문서 일치 -점수 매기기 “searchMode=all”  검색쿼리 각각 AND 연산 “searchMode=any” 쌍따옴표만 AND연산
벡터검색	Preview, 텍스트 뿐 아니라 다양한 데이터포맷 지원 즉, 다중모달검색 기능
하이브리드검색	텍스트검색 + 벡터검색 텍스트검색 장점은 정확도 벡터검색 장점은, 일치하는 키워드가 없음에도, 유사한정보를 찾아준다.
RAG 검색증강 세대	요즘 챗봇 일반적인 패턴 1차로 Cogsearch 등에서 관련정보를 찾는다, 검색결과 중에 순위가 높은 것들을 LLM에게 보내준다. (프롬프트 엔지니어링) 해당 데이터에 기반하여, 응답을 생성한다 LLM이 될수도 있고, 다른 ML모델이 그 역할을 할수있다.

일단 벡터 자체가 속도가 빠르다.

다양한 각도, 관점에서 비교하여 찾을 수 있다.

다양한 유사성 측정

단어와 문장간의 상대적 위치도 하나의 팩터가 됨.

사과와 배는 가까운 곳에 있다?

일부만 다른 벡터는 같다? 오타처리?

워드넷 : 단어간의 의미관계, 유사성정보 제공

동의의사전

검색서비스 내에, 문맥 및 의미를 분석하여 유사성확인하는 기능이  알고리즘에 들어가 있다.

Azure 내에 대표적인 벡터검색 서비스는 Azure cognitive search

Artificial Intelligence for Beginners

https://github.com/microsoft/AI-For-Beginners

Artificial Intelligence for Beginners

GPT는 인간의 언어 자체를 잘아는 것은 아니다.
인간의 언어/지식을 벡터화하여 숫자 형태로 미리 학습을 한것.
인간의 뇌구조와 유사하게 (뉴런-신경전달물질 전달 등)
(인간의 언어는 유한하므로, 단어 혹은 단어보다 더 작은 단위(토큰)에 숫자를 붙여서,
그 숫자들을 이용하여, 연산하여 학습하거나 활용하는 것)

마찬가지로 이미지도 벡터화하여 숫자형태로 본다.
비전서비스, 분류서비스 에도
원본이미지의 특성추출, 조합, 추출, 조합과정을 거쳐서 최소의 벡터값을 추린 뒤 분류연산에 활용하는 구조?

즉, 할 수 있는 일들도 그러한 측면에서 한정적이다.

자연어처리 ?  대화의 문맥을 유사도측면에서 파악하여, 가장 적절한 언어문장 조합을 뱉어내어주는 원리

유사도 측정
즉, 질문의 가장 유사한? 적합한 데이터를 찾아 주는 것

요약
요약도, 벡터화하여 관련성 등등 고려하여, 요약하는 작업을 해주는것
당연히 컴퓨터이고 컴퓨팅 파워가 매우 높으니, 세세한 작업자체를 빠르고 대량으로 돌려버리는 것

기존에 알고 있을 법한 내용 작성
특정 목적의 특정 포맷 메일 작성하기 (텍스트 작성하기)
여러가지 상황 조건에 대한 메일 작성하기(텍스트 작성하기)

BM발굴 시에도 도움됨.
뭐뭐뭐 사업 관련  BM발굴 초안을 작성해죠

법적문서검토
기존 문제가 되는 유형을 잘알고 있을까?
문제가 되는 유형을 알려주고?
문제가 되는 유형과 비슷한 벡터값의 문장들을 찾아서 요약해죠 하면 될라나

공공기관, 규제문서(대량의)
관련 검토 요청
위와 같은 패턴으로? 

임베딩은 텍스트 데이터를 수치 벡터로 변환하는 과정 혹은 
단어나 문장의 의미와 특성을 반영한 벡터 표현자체를 말함.
숫자로 된 벡터구조

심층 신경망 기반의 모델
Word2Vec, GloVe, FastText, BERT 등 알고리즘을 이용하여 만듬
TensorFlow, PyTorch, Keras 등을 사용

그러나, 제공되는지는 데이터가 많다고함?

chatGPT에게 임베딩 벡터데이터를 넘겨줄 수는 없음.
GPT도 내부적으로 요청받은 데이터 및 처리하는 데이터는 임베딩처리하여 돌아가는것일뿐.

https://lsjsj92.tistory.com/657

예시를 보면, 영화추천서비스 인데,

GPT가 하는 일은 질문에 대한 자연어처리와, 답변에 대한 자연어처리다.
핵심로직은, 개발을 해야됨.
기존 영화추천데이터를 다운받아 벡터화하고
사용자의 질문을 벡터화하여, 두개 간의 유사도를 측정하는 로직

아래와 같은 로직에 임베딩(벡터구조) 활용가능함.

1. 문장 유사도 측정: 임베딩은 문장 간의 의미적 유사도를 측정하는 데 사용됩니다. 임베딩 공간에서 문장 간의 거리 또는 유사도를 계산하여 문장 유사도를 판단할 수 있습니다. 이를 활용하여 문서의 중복 검사, 검색 엔진의 쿼리-문서 매칭, 문장 단위 기계 번역 등에 사용될 수 있습니다.
2. 단어 간 의미 유사도 계산: 임베딩은 단어 간의 의미적 유사도를 계산하는 데 사용됩니다. 단어의 임베딩 벡터 간의 거리 또는 유사도를 계산하여 단어 간의 관련성을 판단할 수 있습니다. 이를 활용하여 단어의 클러스터링, 유사한 단어 찾기, 단어 간 유추 작업 등에 사용될 수 있습니다.
3. 감성 분석: 임베딩은 텍스트의 감성을 분석하는 데 사용될 수 있습니다. 감성 단어의 임베딩을 활용하여 텍스트의 긍정적 또는 부정적인 감성을 판단하고 감성 점수를 계산할 수 있습니다. 이를 활용하여 소셜 미디어 감성 분석, 제품 리뷰 분석, 사용자의 감성 분류 등에 사용될 수 있습니다.
4. 문서 분류 및 클러스터링: 임베딩은 텍스트 문서를 분류하거나 클러스터링하는 데 사용됩니다. 문서의 임베딩 벡터를 계산한 후, 벡터 간의 거리 또는 유사도를 기반으로 문서들을 분류하거나 클러스터링할 수 있습니다. 이를 활용하여 뉴스 기사 분류, 토픽 모델링, 사용자 리뷰 분석 등에 사용될 수 있습니다.