chatGPT 좀 더 깊게

 

 

트랜스포머 알고리즘	구글 바스바니 엔지니어   자연어처리에 사용함. 언어는 문법이 있고, 순서개념이 있다. 문장이 길면 길수록 어려워진다. 집중알고리즘 attention 순서는 무시한다. 학습 시 단어-단어, 문장-문장 간의 확률을 계산한다. 수천억개의 단어들을 병렬로 학습할 수 있는 알고리즘 인간언어의 확률적인 지도를 만들어 냈다. 전체학습은 1번하고, 이후 개선해나가는 형태임. (문법은 가르치지 않았음)
강화학습	실제로 인건비가 저렴한 저개발 국가에서 실시함. 실제 사람들을 이용하여, 강화학습을 진행함. 실제 인간의 피드백 반영

 

 

학습데이터

가장 많은 학습 데이터가 영어문서 두번째로 많이 학습한게 파이썬코드 학습

 

간단한 문답 테스트 만 하고 있는 수준인데,

사실 스케일을 키워서 생각해보면

=> 지적인 행위도 자동화, 대량생산이 될듯

 

검색 -> 답변

검색을 하면, 유사한 링크를 알려준다. 직접 클릭해서 찾아서

클릭은 광고와 밀접함.

검색의 헤게모니가 무너질 가능성

 

chatGPT의 인프라는 클라우드에서 운영된다

즉, 기존 AWS의 클라우드 헤게모니가 무너질 가능성

 

100% 사실을 말해주지 않는다.

30년간 인간이 기록한 인터넷데이터를 학습했기 때문에,

사실도 있고, 사실이 아닌 내용도 있을 수 있다.