인공지능 관련 특강을 소개하고자 한다. 바로~~~
박태웅 선생님 강의를 추천하고자 한다.
유튜브에서 무료로 볼 수 있다.
대략적인 논점 포인트는 다음과 같다.
Chat GPT 의 이해라는 주제로 말씀을 하신다. 2달만에 1억명을 모았다는 놀라운 사실을 말씀하신다.
그전까지는 인스타그램이 5일만에 백만명을 모아서 놀라웠는데..
Chat GPT 는 무려 2달만에 1억명이라니 다시 봐도 놀라울 따름이다.
그래서인지 Chat GPT 만든 회사는 1.4조에 인수당함 (직원이 열몇명(?)일때)
그리고 지금의 붐을 타임즈는 arms race라고 표현했을까?
아서 찰스 클라크의 3법칙... 충분히 발달한 과학 기술은 마법과 구분할 수 없다.! 라고 하였다
즉, 과학기술이 충분히 어느 도를 넘었을 때 마법과 유사하다..라는 의미로 들린다.
엔비디아는 독점기업.. GPU 그래픽 처리의 특화된 기업이다.
A100 을 10,000대 써서 100일 동안..연산하였음.. 총 연산량은?
학습 연산량이 거의 미친거죠
몬테카를로 알고리즘..
세는 게 빠른 도구이다.
(단순한 막노동을 어마무시한 속도로 한다. )
엄청 무식하게 경사하강법을 쓴다고 한다...
경사 하강법(傾斜下降法, Gradient descent)은 1차 근삿값 발견용 최적화 알고리즘이다. 기본 개념은 함수의 기울기(경사)를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를 때까지 반복시키는 것이다.
사람의 정신으로 하는 일을 기계가 대신하게 해주자...가 인공지능을 쓰는 이유일 것이다.
그리고 전문가시스템과 딥러닝의 차이점도 쉽게 말씀해주신다.
만약 고양이 사진을 가려내라는 것을 한다고 가정해보자.
이 때 전문가 시스템과 딥러닝은 각각 어떻게 움직이나..
딥러닝은 약 15만장의 사진을 넣어놓고 다른점은 니가 찾아라 하는 거다.
여기에서는 가중치를 어떻게 할 때 고양이를 잘 찾아내나를 고민하여 찾는 것이다. 수많은 연산을 통해서 찾는 것이다.
엄청난 가중치의 조합 중에 최적의 조합을 찾는것이다. 그렇게 하다보니 지금은 사람보다 개와 고양이를 잘 구분한다.
하나 문제점은 왜 딥러닝이 잘 맞추는지 설명하기는 어려운게 숙제이다.
XAI ( 설명할 수 있는 AI) 는 중요한 장르이다.
언제 잘 작동하지 않을지도 알수가 없어서 이게 중요한 것이다.
잠재된 패턴을 찾아낸다. (=현대의 인공지능)
수학에서는 무한대의 차원을 계산할 수 있다. 고차원의 연속된 다양체..
우리는 예측을 할 수 있다.
잠시, Chat GPT 를 설명해보자.
Chat = 대화형의 의미다.
G 는 Generative 생성하는... (글, 동영상, 그림 등)
어텐션 모델을 쓰면 ...연산량을 줄일 수 있고 정확성을 훨씬 높일 수 있어요!!
키워드를 저 멀리까지 잘 찾아낸다.
지금 워낙 잘 작동해서 생성형 AI는 다 트랜스포머 모델 쓴다.
다 구글이 만든거다.
사실 자기 모델은 공개하지도 않았음 (제대로 속까지 오픈하지 않음... 바드 라고 한다.)
질의 답변 세트 (높은 품질 문서)를 10만개를 만들어서 얘를 학습을 시킨다. 이게 RLHF 이다..
1~5점까지 점수 매겨서 피드백 함!!
훌륭한 말과 하면 안되는 말을 피드백하는 것이다. (걸러내는 훈련)
Alignment 정렬 <- 인간의 윤리를 학습..
정렬을 시켜서 Chat GPT 가 예의바르게 되었다. (미안하다라는 걸 잘 표현함)
평가자가 많아서 비싼 작업임..
........3.7조원 이라니..
각종 전기료.. 5조개의 문서... 석사급 이상의 인재들을 대량으로 투입해서 질문세트를 만들었고...
아무튼 매우 비싸다...
GPT-4 가 나왔는데 미국의 변호사 시험을 통과한다고 한다.
GPT-4는 매개변수 1.8조개... 대략적으로 2만5천개 A100 을 썼다고 하는데 공개하지는 않음....
GPT-3 보다 당연히 똑똑하다. (얘는 미국 변호사 시험을 하위 10% 통과하는데 비해서...)
* 규모의 법칙 : 1) 컴퓨팅 파워 2)학습 데이터 3) 매개 변수
즉, 이러한 것들을 늘릴 수록 좋아짐!!!!!
지금의 인공지능을 발견한다고 ..설명을 한다... (오 이게 되네? 라는 것에 대해서 더 가깝다 )
GPT-3 는 영어로 질문하면 영어로 답변을 잘 하는데.. 4에서는 언어의 장벽을 깨서 한글에서도 답변을 잘 한다. ^^ 다국어 지원을 잘 한다. 프론트에 25,000 단어 이상 입력이 가능하다. (기존은 3000단어)
심지어 질문을 가지고 학습도 한다. (ICR ~)
멀티모달 : 이미지를 이해하는 기능도 있어, 여러개의 기능이 있으니 멀티모달이라고 한다.
아무쪼록....
너무 재미가 있어서 시간 가는줄 몰랐다.
아래 강의는 시간될 때 보도록 하자.
또 다른 이야기를 해보겠다.
인공지능의 능력이 이미 인간의 능력을 추월한 부분이 있다는 것이다.
Open AI 에서 개발한 Chat GPT 의 독해 및 글쓰기 능력은 이미 인간의 능력을 추월했다.
언어지능 분야에서 이미 AI가 사람을 추월했기 때문에 다른 영역도 더 빠르게 추월할 수가 있다.
그래서 우리 인간이 할 수 있는건 무엇이냐?
인공지능의 빠른 발전이 인간 생활에 방해가 되기 전에 미리 U N 에서 정하든, 법으로 국가별로 막든 해야하는 상황이다.
법+도덕의 테두리 안에서 그들을 잘 통제하여서 AI는 단순히 활용하는 것으로 하여 인간의 모습을 보여줘야 한다.
실제로 올해 6월 기사를 보면 유엔에서 인공지능 규제를 위해 전문기구 나 규약을 추진하고 있다.
https://news.kbs.co.kr/news/pc/view/view.do?ncd=7697829
다만, 국제기구 등이 수십 년 동안 과학과 전문지식을 지닌 인력에 투자를 소홀히 했기 때문에 이 같은 목표가 쉽지 않을 것이라는 견해도 밝혔다.
UN은 과학자 고문을 임명하고 올해 9월에 AI 자문위원회를 만들어 계획을 구체화해나갈 방침이라고 한다.
그럼 오늘은 여기까지 하고 다음 편에 계속 AI 관련 이야기를 이어나가도록 하겠다.
'인공지능' 카테고리의 다른 글
| [인공지능#21]AI특강 3편 (메타, 그리고 여러가지 우려들) (3) | 2023.11.25 |
|---|---|
| [인공지능#20] AI특강 2편 (주제: Chat GPT 이해 feat 박태웅 의장) (1) | 2023.11.25 |
| [인공지능#18]Ameca 로봇이 TV쇼에 나와서 인터뷰를 한다? (30) | 2023.11.18 |
| [인공지능#17] 미국은 다 계획이 있구나..다음 세대 휴머노이드 로봇? (2) | 2023.11.18 |
| [인공지능#16] 테슬라 로봇 지치지 않는다? 그리고 카이스트 비행조종 로봇? (0) | 2023.11.18 |