기계는 왜 학습하는가 AI를 움직이는 우아한 수학

어휴 1달도 넘어서 독후감을 쓰는 것 같다. 그동안 책을 안 읽었나 보다...

중간고사 때문인지 모르겠다. 공부를 해도 성적이 별로고 공부를 안 해도 성적이 별로여서 솔직히 학교 시험을 던질까도 생각 중이다. 나는 O'reilly 책을 읽으면서 공부하는 걸 좋아하는데 슬프게도 그런 식으로 공부를 해서는 학교 시험에서 좋은 점수는 받기는 어렵다. 재미있는 건 몇 년 전 O'reilly 책을 읽기 전 즉 지식이 거의 없는 상태와 O'reilly 책을 틈날 때마다 읽는 지금과 점수 차이는 크지 않다는 것이다. 이제는 그냥 점수는 버리고 하고 싶은 것 위주로 할 예정이다. 

 

이 책은 OpenAI를 만든 사람 중 한 명인 Ilya Sutskeva의 박사과정 지도 교수 Geoffrey Hinton이 추천한 책이다. 사실상 AI 학계와 업계 최정상에 있는 여러 사람들이 좋다고 해서 호다닥 학교 도서관에서 빌려서 봤다. 특히 학교에서 인공지능 수업을 듣고 있는데 학교 슬라이드와 같이 보면 도움이 될 것 같아서 빌렸다. 

 

원서는 이 책이다. 

 

 

기계는 왜 학습하는가

장악했다. AI가 길을 찾아주고, 음악을 추천하고, 그림을 그려주고, 문서를 정리해주는 수준에서 도약하여 정보를 “스스로” 찾아서 알려주고 질문에 “생각해서” 대답하는 수준에 이른 것처럼 보였기 때문이다. 과연 AI는 진짜 생각하는 기계가 된 것인가? AI로 인해서 우리 사회는 어떻게 달라지고, 우리의 삶은 또한 어떻게 될 것인가에 대한 장밋빛 기대와 어두운 우려가 공존하고 있다. 과학저술가 아닐 아난타스와미의 이 책은 오늘날의 AI를 있게 한 알고리즘을 구성

저자

아닐 아난타스와미

출판

까치

출판일

2025.02.28

 

책은 총 12장으로 이루어져 있다. 1장 패턴을 찾고 말 테다, 2장 여기에서 모두가 숫자에 불과하다, 3장 그릇의 바닥, 4장 십중팔구, 5장 유유상종, 6장 행렬에는 마법이 있다, 7장 커널 밧줄 탈출쇼, 8장 물리학의 소소한 도움으로, 9장 심층 학습의 발목을 잡은 사람(실은 아님), 10장 오래된 신화를 깨뜨린 알고리즘, 11장 기계의 눈, 12장 미지의 땅으로 이루어져 있다. 

 

1장은 로젠블렛의 퍼셉트론과 선형 분리 가능한 것(linearly separable)이 뭔지 설명한다. 내적 하고 bias를 더하는 퍼셉트론도 연산도 알려준다. 1장은 크게 어렵지 않다.

 

2장에서는 벡터, scalar, 행렬에 대해서 다룬다. 벡터의 크기, 연산, inner product 등의 계산 방법을 익힌다. 여기서부터 살짝 어려워진다. 

 

3장에서는 버나드 위드로와 마션 호프에 대해서 짧게 언급한 뒤, 미분, gradient, stochastic gradient descent(SGD), global minimum을 찾는 방법, MSE(Mean Squared Error)를 소개한다. 

 

4장에서는 Monty Hall Dilemma를 소개한 후 조건부 확률과 NN(nearest neighbor)에 대해서 설명한다. 개인적으로는 Monty Hall Dilemma가 잘 이해가 가지 않아서 좀 어려웠다. 

 

5장에서는 overfitting, k-NN Algorithm와 PCA를 소개한다. 

 

6장에서는 벡터와 행렬의 관계, 벡터 행렬이 PCA를 하는데 어떻게 사용되는지 설명한다. 벡터, 행렬 공부를 많이 안 해서 그런지 이 부분도 어렵게 느껴졌다. 

 

7장은 이자벨 귀용과 홉필드 망에 대해서 소개하고 kernel function과 kernel trick, SVM을 다룬다. Radial basis function (RBF)도 소개한다. RBF도 7장에서 처음 들어서 굉장히 낯설고 어렵게 느껴졌다.

kernel은 팝콘의 kernel이나 Linux kernel만 알고 있었는데 AI에서도 kernel이 있다는 걸 안 지 얼마 안 돼서 7장은 그냥 이런 게 있구나 하는 정도로 넘어갔다.

 

8장은 신경망을 신경생물학적 관점에서 살펴본다. Hamiltonian이라는 것에 대해서 설명도 한다. 헤브 학습 규칙, 홉필드 망 등 용어 자체가 생소한 것들을 설명해서 이해가 잘 가지를 않았다. 

 

9장은 Backpropagation, sigmoid function, RELU 등을 다룬다. 다행히 이미 어느 정도 어렴풋이 아는 것들이라서 큰 무리 없이 읽을 수 있었다. 

 

10장은 Geoffrey Hinton, Yan Lecun 등 AI 분야에서 유명한 사람들을 조금씩 소개하고 Backpropagation을 수식으로 증명한다. 수식이 너무 복잡해서 솔직히 잘 이해가 가지는 않았다. 

 

11장은 신경생리학자인 데이비드 허블과 토르스텐 비셀의 연구도 소개하는 것을 시작으로 Yan Lecun과 CNN, Neocognitron, LeNet 등을 다룬다. 특히 CNN에서 convolution을 하는 방법과 stride, kernel, pooling, max pooling도 소개한다.

 

12장은 GPT(Generative Pretrained Transformer)를 비롯한 Transformer, Kaiming He의 masked auto encoder(MAE) 등 최신 ML에 대해서 다룬다. 

 

솔직히 책을 다 읽기는 했지만 책의 몇 퍼센트 정도를 이해했냐고 물어보면 50%도 안 되는 것 같다. 한 30~40% 정도...

1~12장을 소개하는 부분에서 잘 이해가 가지 않았다는 말만 엄청 많은 것 같다. ㅋㅋ

 

이전까지는 AI 분야에서 아주 유명한 사람들 Ilya Sutskeva, Geoffrey Hinton, Alec Radford 정도만 알았다면 Isabelle Guyon, George Cybenko 등 AI 공부를 어느 정도 해야지만 알 수 있는 사람들과 그 사람들에 업적에 대해서 배울 수 있었다. 

 

AI를 처음 공부하는 사람에게는 이 책을 추천하지 않는다. 나의 경우 AI 공부는 거의 한 적이 없지만 나름 AI 책들을 읽으려고 하는 입장임에도 불구하고 굉장히 어렵게 느껴졌다. 특히 (수학) 수식적으로 AI를 접근한 적이 없는 사람들에게는 읽는데 많이 힘든 경험이 될 거라고 장담할 수 있다. 그럼에도 불구하고 AI 분야에 전문가가 되고 싶거나 깊게 공부하고 싶은 사람들에게는 추천할 만한 책이라고 생각한다. 

 

나는 대부분의 사람들이 사실 AI 공부를 하면 안 된다는 입장이다. 뭐랄까 기초도 별로 안 되어있는데 응용만 하려고 하는 느낌이 너무 강하다. 특히 나를 포함한 대부분의 학부생들이 그렇다. 그럼에도 불구하고 많은 사람들이 AI 공부를 하고 있다. 

 

학부생임에도 불구하고 AI를 체계적으로 공부하고 싶다면 3blue1brown의 Neural Network playlist를 보는 것으로 시작하는 것을 추천한다. 너무 기초적이지도 않고, 수학(수식) 없이 설명하는 것도 아니고 Grant Sanderson이 manim을 이용해서 시, 청각적으로 지식을 전달하기 때문에 AI 학습에 좋은 출발점이 된다고 생각한다. 이 외에도 다양한 AI 원서들을 읽으면서 실력을 쌓으면 좋을 것 같다. 

 

 

https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi