[69] 스케일링 법칙의 종말?

[김대식의 미래 사피엔스]

[69] 스케일링 법칙의 종말?

김대식 카이스트 교수

입력 2024.12.02. 23:54

 

 

일러스트=조선디자인랩·Midjourney

생성형 인공지능에는 ‘스케일링 법칙’이라는 게 있다. 사실 ‘법칙’이 아닌 알고리즘 자체의 개선보다 학습에 사용된 데이터 규모, 그리고 거대 언어 모델의 변수 개수가 성능 향상에 훨씬 큰 영향을 준다는 경험을 통한 ‘관찰’이라는 단어가 더 적절하겠다.

사실 이해하기 어려운 ‘법칙’이다. 단순히 더 많은 부품을 사용한다 해서 더 좋은 자동차나 비행기가 갑자기 등장하지는 않는다. 더 좋은 기계가 나오려면 더 뛰어난 설계와 방식이 당연히 필요하겠다. 하지만 생성형 인공지능만은 다르다. 알고리즘과 구조가 거의 같지만, 모델을 키우기만 하면 더 좋은 결과를 얻을 수 있다. 더구나 단순히 성능만 개선되는 게 아니라, 그 전까지 없던 새로운 기능 역시도 가능해질 수 있다.

단순한 것들이 합쳐지면 예측하기 어렵고 복잡한 일이 벌어지는 현상을 우리는 보통 ‘창발적’ 특성이라고 부른다. 개미 한 마리는 단순하다. 하지만 개미 100마리가 모이면 다리를 지울 수 있다. 신경세포 하나로는 할 수 있는 게 거의 없지만, 뇌 속 수십 조 신경세포들은 ‘감정’ ‘자아’ 그리고 ‘자유의지’까지도 가능하게 한다.

 

그렇다면 이제 질문할 수 있겠다. 생성형 인공지능이 앞으로도 계속 스케일링 법칙을 따른다면, 창발적 특성 덕분에 인간의 능력을 뛰어넘는 지능과 자아, 그리고 자유의지까지 등장할 수 있지 않을까? 많은 SF 영화의 단골 주제이자, 실리콘밸리 빅테크들의 미래 비전이기도 하다.

그런데 최근 스케일링 법칙에 문제가 생겼다. 기존 언어 모델 GPT4보다 커진 GPT5를 학습시키는 과정에서 기대했던 만큼 성능 개선이 없었기 때문이다. 그렇다면 더 이상 생성형 인공지능 모델을 키울 필요가 없다는 말일까? 그렇지는 않을 것이다. 하지만 인간의 능력을 모든 면에서 뛰어넘는 AGI(범용적 인공지능)를 만들기 위해서는 단순히 GPU를 더 쓴 큰 모델보다, 효율적인 학습 알고리즘 역시 필수적일 거라는 말이겠다.