공학작문발표 과제 - AI 언어학습은 어떻게 이루어지나?
AI 언어학습은 어떻게 이루어지나?
정보컴퓨터공학부 202155581 이수빈
이 글을 왜 선택했는지(계기)
최근에는 AI가 다양한 분야에서 쓰이고 있습니다. 하지만 개인적으로 자주 사용하는 AI는 생성형 인공지능 ChatGPT 뿐이였고 대량의 정보를 학습하는 정도만 알고 있었습니다. 그러던 어느 날, 가수 Dean을 좋아하는 저에게 Youtube 알고리즘이 저에게 “DEAN(딘) x NewJeans(뉴진스) - Hype Boy (A.I. cover)”1 노래를 추천해 줬습니다.
이전에도 AI가 특정 가수분의 음성을 학습해 노래를 부르는 동영상은 많았습니다. 하지만 고음역대로 가면 일명 삑사리가 자주 나고 부드럽지 못한 경우가 대부분이여서 듣고나면 피식 웃고 넘겼습니다. 이번에도 똑같겠지 하면서 들어봤는데 정말 부드럽고 가수 딘 본인이 부르고 AI라고 속이고 있는 게 아닌가 싶을 정도로 완벽했습니다. 후에 이 동영상을 본 가수 딘은 정말 놀라워했고 AI 딘에게 많은 관심을 가져달라고 말했습니다.
이 정도로 발전한 AI가 어떻게 인간의 음성을 인식하고 학습하는지에 대해서 무척이나 궁금해졌습니다.
푸리에 변환
푸리에 변환(Fourier transform)은 시간이나 공간에 대한 함수를 시간 또는 공간 주파수 성분으로 분해하는 변환을 말한다.2
인간이나 기계는 정제하지 않은 음성 파형을 보면 어떤 말을 하는지 알 수 없습니다. 기계에게 음성을 학습시키기 위해서는 위에서 정의한 푸리에 변환을 이용해야 합니다. 시간에 대한 함수를 푸리에 변환했을 때 크기와 주파수 성분을 추출할 수 있고 이를 통해 음성 정보를 수학적으로 모델링할 수 있습니다.
MFCC
멜 주파수 켑스트럴 계수(MFCC)는 음성 인식에 널리 사용되는 특징 벡터 중 하나입니다. 위에서 본 음성 파형을 푸리에 변환으로 추출한 정보는 아래와 같습니다.
“헤이 카카오”를 말했을 때 모음(e, i, a, o) 부분에서 주파수 대역이 짧고 크기가 높은 것을 확인할 수 있고 반대로 자음(h, k) 부분에서는 주파수 대역이 길고 크기가 낮은 것을 확인할 수 있습니다. 모음 영역은 시간대비 빨리 변하고 자음 영역은 시간 대비 느리게 변하는 특징을 통해서 특징 벡터를 추출하고 깊은 신경망(Deep Neural Network)를 적용해 AI에게 음성을 가르칠 수 있습니다.
마치며
위에서 알아본 푸리에 변환과 MFCC, 깊은 신경망을 활용해서 AI에게 음성을 가르칠 수 있습니다. 이렇게 학습한 “음성”과 가수의 “음색”을 적용시켜 AI Cover 노래를 만들 수 있습니다.
다만, AI에게 항상 따라오는 모방과 표절 문제에 대한 문제가 있습니다. 저 같이 특정 가수를 좋아하는 팬들은 AI 기술을 좋아할 것이고, 가수는 자신의 저작물을 무단으로 학습해 저작권을 침해하는 AI 기술을 싫어할 것입니다. 개인적인 의견으로는 이러한 AI 기술의 발전도 좋지만 관련된 법안을 빨리 완성하는 것이 최우선시되어야 한다고 생각합니다. 언제가는 해결해야 할 문제를 계속 미뤄 나중에 해결할 수 없는 큰 문제가 되어서는 안 됩니다.
참고
[1] URL: https://www.youtube.com/watch?v=5tcBJCouOmE
[2] URL: https://ko.wikipedia.org/wiki/%ED%91%B8%EB%A6%AC%EC%97%90_%EB%B3%80%ED%99%98
[3] URL: https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fc5YNer%2FbtqFHpr5Oab%2F5etnHpALQL5pE9CFqjXOX0%2Fimg.png
[4] URL: https://img1.daumcdn.net/thumb/R1280x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdn%2Fc3JLpX%2FbtqDF1AlDsv%2FSWKIzq2gKFHIqNQHEa66R0%2Fimg.png