Princeton Undergrad Створює Google Deepjazz А.Г. Music Maker

Джи-Сунг Кім проводив ранні ранкові години перших вихідних квітня, які прошивали на кофеїні і кодували на своєму комп'ютері, коли він розробляв глибокий музичний генератор deepjazz. 20-річний студент-референт з комп'ютерних наук Прінстона мав лише 36 годин, щоб завершити глибокий жас під час свого першого хакатона, HackPrinceton, який відбувся 1-3 квітня в університеті. Після завершення марафону кодування він створив веб-сайт для deepjazz і розмістив вихідний код на GitHub.

Проте, з подивом Кіма, програма знялася. Deepjazz стабільно розвивається на Python та GitHub - досягаючи найвищої, як у середині програми, GitHub в цілому. Він був навіть показаний на титульній сторінці HackerNews і все ще викликає жваву дискусію.

"Я ніколи не очікував, що мій перший боковий проект буде таким вибуховим з точки зору популярності", - розповідає Кім Обернено. - Це було дуже божевільно і весело.

deepjazz - Глибоке навчання, кероване джазовим поколінням з використанням Keras & Theano! http://t.co/G5wscglzO7 #python

- Python Trending (@pythontrending) 11 квітня 2016 року

Між їжею, сном і завершенням іншої курсової роботи Кім міркував, що йому потрібно близько 12 годин, щоб розробити вихідний код для deepjazz. Проте він придумав ідею створення музичного генератора штучного інтелекту задовго до HackPrinceton. Під час літньої стажування в Чиказькому університеті він зіткнувся з Google Deep Dream, фотогенератором, який інтерпретує малюнки в зображенні і перетворює їх на інші знані об'єкти. Результатом є химерні образи, які виглядають як дикі мрії.

«Ідея використовувати глибоке навчання для інтерпретації мистецтва була дійсно цікавою для мене, - каже Кім. "Такі рамки Deep Dream, які Google представив і опублікував, були дійсно захоплюючими, тому що ви створюєте нові твори мистецтва з існуючих творів мистецтва."

Deepjazz використовує машинне навчання для створення джазової музики - “А.І. побудований для того, щоб зробити джаз », як вказує його профіль SoundCloud. Кім, який не займався класами теорії музики, але грав на кларнеті протягом семи років, вибрав джазову музику через нетрадиційні мелодії. A.I. музики системи, "може мати деякі незвичайні виходи, тому я думаю, що джаз був особливо добре підходить до ідеї створення музики на льоту", говорить він.

Він повторював існуючий музичний генератор, оптимізований для джазової музики, яку розробив його друг Еван Чоу, який називав JazzML, використовуючи код для отримання відповідних даних, але перетворюючи його в бінарну матрицю, сумісну з двома бібліотеками глибокого навчання Keras і Theano.

Сам deepjazz сам по собі це двошаровий LSTM, який є своєрідною архітектурою штучних нейронних мереж, описує Кім. Після того, як вона дізнається початкову початкову послідовність назв музичних нот (Кім використовував частини П. Метені «І тоді я знав»), він призначає ймовірності для нот і генерує наступну ноту на основі цих ймовірностей. Наприклад, якщо ви подаєте програму на шкалу A, B, C, є велика ймовірність, що наступна записка deepjazz буде генерувати буде D, пояснює Кім.

Історично, критики сказали, що генератори музики з штучного інтелекту страждають від виробництва пісень, які звучать занадто робототехнічно і стерильно - відсутність кольору, що чується в музиці, створеній людьми. Джеффрі Білмс, колишній студент MIT, який написав дисертацію на комп'ютерах, які відтворюють музичні ритми в 1993 році, розповів Обернено у листопаді:

"Коли ви навчаєтеся грати музику і навчаєтеся грати в джазі, є інтуїтивне розуміння того, що таке музика, яка робить її людиною", - сказав Білмес. «Люди - інтуїтивні істоти, і люди часто не можуть описати, як вони здатні робити людські речі. У той час я відчував, що, можливо, я порушував священну клятву у визначенні цих речей для комп'ютерних програм.

Коли Кім проводив дослідження для deepjazz він натрапив на багато систем, які генерували музику, яка звучала роботизовано.

"Музика і мистецтво - це речі, які ми вважаємо глибоко людськими", говорить Кім. "Щоб зробити його більш людським і більш реалістичним, це дуже важко класифікувати". Кім припускає, що генератори можуть створювати пісні, які звучать більш людські, програмуючи їх, щоб вони звучали менш схожими на оригінальний трек.

Інші розробники зв'язалися з Кімом і зацікавлені в розширенні deepjazz, щоб більше людей могли взаємодіяти з ним. Кім може побачити, як один день deepjazz перетворюється на партнера-імпровізатора, який може штучно створити відхилення від музиканта. Ще далі в майбутнє, він може бачити програми, які створюють нову, схожу на музику музику, до ваших улюблених треків або які можуть запропонувати нові акорди та прогресії для музикантів.

Кім визнає, що він все ще далекий від того, щоб бути експертом у глибокому навчанні, але його досвід, що розвивався у глибоких навчаннях і стажуваннях на Прінстоні, дав йому деяку цінну інформацію.

“А.І. більше не є фантастичною фантазією. Це те, що є дуже реальним, і це те, що наближається дуже швидкими темпами », говорить Кім. "Сподіваюся побачити, що цей студент коледжу, який ще навіть не є старшокласником, зміг зробити щось у хакатоні, є заохочуючим для інших студентів, які намагаються потрапити в інформатику".