短短幾年，音樂人工智能已成為熱門。作曲、伴奏、即興創(chuàng)作……人工智能在各種場合展示的“才華”令人大開眼界。在剛剛過去的2021年，世界音樂人工智能大會、全球人工智能技術大會、2021中國音樂科技應用論壇等各種學術活動上，音樂人工智能也成為被提及最多、大家討論最熱烈的話題之一。
未來的音樂會變成什么樣?音樂人工智能會代替人類的藝術創(chuàng)造嗎?它會為人類的創(chuàng)造力插上翅膀，還是成為終結者?
個案
AI少女學音樂
“小冰學習能力超強”
2020年的畢業(yè)季，上海音樂學院迎來一位“特殊”的畢業(yè)生——人工智能少女小冰。小冰不僅順利畢業(yè)，還被授予音樂工程系2020屆“榮譽畢業(yè)生”稱號。
談及進軍音樂內容創(chuàng)作，前微軟(亞洲)互聯(lián)網(wǎng)工程院副院長、現(xiàn)任小冰公司首席執(zhí)行官李笛告訴北京青年報記者，不同于此前的詩歌創(chuàng)作、視覺創(chuàng)作、演唱，音樂創(chuàng)作對人工智能小冰來說難度更大，“音樂是流媒體，對作品的流暢度要求很高。此前小冰在音樂創(chuàng)作中的能力主要是內容的生成，比如演唱，這一次小冰學習的作詞、作曲和編曲其實更難。”
如何讓人工智能學會音樂創(chuàng)作呢?小冰團隊與上海音樂學院老師告訴北青報記者，讓人工智能小冰開始音樂創(chuàng)作的學習過程分三步：
首先，基于小冰已有的音樂創(chuàng)作模型，團隊把端口給到上海音樂學院的老師，讓老師去聽小冰創(chuàng)作的海量音樂作品，并給出系統(tǒng)性的點評。
其次，老師也教會團隊程序員基本的樂理知識，包括編曲技巧等，用于優(yōu)化小冰的創(chuàng)作模型。
最后，小冰不斷學習，不斷交作業(yè)，老師不斷給反饋。無論“模型”“作業(yè)”還是“反饋”，都是一個不斷迭代的過程，如此循環(huán)往復……
當小冰達到和人類同學相似的水平，且趨于穩(wěn)定，她就畢業(yè)了。
在上海音樂學院學習期間，小冰接受了來自音工系主任于陽教授和陳世哲老師的“指導”。談及教學模式，陳世哲老師說，教學生學習音樂創(chuàng)作和教授人工智能有相似之處：“傳統(tǒng)教學方式，我們會讓學生學習經典的作品、然后臨摹，接下來老師批改、學生再反饋。人工智能和普通學生的學習方式并沒有太多差異，我們同樣也是給小冰準備了一些數(shù)據(jù)，小冰學習之后進行創(chuàng)作，老師再來進行評估，來指出哪里有問題，繼續(xù)去修改，一起來完成。”
當然也有不同。陳世哲評價說“小冰是個學習能力超強的學生”，“教學過程中最大的不同是，小冰的迭代速度是人類完全不可能企及的，比如說一個學生學習、臨摹一首曲子、寫出作業(yè)、老師修改，這個過程至少要一周時間，但是在對小冰的教學中，我們一口氣放過去幾百首甚至更多曲子。”
陳世哲老師介紹，判定學生能否順利通過畢業(yè)的考核大體有三條水平線，“最高級創(chuàng)作線是頂尖的流行歌曲，譬如可以拿到格萊美獎、最佳金曲獎的水平;中間線是創(chuàng)作水準不錯的普通流行歌曲;基本線是創(chuàng)作廣告、電視劇、紀錄片配樂等。經過半年的學習，我們認為小冰已經達到基本線普通、簡單歌曲的創(chuàng)作能力，不斷接近中間線的創(chuàng)作標準，所以我們給了她榮譽畢業(yè)生的稱號。實際上她的水準已經很接近中間線，我們也期待小冰繼續(xù)按照研究生的標準來入學。”
李笛表示，“對于音樂產業(yè)化，人工智能可以在不需要人力參與的情況下，用穩(wěn)定的質量、極低的成本、高并發(fā)地生產內容，并供應出去，未來在視頻、影視配樂等產業(yè)的落地都有很大的空間。”
揭秘
音樂人工智能
3秒創(chuàng)作完整歌曲
人工智能的算法進入到藝術創(chuàng)作當中，對傳統(tǒng)音樂的創(chuàng)作產生了巨大的影響。2019年，華為公司利用Mate20Pro中的AI，對奧地利作曲家舒伯特未完成的《第八交響曲》剩余曲譜進行了譜寫，并在倫敦的一場音樂會上進行了公演。與舒伯特的未完稿不同，貝多芬的《第十交響曲》幾乎沒有任何曲譜，由于病情惡化，貝多芬只畫了這部作品的幾張草圖就溘然離世。創(chuàng)意人工智能初創(chuàng)公司Playform的一群科學家和音樂學家完成了貝多芬未竟的事業(yè)，他們經過兩年多的努力，不僅讓人工智能學習了貝多芬的全部作品，還教會了它貝多芬的創(chuàng)作過程。2021年10月，這臺人工智能幫助貝多芬續(xù)寫了《第十交響曲》，并在德國波恩舉行首演，吸引了世界的目光。
“像人類的學習一樣，人工智能也是通過語料庫學習海量的內容，然后‘創(chuàng)作’新的作品。”面對人工智能超強的學習能力，中央音樂學院音樂人工智能與音樂信息科技系主任、教授李小兵忍不住感慨，“實在是太強了!”2021年，由李小兵作為首席專家申報的《音樂與人工智能協(xié)同創(chuàng)新發(fā)展理論研究》入選2021年度國家社科基金藝術學重大項目。該課題從音樂學、腦科學、人工智能、計算機科學等多個領域入手展開跨學科研究，以“音樂創(chuàng)作與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂呈現(xiàn)與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂接受與人工智能協(xié)同創(chuàng)新發(fā)展”“音樂人工智能哲學——美學”為四個子課題，圍繞人、音樂、人工智能三者的相互關系，對音樂與人工智能協(xié)同發(fā)展中的問題進行深入全面的研究。
隨著研究的深入，音樂人工智能在效率上不斷精進。李小兵透露，目前人工智能最快3秒就可以創(chuàng)作出一首歌曲。“原來最快是23秒，現(xiàn)在已經縮短到3秒了，3秒不僅是作曲，還包括演唱、伴奏、合成，也就是說出來就是一首完整的作品了。”
李小兵和他的團隊將人類創(chuàng)作的歌曲和人工智能創(chuàng)作的兒童歌曲放在一起，邀請志愿者做過盲測，很難分辨出哪首是人工智能創(chuàng)作的。與人類的思維不同，李小兵用“盲盒”來形容人工智能，“音樂人工智能創(chuàng)作的東西有些與人類相同，有些卻不太一樣，甚至會讓人瞠目結舌。”
觀點
“音樂魅力在于演奏家的二度創(chuàng)作”
“人工智能和藝術的結合最難的一塊實際上就是音樂。”上海音樂學院音樂工程系主任、作曲家于陽對北青報記者說，“有章可循的容易實現(xiàn)，但音樂是時間的藝術，聽覺上給人的感受變化無窮，有太多不確定性。受限于技術水準、數(shù)據(jù)等因素，現(xiàn)在的音樂人工智能還處于初級階段，需要進一步探索和研究。”
李小兵也認為，與文本、語言相比，音樂的維度要多很多，有音高、節(jié)奏、強弱、情感等，也要復雜得多，因此音樂人工智能需要更大的模型和算力，也要最頂尖的科學家和藝術家攜手。盡管人工智能作曲可以通過學習海量的作品，模仿作曲家的創(chuàng)作通過圖靈測試，在演奏方面也可以做到精準無誤，但業(yè)內人士普遍認為，就情感來說，這些作品與人類創(chuàng)作的作品還是有很大區(qū)別的。
“這就是音樂的魅力所在。一首鋼琴曲，十個演奏家彈出來是十種完全不同的感受，這里面就有演奏家的二度創(chuàng)作。這種感受的不同是機器取代不了的。”于陽說。
盡管不能代替人類最核心的創(chuàng)造力，但目前人工智能已經可以輔助人類做很多事情，尤其是大量重復性、基礎性的工作。
“20年前，我們都是在五線譜上寫東西，現(xiàn)在大部分作曲家都是用電腦軟件創(chuàng)作了，這實際上就是人工智能的一種形式。”身為作曲家的于陽表示，寫作完成后，軟件還能自動生成演奏，作曲家可以隨時在上面修改、調整，“人工智能大大提高了創(chuàng)作效率。”
李小兵也認為，“如果要創(chuàng)作高水平的音樂，如電影配樂或是一線的、能打榜的流行歌曲，人工智能還有很長的路要走，但一些背景音樂，人工智能的創(chuàng)作已經能夠符合人們的欣賞需求。”
隨著音樂人工智能的深入發(fā)展，未來的音樂會有翻天覆地的變化。在李小兵看來，未來音樂可能不止3D音樂、機器人主持、交互多媒體、人工智能伴奏、虛擬現(xiàn)實、機器人指揮、機器人演奏、機器人演唱等，更有可能會出現(xiàn)新形態(tài)，“就像照相機出現(xiàn)以后，迫使美術界發(fā)生了特別大的改變，出現(xiàn)了一批照相機不能代替的大藝術家，隨著音樂人工智能研究的深入，未來的音樂創(chuàng)作更加彌足珍貴，也一定會誕生讓人意想不到的新的音樂形態(tài)。”記者 田婉婷 張知依
潮流檔案
AI通過自身強大的數(shù)字處理能力兼顧歌曲從制作到演唱的全流程，實現(xiàn)化繁為簡，在短時間內完成音樂作品創(chuàng)作。通過算法學習和“實戰(zhàn)”訓練來學習如何寫歌，非音樂工作者也可以借助這種技術創(chuàng)作出屬于自己獨一無二的曲子。
行業(yè)布局
科技巨頭投資各有重點
資本早就意識到了音樂人工智能的商業(yè)價值，人工智能科技巨頭都在積極布局：早在2016年，字節(jié)跳動就成立了AI Lab，對AI進行深入研究;網(wǎng)易云音樂在2020年戰(zhàn)略投資了AI音樂公司AIVA，重點放在了AI輔助音樂創(chuàng)作領域;騰訊AI Lab推出了AI數(shù)字人“艾靈”,可以通過用戶提供的關鍵詞自動生成歌詞并演唱;字節(jié)跳動開發(fā)的基于Tacotron聲學模型和WaveRNN神經網(wǎng)絡聲碼器的中文歌聲合成(SVS)系統(tǒng)——ByteSing、微軟研究院發(fā)布的AI音樂開源項目Muzic等都在試圖證明人工智能可以完成音樂的整個生產過程。
學科儲備
首批音樂人工智能博士今年畢業(yè)
各大高校也在迅速推進音樂人工智能的研究和應用。中央音樂學院、上海音樂學院、四川音樂學院等高校紛紛開設音樂人工智能專業(yè)。2022年7月，中央音樂學院首批音樂人工智能的博士就要畢業(yè)了，他們成為了各大互聯(lián)網(wǎng)公司爭搶的人才。“因為社會對音樂人工智能的人才需求量巨大，現(xiàn)在大的互聯(lián)網(wǎng)公司用的大部分都是從聲學專業(yè)轉過來的，可能不是專門學習音樂人工智能專業(yè)的，所以說目前我們這個專業(yè)的博士畢業(yè)生非常搶手。”李小兵說。
“通常情況下，搞音樂的人不懂科技，搞科技的人不懂音樂，音樂人工智能是個交叉領域，我們現(xiàn)在做的事情就是把這兩方面結合起來。”于陽透露，上海音樂學院的人工智能博士采取雙導師制，音樂和技術的導師各一名。“音樂人工智能未來可期，現(xiàn)在要跨出這一步很重要。但目前人才缺口還是很大的。”
大事記
2019年
深圳交響樂團演奏了全球首部AI交響變奏曲《我和我的祖國》，這也是該曲目的世界首演。
2020年7月9日
由微軟小冰、小米小愛、百度小度、Bilibili泠鳶四位人工智能機器人合唱的主題曲《智聯(lián)家園》亮相 2020年世界人工智能大會開幕式。
2021年10月9日
人工智能續(xù)寫的貝多芬《第十交響曲》在德國發(fā)布，引發(fā)世界關注。
