મેટાની ઑડિયોક્રાફ્ટ રિસર્ચ ટીમે હમણાં જ મ્યુઝિકજેન રિલીઝ કર્યું છે, જે એક ઓપન સોર્સ ડીપ લર્નિંગ લેંગ્વેજ મોડલ છે જે ટેક્સ્ટ પ્રોમ્પ્ટના આધારે નવું મ્યુઝિક જનરેટ કરી શકે છે અને હાલના ગીતો સાથે જોડી બનાવી શકે છે.
ડીકોડર
ની જાણ કરી. તે ઘણુ બધુ ઓડિયો માટે ચેટજીપીટી જેવું છે, જેમાં તમે તમને જોઈતા સંગીતની શૈલીનું વર્ણન કરો, હાલની ટ્યુન મૂકો (વૈકલ્પિક રીતે) અને પછી “જનરેટ” પર ક્લિક કરો. સારા સમય પછી (મારા કિસ્સામાં લગભગ 160 સેકન્ડ), તે તમારા ટેક્સ્ટ પ્રોમ્પ્ટ્સ અને મેલોડીના આધારે તમામ નવા સંગીતનો એક નાનો ટુકડો બહાર કાઢે છે.
Facebook ની Hugging Face AI સાઇટ પરનો ડેમો તમને તમારા સંગીતનું વર્ણન કરવા દે છે, કેટલાક ઉદાહરણો પૂરા પાડે છે જેમ કે “પૃષ્ઠભૂમિમાં ભારે ડ્રમ્સ અને સિન્થ પેડ્સ સાથે 80ના દાયકાનું ડ્રાઇવિંગ પૉપ ગીત.” પછી તમે આપેલ ગીત પર તે ટોચની 30 સેકન્ડ લાંબી “શરત” કરી શકો છો, નિયંત્રણો સાથે જે તમને તેનો ચોક્કસ ભાગ પસંદ કરવા દે છે. તે પછી, તમે ફક્ત જનરેટ કરો છો અને તે ઉચ્ચ-ગુણવત્તાના નમૂનાઓની 12 સેકન્ડ સુધી રેન્ડર કરે છે.
ટીમે તાલીમ માટે 20,000 કલાક લાઇસન્સ પ્રાપ્ત સંગીતનો ઉપયોગ કર્યો, જેમાં શટરસ્ટોક અને પોન્ડ5 ટ્રેક સહિત આંતરિક ડેટાસેટમાંથી 10,000 ઉચ્ચ-ગુણવત્તાવાળા સંગીત ટ્રેકનો સમાવેશ થાય છે. તેને ઝડપી બનાવવા માટે, તેઓએ મેટાના 32Khz એન્કોડ ઑડિઓ ટોકનાઇઝરનો ઉપયોગ સંગીતના નાના હિસ્સાને જનરેટ કરવા માટે કર્યો જે સમાંતર રીતે પ્રક્રિયા કરી શકાય. “મ્યુઝિકએલએમ જેવી હાલની પદ્ધતિઓથી વિપરીત, મ્યુઝિકજેનને સ્વ-નિરીક્ષણ કરેલ સિમેન્ટીક રજૂઆતની જરૂર નથી. [and has] ઓડિયોના સેકન્ડ દીઠ માત્ર 50 ઓટો-રીગ્રેસીવ સ્ટેપ્સ,” હગિંગ ફેસ એમએલ એન્જિનિયર અહેસેન ખલીકે એક ટ્વિટમાં લખ્યું.
ગયા મહિને, Google એ સમાન મ્યુઝિક જનરેટર, મ્યુઝિકએલએમ રિલીઝ કર્યું, પરંતુ મ્યુઝિકજેન થોડા સારા પરિણામો આપે છે. નમૂનાના પૃષ્ઠ પર, સંશોધકોએ તે મુદ્દાને સાબિત કરવા માટે મ્યુઝિકજેનના આઉટપુટની મ્યુઝિકએલએમ અને અન્ય બે મોડલ, રિફ્યુઝલ અને મુસાઈ સાથે સરખામણી કરી. તે સ્થાનિક રીતે ચલાવી શકાય છે (ઓછામાં ઓછા 16 GB RAM સાથેનું GPU ની ભલામણ કરવામાં આવે છે) અને તે નાના (300 મિલિયન પેરામીટર્સ) થી લઈને મોટા (3.3 બિલિયન પેરામીટર્સ) સુધીના ચાર મોડલ કદમાં ઉપલબ્ધ છે – બાદમાં જટિલ બનાવવાની સૌથી મોટી ક્ષમતા ધરાવે છે. સંગીત ,
મેટાની ઑડિયોક્રાફ્ટ રિસર્ચ ટીમે હમણાં જ મ્યુઝિકજેન રિલીઝ કર્યું છે, જે એક ઓપન સોર્સ ડીપ લર્નિંગ લેંગ્વેજ મોડલ છે જે ટેક્સ્ટ પ્રોમ્પ્ટના આધારે નવું મ્યુઝિક જનરેટ કરી શકે છે અને હાલના ગીતો સાથે જોડી બનાવી શકે છે.
ડીકોડર
ની જાણ કરી. તે ઘણુ બધુ ઓડિયો માટે ચેટજીપીટી જેવું છે, જેમાં તમે તમને જોઈતા સંગીતની શૈલીનું વર્ણન કરો, હાલની ટ્યુન મૂકો (વૈકલ્પિક રીતે) અને પછી “જનરેટ” પર ક્લિક કરો. સારા સમય પછી (મારા કિસ્સામાં લગભગ 160 સેકન્ડ), તે તમારા ટેક્સ્ટ પ્રોમ્પ્ટ્સ અને મેલોડીના આધારે તમામ નવા સંગીતનો એક નાનો ટુકડો બહાર કાઢે છે.