ElevenLabs, એક AI સ્ટાર્ટઅપ જે તેના ટૂલ્સ સાથે વૉઇસ ક્લોનિંગ સેવાઓ પ્રદાન કરે છે, તેણે ચૂંટણીમાં વિક્ષેપ પાડવાના પ્રયાસમાં જો બિડેનનો ઑડિયો ડીપફેક બનાવનાર વપરાશકર્તા પર પ્રતિબંધ મૂક્યો છે. બ્લૂમબર્ગ, ગયા અઠવાડિયે ન્યૂ હેમ્પશાયરમાં કેટલાક મતદારોને મોકલવામાં આવેલ રોબોકોલમાં રાષ્ટ્રપતિની નકલ કરતા ઓડિયોનો ઉપયોગ કરવામાં આવ્યો હતો, જેમાં તેઓને તેમના રાજ્યની પ્રાથમિક ચૂંટણીમાં મતદાન ન કરવા જણાવવામાં આવ્યું હતું. શરૂઆતમાં તે અસ્પષ્ટ હતું કે બિડેનના અવાજની નકલ કરવા માટે કઈ તકનીકનો ઉપયોગ કરવામાં આવ્યો હતો, પરંતુ સુરક્ષા કંપની પિનડ્રોપ દ્વારા સંપૂર્ણ વિશ્લેષણમાં જાણવા મળ્યું હતું કે ગુનેગારોએ ElevenLabs ના સાધનોનો ઉપયોગ કર્યો હતો.
સિક્યોરિટી ફર્મે બેકગ્રાઉન્ડ ઘોંઘાટ દૂર કર્યો અને રોબોકૉલના ઑડિયોને ડીપફેક્સ જનરેટ કરવા માટે વપરાતી 120 થી વધુ વૉઇસ સિન્થેસિસ ટેકનિકના નમૂનાઓ સાથે સરખાવતા પહેલા તેને સાફ કર્યો. પિનડ્રોપના સીઈઓ વિજય બાલાસુબ્રમણ્યમે જણાવ્યું હતું વાયર્ડ કે તે “99 ટકાની ઉત્તરે જ પાછું આવ્યું કે તે ElevenLabs છે.” બ્લૂમબર્ગ કહે છે કે કંપનીને Pindrop ના તારણો વિશે જાણ કરવામાં આવી હતી અને હજુ પણ તપાસ કરી રહી છે, પરંતુ તેણે નકલી ઓડિયો બનાવનાર એકાઉન્ટને પહેલેથી જ ઓળખી અને સસ્પેન્ડ કરી દીધું છે. ElevenLabs એ ન્યૂઝ ઓર્ગેનાઈઝેશનને જણાવ્યું હતું કે તે પોતે આ મુદ્દા પર ટિપ્પણી કરી શકે તેમ નથી, પરંતુ તે “ઓડિયો AI સાધનોના દુરુપયોગને રોકવા માટે સમર્પિત છે અને [that it takes] “દુરુપયોગની કોઈપણ ઘટનાને અત્યંત ગંભીરતાથી લેવામાં આવે છે.”
ડીપફેક બિડેન રોબોકૉલ બતાવે છે કે કેવી રીતે ટેક્નોલોજી કે જે કોઈ બીજાના દેખાવ અને અવાજની નકલ કરે છે તેનો ઉપયોગ યુ.એસ.માં આગામી પ્રમુખપદની ચૂંટણીમાં મતોની છેડછાડ માટે કરી શકાય છે. કાર્નેગી મેલોન યુનિવર્સિટીના પ્રોફેસર કેથલીન કાર્લેએ જણાવ્યું હતું કે, “મતદાર દમન અથવા ચૂંટણી કાર્યકરો પરના હુમલાના સંદર્ભમાં શું કરી શકાય તે અંગે આ હિમશિલાની ટોચ છે.” ટેકરી, “આગામી કેટલાક મહિનામાં આપણે કેવા પ્રકારની વસ્તુઓની અપેક્ષા રાખવી જોઈએ તે લગભગ એક આશ્રયસ્થાન હતું.”
ElevenLabs એ તેના પ્લેટફોર્મનું બીટા વર્ઝન લૉન્ચ કર્યાના થોડા દિવસો પછી, તેણે ઇન્ટરનેટ લીધું અને ઑડિયો ક્લિપ્સ બનાવવા માટે તેનો ઉપયોગ કરવાનું શરૂ કર્યું જે સંભળાય છે કે સેલિબ્રિટી કંઈક શંકાસ્પદ વાંચી રહ્યા છે અથવા કહે છે. સ્ટાર્ટઅપ ગ્રાહકોને “કલાત્મક અને રાજકીય ભાષણ કે જે જાહેર ચર્ચામાં ફાળો આપે છે” માટે અવાજોને ક્લોન કરવા માટે તેની તકનીકનો ઉપયોગ કરવાની મંજૂરી આપે છે. તેનું સુરક્ષા પૃષ્ઠ વપરાશકર્તાઓને ચેતવણી આપે છે કે તેઓ “કાયદાનું ઉલ્લંઘન કર્યા વિના છેતરપિંડી, ભેદભાવ, દ્વેષપૂર્ણ ભાષણ અથવા કોઈપણ પ્રકારના ઑનલાઇન દુરુપયોગ જેવા અપમાનજનક હેતુઓ માટે અવાજોને ક્લોન કરી શકશે નહીં.” પરંતુ સ્પષ્ટપણે, ખરાબ કલાકારોને મતદારોને પ્રભાવિત કરવા અને વિશ્વભરની ચૂંટણીઓમાં ચાલાકી કરવા માટે તેના સાધનોનો ઉપયોગ કરવાથી રોકવા માટે તેને વધુ સુરક્ષા પગલાં લેવાની જરૂર છે.
આ લેખ મૂળ રૂપે Engadget પર દેખાયો https://www.engadget.com/elevenlabs-reportedly-banned-the-account-that-depfaked-bidens-voice-with-its-ai-tools-083355975.html?src=rss પ્રકાશિત ચાલુ