ઉપકરણો પર અને ઇન્ટરનેટ કનેક્શન વિના કૃત્રિમ બુદ્ધિમત્તા અને મશીન લર્નિંગ સિસ્ટમ ચલાવવા માટે Qualcomm કોઈ અજાણી વ્યક્તિ નથી. તેઓ વર્ષોથી તેમના કેમેરા ચિપસેટ્સ સાથે આ કરી રહ્યા છે. પરંતુ મંગળવારે સ્નેપડ્રેગન સમિટ 2023માં, કંપનીએ જાહેરાત કરી કે નવા સ્નેપડ્રેગન 8 Gen 3 અને X Elite ચિપ્સના ભાગ રૂપે ઓન-ડિવાઈસ AI આખરે મોબાઇલ ઉપકરણો અને Windows 11 PC પર આવી રહ્યું છે.
બંને ચિપસેટ્સ જનરેટિવ AI ક્ષમતાઓને ધ્યાનમાં રાખીને બનાવવામાં આવ્યા હતા અને તે વિવિધ પ્રકારના વિશાળ ભાષા મોડેલ્સ (LLM), ભાષા વિઝન મોડલ્સ (LVM), અને ટ્રાન્સફોર્મર નેટવર્ક-આધારિત ઓટોમેટિક સ્પીચ રેકગ્નિશન (ASR) મોડલ્સને સપોર્ટ કરવા સક્ષમ છે. SD8 Gen 3 માટે 10 બિલિયન પેરામીટર્સ અને X Elite માટે 13 બિલિયન પેરામીટર્સ, સંપૂર્ણપણે ઑન-ડિવાઈસ. આનો અર્થ એ છે કે તમે ઇન્ટરનેટ કનેક્શન વિના તમારા ફોન અથવા લેપટોપ પર Baidu ના ERNIE 3.5 થી OpenAI ના Whisper, Meta’s Llama 2 અથવા Google ના Gecko સુધી કંઈપણ ચલાવવા માટે સમર્થ હશો. Qualcomm ની ચિપ્સ વૉઇસ, ટેક્સ્ટ અને ઇમેજ ઇનપુટ માટે ઑપ્ટિમાઇઝ કરવામાં આવી છે.
“આ મૉડલ્સને ચલાવવા માટે હૂડ હેઠળ વિશાળ શ્રેણીનો સપોર્ટ હોવો મહત્વપૂર્ણ છે અને તેથી વિજાતીય ગણતરી અત્યંત મહત્વપૂર્ણ છે,” દુર્ગા મલ્લદી, SVP અને ક્વાલકોમના ટેક્નોલોજી પ્લાનિંગ અને એજ સોલ્યુશન્સના જનરલ મેનેજર, એક પ્રીબ્રીફિંગમાં પત્રકારોને જણાવ્યું હતું. અઠવાડિયું. “અમારી પાસે અત્યાધુનિક CPUs, GPUs અને NPU (ન્યુરલ પ્રોસેસિંગ યુનિટ) પ્રોસેસર છે જેનો એકસાથે ઉપયોગ થાય છે, કારણ કે કોઈપણ સમયે બહુવિધ મોડલ્સ ચાલતા હોય છે.”
Qualcomm AI એન્જિનમાં Orion CPU, Adreno GPU અને Hexagon NPU શામેલ છે. સંયુક્ત રીતે, તેઓ 45 TOPS (સેકન્ડ દીઠ ટ્રિલિયન કામગીરી) સંભાળે છે અને લેપટોપ પર 30 ટોકન્સ પ્રતિ સેકન્ડ, મોબાઇલ ઉપકરણો પર 20 ટોકન્સ પ્રતિ સેકન્ડ – ટોકન એ મૂળભૂત ટેક્સ્ટ/ડેટા યુનિટ છે જે LLM પ્રક્રિયા/જનરેટ કરી શકે છે. ચિપસેટ તેમની મેમરી ફાળવણી માટે સેમસંગના 4.8GHz LP-DDR5x DRAM નો ઉપયોગ કરે છે.
“જનરેટિવ AI એ ખૂબ જ જટિલ કાર્યો લેવાની, તેમને હલ કરવાની અને ખૂબ જ કાર્યક્ષમ રીતે ઉકેલવાની ક્ષમતા દર્શાવી છે,” તેમણે ઉમેર્યું. મલ્લદીએ જણાવ્યું હતું કે સંભવિત ઉપયોગના કેસોમાં ગ્રાહકો માટે મીટિંગ અને દસ્તાવેજ સારાંશ અથવા ઇમેઇલ ફોર્મેટિંગ અને એન્ટરપ્રાઇઝ એપ્લિકેશન્સ માટે પ્રોમ્પ્ટ-આધારિત કમ્પ્યુટર કોડ અથવા સંગીત જનરેશનનો સમાવેશ થઈ શકે છે.
અથવા તમે તેનો ઉપયોગ ફક્ત સુંદર ફોટા લેવા માટે કરી શકો છો. Qualcomm એજ AI, જ્ઞાનાત્મક ISPs સાથે તેના અગાઉના કાર્યને એકીકૃત કરી રહ્યું છે. આ ચિપસેટ્સનો ઉપયોગ કરતા ઉપકરણો રીઅલ ટાઇમમાં અને 12 સ્તરોમાં ફોટાને સંપાદિત કરવામાં સક્ષમ હશે. તેઓ ઓછા પ્રકાશમાં પણ સ્પષ્ટ ફોટા કેપ્ચર કરી શકશે, ફોટામાંથી અનિચ્છનીય વસ્તુઓ દૂર કરી શકશે (જેમ કે Google ના મેજિક ઇરેઝર) અથવા વિગતવાર ઇમેજ બેકગ્રાઉન્ડમાં. વપરાશકર્તાઓ ટ્રુપિક ફોટો કેપ્ચરનો ઉપયોગ કરીને તેમના શોટ્સને વાસ્તવિક તરીકે વોટરમાર્ક કરવા માટે પણ સ્કેન કરે છે અને AI જનરેટ કરે છે.
ક્લાઉડને બદલે મુખ્યત્વે તમારા ફોન અથવા મોબાઇલ ઉપકરણ પર રહેતું AI હોવું, વપરાશકર્તાઓને હાલની સિસ્ટમો પર અસંખ્ય લાભો પ્રદાન કરશે. એન્ટરપ્રાઇઝ AIની જેમ જે સામાન્ય મોડલ (જેમ કે GPT-4) લે છે અને વધુ સચોટ અને વિષય પરના જવાબો પ્રદાન કરવા માટે કંપનીના આંતરિક ડેટાનો ઉપયોગ કરીને તેને ટ્યુન કરે છે, સ્થાનિક રીતે સંગ્રહિત AI ” સાથે… ધીમે ધીમે વ્યક્તિગત બનતું જાય છે,” મલ્લાડીએ કહ્યું , “તે અર્થમાં કે… સહાયક ઉપકરણ પર ચાલતા હોવાથી તે વધુ સ્માર્ટ અને બહેતર બને છે.”
વધુમાં, જ્યારે તમામ અસ્કયામતો સ્થાનિક હોય ત્યારે મોડલને પ્રક્રિયા અથવા માહિતી માટે ક્લાઉડને ક્વેરી કરવી જરૂરી હોય ત્યારે સહજ વિલંબ થાય છે. જેમ કે, બંને
અમારા ટાઈપિંગ શબ્દોને બદલે અમારા બોલાયેલા શબ્દોનો ઉપયોગ કરીને મોટા અને વધુ સક્ષમ મૉડલો ચલાવવાની અને તે મૉડલો સાથે વાર્તાલાપ કરવાની ક્ષમતા આખરે ગ્રાહકો માટે સૌથી મોટું વરદાન સાબિત થઈ શકે છે. “તે એક ખૂબ જ અનોખી રીત છે જેમાં અમે ઉપકરણોને ઇન્ટરફેસ કરવાનું શરૂ કરીએ છીએ અને અવાજ આ ઉપકરણો માટે વધુ કુદરતી ઇન્ટરફેસ બની જાય છે – બાકીની બધી બાબતો ઉપરાંત,” મલ્લાડીએ કહ્યું. “અમે માનીએ છીએ કે આ એક પરિવર્તનશીલ ક્ષણ બનવાની સંભાવના ધરાવે છે, જ્યાં અમે પહેલા કરતા ખૂબ જ અલગ રીતે ઉપકરણો સાથે ક્રિયાપ્રતિક્રિયા કરવાનું શરૂ કરીએ છીએ.”
મોબાઇલ ઉપકરણો અને પીસી એ Qualcomm ની ઓન-ડિવાઈસ AI યોજનાઓની માત્ર શરૂઆત છે. 10-13 બિલિયન પેરામીટર રેન્જ પહેલેથી જ 20 બિલિયન કરતાં વધુ પેરામીટર્સ તરફ આગળ વધી રહી છે કારણ કે કંપની નવી ચિપ પુનરાવર્તનો વિકસાવે છે. “આ ખૂબ જ અત્યાધુનિક મોડલ છે,” મલ્લાડીએ ટિપ્પણી કરી. “તમે આના પર બનાવેલા ઉપયોગના કિસ્સાઓ ખૂબ પ્રભાવશાળી છે.”
“જ્યારે તમે ADAS (એડવાન્સ્ડ ડ્રાઈવર આસિસ્ટન્સ સિસ્ટમ્સ) વિશે વિચારવાનું શરૂ કરો છો અને તમારી પાસે બહુવિધ મોડલિટી હોય છે [data] મલ્ટિપલ કેમેરા, IR સેન્સર્સ, રડાર, લિડર – અવાજ ઉપરાંત, જે માનવ છે જે વાહનની અંદર જ છે, “તેમણે ચાલુ રાખ્યું. “તે મોડેલનું કદ ઘણું મોટું છે, અમે પહેલેથી જ 30 થી 60 અબજ પરિમાણો વિશે વાત કરી રહ્યા છીએ.” આખરે, આ ઓન-ડિવાઈસ મોડલ્સ 100 બિલિયન પેરામીટર્સ કે તેથી વધુ સુધી પહોંચી શકે છે, ક્યુઅલકોમના અંદાજ મુજબ.
આ લેખ મૂળરૂપે Engadget પર https://www.engadget.com/qualcomm-brings-on-device-ai-to-mobile-and-pc-190030938.html?src=rss પર દેખાયો હતો.