ભગવાન શિવના કોઈપણ મંદિરમાં શિવલિંગની આસપાસ ચોક્કસપણે નંદી બળદ હોય છે કારણ કે નંદી વિના શિવલિંગ અધૂરું માનવામાં આવે છે. પુરાણોમાં એક વાર્તામાં કહેવામાં આવ્યું છે કે શિલાદ નામના એક ઋષિ હતા જેમણે લાંબા સમય સુધી શિવની તપસ્યા કરી હતી. જે પછી ભગવાન શિવે તેમની તપસ્યાથી પ્રસન્ન થઈને શિલાદને નંદીના રૂપમાં પુત્ર આપ્યો.
શિલાદ ઋષિ એક આશ્રમમાં રહેતા હતા. તેમનો પુત્ર પણ તેમના આશ્રમમાં જ્ઞાન મેળવતો હતો. એક સમયે મિત્ર અને વરુણ નામના બે સંતો ઋષિ શિલાદના આશ્રમમાં આવ્યા હતા. શિલાદ ઋષિએ તેમની સેવાની જવાબદારી તેમના પુત્ર નંદીને સોંપી. નંદીએ પૂર્ણ ભક્તિભાવથી બંને ઋષિઓની સેવા કરી. જ્યારે સંતોએ આશ્રમ છોડવાનું શરૂ કર્યું ત્યારે તેઓએ શિલાદ ઋષિને નંદી નહીં પરંતુ દીર્ઘાયુષ્યના આશીર્વાદ આપ્યા.
આ કારણે શિલાદ ઋષિ નારાજ થઈ ગયા. તેણે પોતાની સમસ્યા સંતો સમક્ષ મૂકવાનું વિચાર્યું અને સંતો સાથે વાત કરવાનું કારણ પૂછ્યું. પછી સંતો પહેલા વિચારમાં પડ્યા. પણ થોડા સમય પછી તેણે કહ્યું, નંદી અલ્પજીવી છે. આ સાંભળીને જાણે શિલાદ ઋષિના પગ નીચેથી જમીન સરકી ગઈ. શિલાદ ઋષિ ખૂબ જ પરેશાન થવા લાગ્યા.
એક દિવસ પિતાની ચિંતા જોઈને નંદીએ તેમને પૂછ્યું, ‘શું વાત છે, પિતાજી તમે આટલા પરેશાન કેમ છો?’ શિલાદ ઋષિએ કહ્યું કે સંતોએ કહ્યું છે કે તમે અલ્પજીવી છો. તેથી જ મારું મન ખૂબ ચિંતિત છે. જ્યારે નંદીએ તેના પિતાની મુશ્કેલીનું કારણ સાંભળ્યું, ત્યારે તે જોરથી હસ્યો અને કહ્યું, ‘ભગવાન શિવે તમને મને આપ્યા છે. આવી સ્થિતિમાં મારી રક્ષા કરવાની જવાબદારી પણ તેની છે, તેથી ચિંતા કરશો નહીં.
નંદીએ તેના પિતાને શાંત કર્યા અને ભગવાન શિવની તપસ્યા કરવા લાગ્યા. દિવસ-રાત તપસ્યા કરીને ભગવાન શિવે નંદીને દર્શન આપ્યા. શિવજીએ કહ્યું, ‘તારી શું ઈચ્છા છે’. નંદીએ કહ્યું, હું આખી જીંદગી ફક્ત તમારી સાથે જ રહેવા માંગુ છું.નંદીથી પ્રસન્ન થઈને શિવજીએ નંદીને ભેટી પડ્યા. શિવજીએ નંદીને બળદનું મુખ આપ્યું અને તેને પોતાનું વાહન, તેનો મિત્ર, તેના ગણોમાં શ્રેષ્ઠ ગણાવ્યો.આ પછી જ શિવજીના મંદિરમાં નંદીના બળદ સ્વરૂપની સ્થાપના થઈ.