પૌરાણિક કથાઓ અનુસાર, આ મંદિરનું નામ મહાન સંત કપિલ મુનિના નામ પરથી રાખવામાં આવ્યું હતું. જ્યારે કપિલ મુનિ રાજા જનકના નિમંત્રણ પર માતા સીતા અને ભગવાન શ્રી રામના વિવાહમાં હાજરી આપવા જનકપુર જઈ રહ્યા હતા ત્યારે તેમણે રાહિકાના આ ગાઢ જંગલમાં રાત વિશ્રામ કર્યો હતો. મધ્યરાત્રિએ જ્યારે ઋષિએ તેની આંખો ખોલી, ત્યારે તેણે એક આશ્ચર્યજનક દૃશ્ય જોયું. એક કાળી ગાય ચમકતા કાળા પથ્થર પર તેના આંચળમાંથી દૂધની ધારા વહાવી રહી હતી. ઋષિની નજીક આવતા જ ગાય ગાયબ થઈ ગઈ. ખોદવા પર ત્યાંથી અદભૂત શિવલિંગ દેખાયું. કપિલ મુનિએ ત્યાં શિવની પૂજા કરી. જે બાદ આ જગ્યાનું નામ કપિલેશ્વર પ્રસિદ્ધ થયું.
રાજા જનકના ચતુષ્કોણનો રક્ષક
મંદિરના પૂજારી ભગવાન ઝા પાંડા કહે છે કે આ મંદિર સાથે ઘણી પૌરાણિક માન્યતાઓ જોડાયેલી છે. એવું માનવામાં આવે છે કે નેપાળમાં રાજા જનકના જાનકી ભવનના ચાર ખૂણા પર શિવ મંદિરો આવેલા છે. જેના એક ખૂણામાં આ કપિલેશ્વર સ્થળ આવેલું છે. એવું કહેવાય છે કે માતા સીતાના પ્રસ્થાન પછી અયોધ્યા પરત ફરતી વખતે ભગવાન શ્રી રામે પણ અહીં રાત વિશ્રામ કર્યો હતો, જેને આજે પણ તહેવાર તરીકે ઉજવવામાં આવે છે.
આ મંદિરનો મોટો ઈતિહાસ મૈથિલી કોકિલ વિદ્યાપતિ સાથે પણ જોડાયેલો છે. એવું માનવામાં આવે છે કે વિદ્યાપતિના પિતા ગણપતિ ઠાકુરને કોઈ સંતાન ન હતું. તેઓ બાબા બૈદ્યનાથના શરણમાં ગયા, જ્યાં ભગવાન શિવે તેમના સ્વપ્નમાં તેમને દર્શન આપ્યા અને તેમના ઘરની નજીક સ્થિત કપિલેશ્વર બાબાની સેવા કરવા કહ્યું. બાબાના આશીર્વાદથી જ મહાપંડિત વિદ્યાપતિનો જન્મ થયો હતો. એ જ વિદ્યાપતિ, જેની ભક્તિથી પ્રસન્ન થઈને, મહાદેવ પોતે ઉગ્ના વેશમાં તેમના ઘરે કામ કરવા આવ્યા.

