வேதமே மலையாய் இருப்பதால் இத்திருத்தலம் “வேதகிரி” எனப் பெயர் பெற்றது. வேதாசலம், கதலிவனம், கழுக்குன்றம் என்பன இத்தலத்திற்குரிய வேறு பெயர்கள். மலைமேல் ஒரு கோவிலும், ஊருக்குள் ஒரு கோவிலும் உள்ளது. இவை முறையே திருமலைக் கோவில், தாழக்கோவில் என்றழைக்கப்பபடுகின்றன.
மலைக்கோவிலில் இறைவன் வேதபுரீசுவரர் என்ற பெயரிலும், தாழக்கோவிலில் இறைவன் பக்தவத்சலேசுவரர் என்ற பெயரிலும் குடி கொண்டுள்ளனர். ரிக், யஜுர், சாமம், அதர்வணம் என்ற நான்கு வேதங்களும் 4 பெரிய பாறைகளாக இருப்பதாகவும், அவற்றுள் “அதர்வணவேத பாறை உச்சியில் சிவபெருமான் கோவில் கொண்டுள்ளார் என்று தலபுராணம் விவரிக்கிறது”.
மலை சுமார் 4 கி.மி. சுற்றளவு கொண்டது. 500 அடி உயரம் கொண்டு மலைமேல் இராஜகோபுரம், ஒரு பிராகாரத்துடன் அமைந்துள்ளது. மலைமீது ஏறிச்செல்ல நல்ல முறையில் அமைக்கப்பட்ட படிகள் உள்ளன. மூலவர் வாழைப் பூக்குருத்துப் போன்று சுயம்புலிங்க மூர்த்தியாக வேதகிரீசுவரர் என்ற பெயருடனும், அம்மன் சொக்கநாயகி என்கிற பெண்ணினல்லாளம்மை என்ற பெயரிலும் எழுந்தருளி இருக்கின்றனர்.
கழுகுகள் பூசித்துப் பேறு பெற்ற காரணத்தால் கழுக்குன்றம் என்று பெயர் ஏற்பட்டது. முதல் யுகத்த்தில் சாபம் பெற்ற சண்டன், பிரசண்டன் என்னும் கழுகுகளும், இரண்டாம் யுகத்தில் சம்பாதி, ஜடாயு என்னும் கழுகுகளும், மூன்றாம் யுகத்தில் சம்புகுத்தன், மாகுத்தன் என்னும் கழுகுகளும், நான்காம் யுகத்தில் சம்பு, ஆதி என்னும் கழுகுகளும் முறையே வழிபட்டுப் பேறு பெற்றன. மலையில் நாள்தோறும் உச்சிப் பொழுதில் இரண்டு கழுகுகள் வந்து உணவு பெற்றுச் செல்கின்றன.
திருக்கழுக்குன்றம் அருள்மிகு வேதகிரிஸ்வரர் திருக்கோவில் கன்னி ராசிக்கான பரிகார ஸ்தலமாகவும் விளங்குகிறது.
கிழக்கிலுள்ள இராஜகோபுரத்திற்கு நேரே உள்ள தெருவின் மறு கோடியில் மிக்க புகழுடைய “சங்கு தீர்த்தம்” உள்ளது. பன்னிரண்டு ஆண்டுகளுக்கு ஒருமுறை இக்குளத்தில் சங்கு பிறக்கின்றது. இவ்வாறு கிடைத்த சங்குகள் தாழக் கோவிலில் வைக்கப்பட்டுள்ளன. “மார்க்கண்டேயர் இறைவனை வழிபடப் பாத்திரமின்றித் தவித்த போது இறைவன் சங்கை உற்பத்தி செய்து தந்ததாகவும், அதுமுதற்கொண்டு 12 ஆண்டுகளுக்கு ஒருமுறை இக்குளத்தில் சங்கு பிறப்பதாகவும்” சொல்லப்படுகிறது. இரண்டு நீராழி மண்டபங்களும், நீராடுவதற்குரிய படித்துறை மண்டபமும் உள்ளன. சங்கு தீர்த்தத்தில் விடியற்காலையில் நீராடி, மலையை கிரிவலம் வருபவர்களின் நோய்கள் யாவும் நீங்கும் என்பது நம்பிக்கை.