धार जिले की कुक्षी तहसील में विंध्य पहाड़ी के दक्षिणी ढलानों के बीच नर्मदा घाटी में ये उल्लेखनीय और रोचक पाषाण मंदिर और मठ स्थित हैं । सबसे नजदीकी रेलवे स्टेशन मेघनगर से सड़क मार्ग से दुरी लगभग 82 किमी है । गुफाओं तक सड़क मार्ग से बस से पहुंचा जा सकता है । धार से ये लगभग 100 किमी दक्षिण-पश्चिम एवं कुक्षी से लगभग 18 किमी उत्तर में स्थित हैं ।
ये गुफाएं बौद्ध धर्म से संबंधित हैं और यह निश्चित नहीं है कि इन गुफाओं को कैसे एवं कब से बाग गुफा कहा जाने लगा । आधुनिक समय में इन गुफाओं को पहली बार 1818 ई. में खोजा गया था । ऐसा प्रतीत होता है कि 10 वीं सदी में मध्य भारत में बौद्ध धर्म के विलुप्त होने से इन गुफाओं को मानवीय याददाश्त से मिटा दिया । मध्यवर्ती सदियों के दौरान गुफाएं अक्सर बाघों का निवास बनीं और गुफाओं के साथ बाघों के इस संबंध ने उन्हें वर्तमान नाम दिया । गुफाएं एक छोटी पहाड़ी में खोदी गयी थी जिसके सामने से एक बाघेश्वरी नामक एक छोटी नदी बहती है । नौ गुफाओं में से चार (क्रमांक 2 से 5) को छोड़कर शेष समय के हाथों बुरी तरह क्षतिग्रस्त हो चुकी है । चार बेहतर संरक्षित गुफाओं में से द्वितीय गुफा का ढांचा सबसे विस्तृत है जिसे स्थानीय रूप से गोंसाई गुफा या पांडवों की गुफा कहा जाता है । इस चट्टान-मंदिर के केंद्र में एक बड़ा मठवासी कक्ष है । एक भव्य छह स्तंभों वाले बरामदे से इसका अग्रमुख सुशोभित है । केंद्र के पीछे विशाल गोपनीय कक्ष में एक स्तुप प्रतिष्ठापित है जो तत्समय भिक्षुओं को पवित्र ध्यान के लिए आवश्यक एकांतता एवं वातावरण प्रदान करता था । केन्द्रीय कक्ष को सर्पिल धारियों से सज्जित विशाल स्तंभों से सहारा दिया गया है जो कि प्रार्थना गृह के उद्देश्य की प्रतिपूर्ति करता था । यहाँ बौद्ध भिक्षु प्रार्थना एवं धार्मिक संभाषण के लिए एकत्रित होते थे । गुफा एक चैत्य (प्रार्थना गृह) और विहार (निवास) का एक संयोजन था ।
गुफा क्रमांक 3 को छोड़कर, जो कि शुद्ध रूप से एक विहार या मठ है जिसे स्थानीय रूप से हाथी खाना‘ कहा जाता है; शेष सभी गुफाएँ ढाँचागत रूप से कुछ संशोधनों को छोड़कर लगभग एक जैसी हैं । इसकी बहुत स्पष्ट रूप से नक्काशी और बनावट की गई थी । चौथी गुफा श्रंखला में सबसे बड़ी है । स्थानीय लोग इसे रंगमहल कहते हैं । कई मायनों में यह सबसे उल्लेखनीय गुफा है । इसमें 3 प्रवेश द्वार एवं 2 खिड़कियाँ है । मुख्य द्वारा सबसे आकर्षक एवं अच्छी तरह से तैयार किया गया है । कक्ष की छत को 28 स्तंभों से सहारा दिया गया है जो की आधार से चोकोर एवं फिर कुछ अष्टकोणाकार फिर बहुकोनाकर व पुनः छत से मिलाप पर अष्टकोणाकार हैं । गुफा क्रमांक 5 स्पष्ट रूप से न तो चैत्य है न ही विहार । इसके आकार एवं व्यवस्था के आधार पर यह व्याख्यान कक्ष प्रतीत होता है जिसे स्थानीय लोग पाठशाला कहते हैं । इसमें कोई गलियारे, कक्ष, स्तूप या चित्र नहीं है एवं यह पूर्णतः सपाट होकर सज्जा रहित है ।
बाग गुफाओं के चित्र अजंता के समकालीन हैं एवं दोनों ऐसे विद्यालय का प्रतिनिधित्व करते हैं जहाँ की कला पर सिर्फ भारत या दक्षिण-पूर्व के देशों एवं चीन का प्रभाव नहीं है अपितु उस प्रत्येक देश का गहरा प्रभाव है जहाँ बौद्ध धर्म का विस्तार था । कहा जाता है कि इन चित्रों की तुलना माइकल एंजेलो के समय तक यूरोप के सर्वश्रेष्ठ चित्रों से की जा सकती है ।
माहिष्मती के राजा सुबंधु का एक शिलालेख इन गुफाओं से प्राप्त हुआ है । शिलालेखीय उद्धरणों से पता लगता है कि इस विहार का नाम कल्याण था । महाराजा सुबंधु ने विहार के रखरखाव एवं इसमें रहने वाले बौद्ध भिक्षुओं संरक्षण हेतु दासिलक पट्टी के गांवों को दान दे दिया था । महाराजा द्वारा गाँव के लोगों एवं अधिकारीयों को बौद्ध भिक्षुओं को सहयोग करने एवं उन्हें निर्बाध रूप से अपना काम करने देने हेतु आदेशित किया गया था ।