کاروانسرای گنجعلی‌خان در ضلع شرقی میدان این مجموعه قرار گرفته است. گنجعلی‌خان از حاکمان صاحب نفوذ عصر صفویه (۱۰۳۴ - ۱۰۰۵ ه.ق) بود که از موقعیت خود در دربار شاه عباس بهره گرفت و به احداث مجموعه‌ای پرداخت که امروز جایگاه بالندگی کرمان به شمار می‌رود. این مکان در مقاطعی از تاریخ به عنوان مدرسه نیز استفاده شده است کما اینکه درجریان حمله سربازان آقا محمدخان به این مدرسه، سید علویه، معلم این مدرسه از در شمالی آن که در بازار کلاه مال‌ها قرار دارد، بیرون رفت و خود را به آقا محمدخان رساند. در سال‌های اخیر نیز از این محل به عنوان دانشکده هنر استفاده شده است. کاروانسرا دارای حجره‌های متعدد است و نقش اژدهای بزرگ بالدار که به سبک چینی و مغولی بر پیشانی ضلع شمالی کاروانسرا دیده می‌شود، از جمله ارزش‌های هنری آن محسوب می‌شود. این اثر در تاریخ ۲۹ آذر ۱۳۱۶ با شماره ثبت ۲۹۷ به‌عنوان یکی از آثار ملی ایران به ثبت رسیده است.
