کاروانسرای قلعه سنگی مربوط به دوره سلجوقیان و در شهرستان قم کیلومتر 35 جاده ری-قم، روستای محمد آباد کاج واقع شده است ، این کاروانسرا تا سال 1883 م مورد استفاده بوده و کشف چند سکه مغولی از سده‌های 7 و 8 هـجری قمری نشان میدهد که احتمالا بانی این کاروانسرا غازان خان(694هـ. ق) باشد و حتی تاریخ ساخت کاروانسرا مقدم بر حکومت پادشاه مغول باشد، در این صورت باید قدمت آن را به اواخر دوران سلجوقی نسبت داد که در زمان صلح به عنوان کاروانسرا و در زمان جنگ، دژی نظامی به شمار می‌رفته است.

قلعه سنگی دارای 7 برج به بلندای 10 تا 14 متراست که برای جلوگیری از رانش دیواره‌ها و حفاظت بنا شده و با دیواری به ضخامت دوتا سه متر در برابر گردنه کوچکی قرار دارد. بنا بسیار ساده و شامل31 اتاق است برای قراردادن توشه و بار مسافران که مستقیما با هوای آزاد ارتباط دارند و برای مسافران ویژه، بخش‌های مخصوصی در طرف چپ مدخل کاروانسرا ساخته شده که یکی از تالارهای این قسمت از کاروانسرا با گنبد بسیار زیبایی پوشیده شده، اتاق‌ها با طاقهای گهواره ای شکل پوشیده شده که بر دیوار کاروانسرا عمود و با یکدیگر موازیند، چهار ایوان در چهار طرف حیاط مرکزی قرار دارد ودر انتهای آن‌ راهی برای ورود به اصطبل‌ها دیده می‌شود (در واقع این طرح همان کوشکهای ایران است) طول هر ضلع این بنا بیش از 67 متر است و در سازه، هر یک از استطبل‌های نگهداری از حیوانات دارای 10 متر عمق هستند. در میان حیاط مرکزی نیز آثار ساختمانی وجود دارد که شامل زیرزمین با سه اتاق انباری شکل است که طبقه بالای آن از بین رفته.

کوره‌های ذوب فلز در حیاط این کارونسرا کاوش شده که نمایانگر یکی از کاربریهای این بنا به عنوان ضرابخانه بوده است. عملکرد دیگری که برای این کوره‌ها می‌توان در نظر گرفت ساختن سلاح است که با توجه به خاک حاصلخیز بنای کوچک با پلان چلیپا که در ۲ طبقه و در مرکز حیاط قرار دارد و اتاق هایی در اطراف بازوهای آن تعبیه شده است و پلان همکف آن با بنای موسوم به زندان هارون در تپه ماهورهای ضلع شمالی جاده خاوران مربوط به قرن دوم هجری قمری کاملاً منطبق و فقط در جای بازشوهای ورودی اتاقها متفاوت است.
تزئینات قطار بندی بالای بدنه بیرونی دیوارها که به عنوان آبچکان عمل می‌نموده اند و بخش اندکی از آن در قسمتی از دیوار شمالی موجود است و برای تزئین بخش‌هایی از قلعه سنگی می‌توان خشت‌های خام و آجر را نیز مشاهده کرد. مصالح مهم این بنای تاریخی را سنگ لاشه‌ها و ملاط آن را گل، آهک و گچ زبر تشکیل می‌دهد که در استحکام بنا نقش مهمی داشته است. با توجه به سهولت تهیه مصالح، اکثر بناهای تاریخی کهن با خشت خام ساخته شده‌اند، پس از آن بناهای آجری که با زحمت بیشتری نسبت به بناهای خشتی ساخته شده، در نهایت احداث بناهای سنگی بوده که علاوه بر سختی کار، پرهزینه هم بوده است.
بناهای سنگی که به علت شرایط منطقه، ناامنی، ضرورت استحکام و پایداری زیاد در جنگ‌ها ساخته می‌شده بسیار پرزحمت بوده، استخراج سنگ برای ساخت این بنای عظیم با ابزار و آلات ساده به صورت دستی و حمل این سنگ‌ها توسط چهارپایان انجام می‌شده و احداث بنای قلعه سنگی بیش از 200 سال تخمین زده شده است.

در دوره ساسانیان ایجاد راه‌ها و جاده‌ها حائز اهمیت بوده به گونه‌ای که در این دوران اقتصاد کشور وارد مرحله نوین شد که این مسئله سبب گردید در مسیر جاده‌های تجارتی و اصلی کشور، این‌گونه بناها احداث شود. با توجه به وسعت دشتهای حاصلخیز منطقه این فرض که از این مکان در دوران آبادانی به عنوان جایگاه مربوط به امور حکومت در منطقه شهریار استفاده می‌شده است را بیشتر می‌کند.
ابوالحسن خان فخرالملک در سفرنامه خود چنین گفته است:«از رودخانه که گذشتیم (منظور رودخانه شور) به فاصله یک میدان به کاروانسرای سنگی رسیدیم که بنای آن از سنگ و گچ است. از مصالح این کاروانسرا اگر بخواهند پلی بسازند خیلی به کار می‌خورد. چون در این صحرا سنگ یافت نمی‌شود.
میرزا حسن خان دیوان بیگی می‌نویسد:بین الطوعین رسیدیم به کاروانسرای مشهور، جای بد و مهیب و خالی از سکنه است...اهمیت این کاروانسرا علاوه بر سابقه تاریخی به دلیل ویژگی‌های منحصر به فردیست که آن را در میان کاروانسراهای کشور ممتاز می‌نماید.ارتفاع بلند دیواره‌های پیرامونی که در گوشه‌ها و میانه اضلاع به وسیله برجهای نیم دایره از حالت یکنواخت بیرون آمده و بیشتر از استفاده دفاعی به عنوان پشت بند دیواره‌های مرتفع کاروانسرا عملکرد دارند. (در بخش ورودی بنا این وظیفه را جرزهای اطراف انجام می‌دهند) به کار بردن سنگ در ساخت بنا که به صورت لاشه سنگ با ملات گچ، کلیت بنا از جمله طاقهای آن به ویژه چهار طاق اتاقهای موجود در چهار زاویه را شکل داده اند و به دلیل ابعاد بیشتر این فضاها نسبت به حجره‌های پیرامون حیاط به لحاظ فنی اجزای پیچیده‌تری دارند.
این اثر در تاریخ ۹ آبان ۱۳۷۷ با شمارهٔ ثبت ۲۱۳۸ به‌عنوان یکی از آثار ملی ایران به ثبت رسیده است.