สันนิษฐานว่า ปราสาทนี้สร้างในพุทธศตวรรษที่ 12 และมีการบูรณะปฏิสังขรณ์ในพุทธศตวรรษที่ 15 และคงความสำคัญจนถึงพุทธศตวรรษที่ 16 เชื่อว่าเป็นศาสนสถานในศาสนาฮินดู ตัวปราสาทเป็นโบราณสถานไม่ก่ออิฐสอปูน ประกอบด้วยปราสาทก่อด้วยอิฐ 3 หลังคือ ปรางค์ทิศเหนือ ปรางค์องค์กลาง และวิหารทิศใต้ แต่คงเหลือเพียงปรางค์องค์กลางเท่านั้นที่ยังคงสภาพค่อนข้างสมบูรณ์ ส่วนปรางค์ทางทิศเหนือและวิหารทิศใต้เหลือเพียงฐานเท่านั้น ลักษณะเด่น-ปราสาทต่อด้วยอิฐสามหลังช่วงพุทธศตวรรษที่12-16 -รอยพระพุทธบาทเขาน้อย ประวัติตั้งอยู่บนยอดเขาน้อยซึ่งเป็นหินปูนซึ่งสูงจากพื้นพื้นประมาณ130เมตรมีบันไดขึ้นไป125ขั้นเดินต่อไปตามทางลาดไม่ไกลนักก็จะถึงบริเวณตัวประสาทซึ่งประกอบด้วยปรางค์3หลังแต่คงเหลือปรางค์องค์กลางเท่านั้นที่ยังคงสภาพค่อนข้างสมบูรณ์เมื่อปีพ.ศ2478ปราสาทเขาน้อยได้รับการขึ้นทะเบียบเป็นโบราณสถานแห่งชาติจากกรมศิลปากรมีการสำรวจขุดพบทับหลังหินทราย5ชิ้นโบราณวัตถุทำจากโลหะเครื่องปั้นดินเผาและค้นพบแผ่นจารึกบ่งบอกถึงอายุการสร้างปราสาทเรียกว่าจารึกเขาน้อย ข้อมูลเพิ่มเติม
การเดินทางจากถนนทหารร่วมจิตร ผ่านวัดชนะไชยศรี ตามเส้นทางหมายเลข 3067 ไปประมาณ 500 เมตร เลี้ยวซ้ายไป 12 กิโลเมตร ผ่านด่านตรวจนาดง วัดป่าอรัญวาสี จะเห็นวัดเขาน้อย (สีชมพู) อยู่ทางขวามือ ขับเลยวัดไปจนถึงทางแยก เลี้ยวขวาอ้อมไปตามทางขึ้นเขาประมาณ 1 กิโลเมตร มีที่จอดรถขนาดพอประมาณ แล้วเดินเท้าต่อขึ้นไปประมาณ 250 เมตร
