เป็นบุตรนายเมฆ นางเหม ทองเหลือ นายเมฆนั้นเป็นคนเมืองตากได้นำยาเหนือ (ยาเส้น) มาขายที่หมู่บ้านบางบอนเป็นประจำจึงได้รู้จักแต่งงานกับอำแดงเหม มีบุตรชายหญิง ๕ คน คือ ๙.๑ นายพุ่ม อ่อนทรัพย์ (ใช้นามสกุลทางภรรยา) ๙.๒ หลวงพ่อไปล่ ฉนฺทสโร (ทองเหลือ) ๙.๓ นางคร้าม พลับทอง ๙.๔ นายมั่น ทองเหลือ ๙.๕ นายกิ๊ว ทองเหลือ นายเมฆเมื่อได้แต่งงานอยู่กินกับอำแดงเหมแล้วไม่นาน จึงได้เลิกทำการค้าขายยาเหนือ หันมาประกอบอาชีพทำนาตามอย่างภรรยา ซึ่งได้ทำมาหาเลี้ยงครอบครัวได้รับความสุขตามสมควร เมื่อนายพุ่มได้แต่งงานไปแล้ว นายไปล่จึงทำหน้าที่พี่คนโตอยู่ในบ้านแทน ต้องช่วยพ่อแม่ดูแลการทำไร่ไถนา ตลอดจนงานบ้านการครัว นายไปล่ก็มีความสามารถไม่แพ้ผู้หญิง กล่าวกันว่ามีความถนัดในการใช้กระด้งตะแกรงได้เป็นอย่างดี เช่นการผัด การร่อน การกระทก และกระทาย เป็นต้น รวมทั้งการดูแลพวกน้องๆ เป็นหูเป็นตาแทนพ่อแม่ได้เป็นอย่างดี ด้วยนายไปล่มีนิสัยสุภาพอ่อนโยน และเลื่อมใสศาสนามาตั้งแต่เยาว์ เมื่อครั้งที่หลวงพ่อคงมาบูรณปฏิสังขรณ์ ท่านได้เปิดสำนักเรียนขึ้นสอนหนังสือให้กับผู้ที่มีความประสงค์จะบรรพชาอุปสมบทและเด็กชายที่อยู่ในหมู่บ้านบน บ้านล่าง นายไปล่มีอายุพอที่จะเรียนหนังสือได้แล้ว นายเมฆผู้เป็นพ่อจึงได้นำมาฝากเรียนหนังสือกับหลวงพ่อคง แต่ทว่าไปเรียนเฉพาะวันที่ว่างจากการช่วยเหลือพ่อแม่ทำไร่ทำนาเท่านั้น แต่ด้วยนายไปล่เป็นคนฉลาดสามารถเรียนได้ไม่แพ้ผู้ที่เล่าเรียนอยู่กินนอนประจำทุกวัน ด้วยความฉลาดเฉลียวของนายไปล่ จึงเป็นที่รักใคร่ถูกอัธยาศัยของหลวงพ่อคงเป็นอันมาก ครั้นเมื่ออายุครบ ๒๐ ปี จึงได้บวชเป็นพระ ณ พัทธสีมา วัดกำแพง (ชาวบ้านไม่เรียกว่าวัดสว่างอารมณ์) มีหลวงพ่อคง…เป็นอุปัชฌาย์ หลวงพ่อดิษฐ์…วัดกก เป็นพระกรรมวาจาจารย์ คู่กับหลวงพ่อทัศน์…วัดสิงห์