เมื่อวันที่    ๒๓    ตุลาคม   ๒๔๕๓  พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว   รัชกาลที่ ๕     ทรงประชวร เสด็จสวรรคต  ณ พระที่นั่งอัมพรสถานพระราชวังดุสิต   ครั้นนั้นเป็นที่เศร้าสลดอย่างใหญ่หลวงของพระบรมวงศานุวงศ์ และปวงชนทั่วประเทศ เพราะพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวทรงเป็นกษัตริย์ที่เคารพรักของหวยราษฎร์ ทรงมี พระมหากรุณาธิคุณอเนกประการทั้งในการปกครองบ้านเมือง      และพระราชทานความร่มเย็นเป็นสุขแก่ชนทุกหมู่เหล่า ทวยราษฎร์ทั้งปวงจึงได้ถวายพระนามว่า  พระปิยมหาราช   หรือพระพุทธเจ้าหลวง  
                  เมื่อถวายพระเพลิงพระบรมศพตาม ราชประเพณีแล้ว     ครั้งเมื่อบรรจบอภิลักขิตสมัยคล้ายวันสวรรคต  พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัว  รัชกาลที่ ๖   ผู้สืบราชสันตติวงศ์    ได้ทรงบำเพ็ญพระราชกุศลทักษิณานุปทานถวายตามราชประเพณี     โดยเชิญพระโกศพระบรมอัฐิ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว   ออกประดิษฐานบนพระแท่นนพปฎลมหาเศวตฉัตร   และเชิญพระพุทธรูป ปางประจำพระชนมวารประดิษฐาน    ณ   โต๊ะหมู่ในพระที่นั่งจักรีมหาปราสาท   หรือพระที่นั่งอนันตสมาคม                      
                  ส่วนที่พระบรมราชานุสาวรีย์พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ณ  พระลานพระราชวังดุสิต หน้าที่ นั่งอนันตสมาคมที่เรียกว่าพระบรมรูปทรงม้า ซึ่งเป็นพระบรมราชานุสาวรีย์ที่พระบรมวงศานุวงศ์ข้าราชการ พ่อค้า คหบดี ปวงชนชาวไทยทุกหมู่เหล่า   ผู้สำนึกในพระมหากรุณาธิคุณได้ร่วมใจกัน รวบรวมเงินจัดสร้างประดิษฐานขึ้นน้อมเกล้าฯ ถวายพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว     ขณะที่ทรงพระชนม์อยู่       เนื่องในมหามงคลสมัยที่ทรงครองราชย์ ยั่งยืนนานถึง๔๐  ปี   และพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว   ได้เสด็จพระราชดำเนินมาทรงเปิดพระบรมราชานุสาวรีย์ด้วยพระองค์เอง      เมื่อวันที่  ๑๐  พฤศจิกายนพ.ศ. ๒๔๕๑   นั้น     ต่อมาทางราชการได้ประกาศให้วันที่   ๒๓  ตุลาคม   ซึ่งเป็นวันสวรรคตของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เป็นวันที่ระลึกสำคัญของชาติเรียกว่า วันปิยมหาราช    และกำหนดให้หยุดราชการวันหนึ่ง                        
                   ในวันปิยมหาราช      เจ้าหน้าที่กระทรวงมหาดไทยซึ่งต่อมาเป็นกรุงเทพมหานคร    ร่วมด้วยกระทรวงวัง ซึ่งต่อมาเป็นสำนักพระราชวังได้จัดตกแต่งพระบรมราชานุสาวรีย์    ตั้งราชวัติ   ฉัตร  ๕  ชั้น   ประดับโคมไฟ  ราวเทียม  กระถางธูป   ทอดเครื่องราชสักการะที่หน้าพระบรมราชานุสาวรีย์ตั้งแต่นั้นมาจนถึงปัจจุบัน      
                   พระราชพิธีทรงบำเพ็ญพระราชกุศลวันปิยมหาราชครั้งแรก   คือถัดจากปีที่ได้ถวายพระเพลิง พระบรมศพ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว   พระบาทสมเด็จพระมงกุฎเกล้าเจ้าอยู่หัวทรงบำเพ็ญพระราชกุศลทักษิณานุ ปทานถวายแล้ว   ได้เสด็จฯไปถวายพวงมาลา   ทรงจุดธูปเทียนเครื่องราชสักการะที่พระบรมราชานุสาวรีย์  
                   ครั้นต่อมา เมื่อสมเด็จพระศรีพัชรินทราบรมราชินีนาถและสมเด็จพระศรีสวรินทิราบรมราชเทวีพระพันวัสสาอัยยิกาเจ้าเสด็จสวรรคต และถวายพระเพลิงพระบรมศพแล้ว    เมื่อถึงอภิลักขิตสมัยคล้ายวันสวรรคต   พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ก็ได้เชิญพระบรมอัฐิออกประดิษฐาน      ข้างเคียงพระโกศพระบรมอัฐิพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวร่วมใน พระราชพิธีทรงบำเพ็ญพระราชกุศลทักษิณานุปทานด้วย   การพระราชกุศลมีดังนี้
                   เวลา  ๑๖   นาฬิกา  ๓๐  นาที   พระบาทสมเด็จพระเจ้าอยู่หัวและสมเด็จพระนางเจ้าฯ พระบรมราชินีนาถ เสด็จพระราชดำเนินโดยรถยนต์พระที่นั่งจากพระตำหนักจิตรลดารโหฐาน      พระราชวังดุสิตไปยังพระบรมราชานุสรณ์   ที่พระลานพระราชวังดุสิต ถวายพวงมาลาแล้วทรงจุดธูปเทียนเครื่องราชสักการะทองทิศ และเครื่องทองน้อย ทรงกราบ ถวายราชสักการะ   แล้วเสด็จพระราชดำเนินไปในการพระราชพิธีทรงบำเพ็ญพระราชกุศลทักษิณานุปทาน  ณ พระที่นั่ง อมรินทรวินิจฉัยในพระบรมมหาราชวัง        ทรงจุดธูปเทียนเครื่องนมัสการบูชาพระพุทธรูปปางประจำพระชนมวารของ พระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว   เจริญพระพุทธมนต์จบแล้ว   พระบาทสมเด็จพระเจ้าอยู่หัวทรงจุดธูปเทียน เครื่องทรงธรรม      พระราชาคณะถวายพระธรรมเทศนากัณฑ์    ๑    จบแล้ว พระบาทสมเด็จพระเจ้าอยู่หัวทรงประเคน จตุปัจจัยไทยธรรมกัณฑ์เทศน์แล้ว    ทรงทอดผ้าไตรพระสงฆ์ที่เจริญพระพุทธมนต์และพระราชาคณะที่ถวายพระธรรม เทศนาสดับปกรณ์พระบรมอัฐิ    ถวายอนุโมทนา    ถวายอดิเรก    ถวายพระพรลา     พระบาทสมเด็จพระเจ้าอยู่หัวและ สมเด็จพระนางเจ้าฯพระบรมราชินีนาถ   เสด็จพระราชดำเนินกลับ