จุดเริ่มต้นของการรวมตัวกันของนักเรียนเก่าญี่ปุ่นเกิดจากประกาศกระทรวงกลาโหมระดมผู้ที่สามารถพูดภาษาญี่ปุ่นได้ให้สมัครเข้ามาช่วยราชการทหารให้สามารถประสานงานร่วมกับกองทัพญี่ปุ่นที่เข้ามาตั้งฐานทัพในประเทศไทยตั้งแต่วันที่ 8 ธันวาคม พ.ศ. 2484 ซึ่งนับว่าเป็นการระดมนักเรียนเก่าญี่ปุ่นทุกรุ่นให้เข้ามารวมกันครั้งใหญ่แล้วยังเป็นการจุดประกายความคิดในการก่อตั้งสมาคมนักเรียนเก่าญี่ปุ่นอีกด้วย แม้ว่าสงครามเลิกแล้ว บรรดานักเรียนเก่าญี่ปุ่นมีการพบปะกันมากขึ้นและในที่สุดก็หารือกันจัดตั้งสมาคมขึ้นเพื่อเป็นศูนย์กลางข่าวสารของนักเรียนเก่าญี่ปุ่น เผื่อว่าสมาคมจะให้ความช่วยเหลือไปให้จากความตกต่ำของเศรษฐกิจภายหลังสงคราม
ต่อมานักเรียนเก่าญี่ปุ่นพร้อมใจกันก่อตั้ง “สมาคมนักเรียนเก่าญี่ปุ่น” หรือ Old Japan Students’ Association ชื่อย่อคือ OJSA เมื่อวันที่ 15 กันยายน พ.ศ. 2494 เพื่อเป็นศูนย์กลางการรวมตัวกันดำเนินกิจกรรมของนักเรียนเก่าญี่ปุ่นในประเทศไทย โดยมี พล.ร.ต.พระจักรานุกรกิจ เจ้ากรมอู่ทหารเรือ เป็นนายกสมาคมท่านแรก
ผู้มีบทบาทสำคัญอีกท่านคือ อาจารย์สมถวิล สังขะทรัพย์ ซึ่งร่วมก่อตั้งสมาคมฯและสนับสนุนการดำเนินกิจกรรมของสมาคมตั้งแต่แรก โดยอนุญาตให้ใช้โรงเรียนสมถวิล ถนนราขดำริ เป็นที่ทำการของสมาคมฯ ในช่วงแรก
สมาคมนักเรียนเก่าญี่ปุ่น ในพระบรมราชูปถัมภ์ ขอแสดงความขอบคุณอย่างสูง ต่อการสนับสนุนอย่างดีเยี่ยมจากรัฐบาลญี่ปุ่นและสถานเอกอัครราชทูตญี่ปุ่นประจำประเทศไทยตลอดระยะเวลา 72 ปีนี้
ในช่วงแรกของการก่อตั้งสมาคมฯไม่มีสถานที่เป็นหลักแหล่งต้องย้ายที่ตั้งทุกครั้งที่มีการเลือกตั้งนายกสมาคม เมื่อประกอบเข้ากับเป็นสมาคมนักเรียนเก่าจบจากประเทศแพ้สงคราม สมาคมจึงมีสภาพเหมือนแพแตก
ช่วงวิกฤตของสมาคมนักเรียนเก่าญี่ปุ่น ท่านบุญชิต เกตุรายนาค นายกสมาคมในช่วงนั้น เป็นผู้ทำให้สมาคมฯ ผ่านพ้นวิกฤตต่างๆ โดยให้สมาคมฯยืมเงินโดยไม่คิดดอกเบี้ยเพื่อใช้เป็นเงินทุนสำหรับการดำเนินกิจกรรมของสมาคมฯ อาทิ การก่อตั้งโรงเรียนสอนภาษาญี่ปุ่นราชดำริเพื่อสร้างรายได้แก่สมาคมฯ
ยิ่งกว่านั้นท่านยังใช้เงินส่วนตัวซื้อลูกช้างและตั้งชื่อว่า “แม่น้ำ” เพื่อทูลเกล้าถวายแด่ “องค์มกุฎราชกุมาร” แห่งประเทศญี่ปุ่น ในโอกาสที่เสด็จมาเป็นประธานเปิดโรงเรียนเมื่อปี พ.ศ. 2507 ด้วย ท่านจึงเป็นผู้มีคุณูปการต่อสมาคมฯ อย่างมาก
ด้วยความคิดของอาจารย์สมถวิล สังขะทรัพย์ และวิสัยทัศน์ของท่านนายกบุญชิต เกตุรายนาค สมาคมฯ จึงก่อตั้งโรงเรียนสอนภาษาญี่ปุ่นราชดำริ ซึ่งเป็นโรงเรียนสอนภาษาญี่ปุ่นแห่งแรกของประเทศไทยเพื่อสอนภาษาญี่ปุ่นแก่คนไทยซึ่งสนใจภาษาญี่ปุ่นและเพื่อสร้างรายได้แก่สมาคมฯ สำหรับใช้ในการดำเนินกิจกรรมต่างๆ
เมื่อวันที่ 15 ธันวาคม พ.ศ. 2507 สมาคมนักเรียนเก่าญี่ปุ่น ได้มีโอกาสรับเสด็จสมเด็จเจ้าฟ้าชายอากิฮิโต มกุฎราชกุมารญี่ปุ่น (ต่อมาคือ องค์สมเด็จพระจักรพรรดิรัชสมัยเฮเซ) และเจ้าหญิงมิชิโกะ พระชายาที่เสด็จมาเยือนประเทศไทย ในฐานะทรงเป็นพระราชอาคันตุกะของพระบาทสมเด็จพระเจ้าอยู่หัวภูมิพลอดุลยเดช สมาคมฯติดต่อสถานเอกอัครราชทูตญี่ปุ่นประจำประเทศไทย ทูลอัญเชิญเสด็จพระราชดำเนินมาที่ทำการของสมาคมฯ เพื่อทรงทำพิธีเปิดโรงเรียนสอนภาษาญี่ปุ่นของสมาคมนักเรียนเก่าญี่ปุ่น
และพระราชทานพระดำรัสความว่า “โรงเรียนสอนภาษาญี่ปุ่นที่จะเปิดขึ้นในวันนี้ คงจะเป็นประโยชน์อันใหญ่หลวงในการส่งเสริม ทำความเข้าใจซึ่งกันและกันระหว่างประเทศข้าพเจ้าขอแสดงความหวังว่าสมาคมนักเรียนเก่าญี่ปุ่น และโรงเรียนสอนภาษาญี่ปุ่นจะได้ประสบความเจริญรุ่งเรืองยิ่งขึ้นต่อๆไปในอนาคตกาล”
เมื่อวันที่ 26 มกราคม พ.ศ. 2509 พระบาทสมเด็จพระเจ้าอยู่หัวภูมิพลอดุลยเดช ทรงพระกรุณาโปรดเกล้าฯ ให้สมาคมนักเรียนเก่าญี่ปุ่นอยู่ในพระบรมราชูปถัมภ์
สมาคมนักเรียนเก่าญี่ปุ่นมีความสัมพันธ์อันดีกับสมาคมญี่ปุ่นในประเทศไทย หอการค้าญี่ปุ่นและชาวญี่ปุ่นที่พำนักในประเทศไทย และทำกิจกรรมร่วมกันมาอย่างต่อเนื่องยาวนาน อาทิ กิจกรรม Bon Odori
สมาคมฯ ร่วมมือกับสถานเอกอัครราชทูตญี่ปุ่นประจำประเทศไทย Japan Foundation หอการค้าญี่ปุ่น สมาคมญี่ปุ่น (Japanese Association in Thailand) และบริษัทเอกชนของประเทศญี่ปุ่น จัดประกวดสุนทรพจน์ภาษาญี่ปุ่น เพื่อส่งเสริมการเรียนรู้ภาษาญี่ปุ่น มาตั้งแต่ปี พ.ศ. 2516 และจัดการประกวดสุนทรพจน์ภาษาญี่ปุ่นมาแล้ว รวม 49 ครั้ง
สมาคมฯ ได้รับการสนับสนุน จาก Toshiba International Foundation ในการจัดสัมมนาโตชิบาเพื่อส่งเสริมการพัฒนาการเรียนการสอนด้านภาษาญี่ปุ่นในประเทศไทยมาตั้งแต่ปี พ.ศ. 2537 และพัฒนารูปแบบการจัดสัมมนามาโดยตลอด ปัจจุบันสามารถจัดสัมมนารูปแบบ Hybrid โดยผู้ไม่สะดวกเดินทางหรือกรณีมีผู้สนใจเข้าร่วมมากกว่าที่นั่งที่มีอยู่ก็สามารถเข้าร่วมสัมมนาผ่านระบบออนไลน์ได้
สมาคมนักเรียนเก่าญี่ปุ่น ในพระบรมราชูปถัมภ์ ร่วมกับ 4 สมาคมนักเรียนเก่าญี่ปุ่น ของประเทศฟิลิปปินส์ อินโดนีเซีย มาเลเซีย และ สิงคโปร์ ก่อตั้งสมาพันธ์สมาคมนักเรียนเก่าญี่ปุ่นภาคพื้นอาเซียน หรือ ASCOJA ซึ่งย่อมาจาก ASEAN Council of Japan Alumni เมื่อปี พ.ศ. 2520 เพื่อเสริมสร้างความสัมพันธ์อันดีระหว่างสมาคมสมาชิกและกับประเทศญี่ปุ่น
ต่อมาขยายจำนวนสมาคมสมาชิกอีก 5 ประเทศ ได้แก่ บรูไน เมียนมา เวียดนาม กัมพูชา และ ลาว จนครบ 10 ประเทศในอาเซียนและดำเนินกิจกรรมสำคัญร่วมกันคือ การจัดประชุมใหญ่ ASCOJA Conference โดยหมุนเวียนเป็นเจ้าภาพการจัดงานมาอย่างต่อเนื่องรวม 27 ครั้ง และปี พ.ศ. 2568 ส.น.ญ. ได้รับเกียรติเป็นเจ้าภาพจัดงาน 28th ASCOJA Conference in Bangkok
สมาคมฯ ก่อตั้งสาขาภาคเหนือ เมื่อปี พ.ศ. 2529 ณ จังหวัดเชียงใหม่ เพื่อรองรับการดำเนินกิจกรรมร่วมกันอย่างแข็งขันของนักเรียนเก่าญี่ปุ่นซึ่งทำงานและพำนักในจังหวัดเชียงใหม่และจังหวัด
ในภาคเหนือเนื่องจากสมาคมฯ ดำเนินกิจกรรมร่วมกับต่างประเทศมากขึ้น ดังนั้นเพื่อให้เกิดความชัดเจนในสถานภาพของประเทศไทย จึงเปลี่ยนชื่อภาษาอังกฤษของสมาคมฯ จาก Old Japan Students’ Association (OJSA) เป็น Old Japan Students’ Association, Kingdom of Thailand (OJSAT) เมื่อปี พ.ศ. 2537
ปี 2544 เมื่อครบรอบ 50 ปีของการก่อตั้ง สมาคมฯได้รับรางวัล The Japan Foundation Special Prize จาก Japan Foundation เนื่องจากสมาคมฯ มีบทบาทส่งเสริมการแลกเปลี่ยนวัฒนธรรมระหว่างประเทศไทยและประเทศญี่ปุ่นอย่างมากตลอดระยะเวลาหลายสิบปี และนายกสมาคมฯ ในขณะนั้นคือ ท่านฉัตรชัย ขุมทรัพย์ ได้รับพระราชทานโอกาส เข้าเฝ้าสมเด็จพระจักรพรรดิญี่ปุ่น และสมเด็จพระจักรพรรดินี ณ กรุงโตเกียว ด้วย
สิ่งที่น่าภาคภูมิใจมากคือ ตลอดระยะเวลาเกือบ 40 ปีนี้ สมาคมนักเรียนเก่าญี่ปุ่น ในพระบรมราชูปถัมภ์ ได้รับความไว้วางใจจาก Japan Foundation โดยได้รับมอบหมายให้เป็นผู้รับผิดชอบการจัดสอบวัดระดับภาษาญี่ปุ่น หรือ Japanese Language Proficiency Test สนามสอบกรุงเทพมหานคร ตั้งแต่ปีพ.ศ. 2527 หรือเมื่อ 39 ปีก่อนและผู้สนใจสมัครสอบเพิ่มขึ้นทุกปี การสอบครั้งล่าสุด เมื่อวันที่ 3 ธันวาคม พ.ศ. 2566 ณ มหาวิทยาลัยเกษตรศาสตร์ มีผู้สมัครสอบรวมทั้งสิ้น 15,315 คน ซึ่งสูงสุดเท่าที่เคยจัดสอบมา สมาคมฯ ขอขอบคุณ Japan Foundation อย่างสูงที่ไว้วางใจสมาคมฯ มาโดยตลอด
รวมทั้งได้รับความไว้วางใจจาก Japan Student Services Organization JASSO ซึ่งมอบหมายให้สมาคมฯ เป็นผู้รับผิดชอบการจัดงาน Study Japan มาอย่างต่อเนื่องเป็นระยะเวลากว่า 10 ปี จนเมื่อเกิดวิกฤต COVID-19 ทำให้ต้องระงับการจัดงานไป
ตลอดระยะเวลา 72 ปี สมาคมฯ ได้จัดกิจกรรมและให้บริการต่างๆแก่สมาชิก เช่น งานรดน้ำดำหัว ในเทศกาลสงกรานต์ งานเลี้ยงสังสรรประจำปี กิจกรรมกีฬา กิจกรรมท่องเที่ยว เป็นต้น
รวมทั้งมอบสิทธิประโยขน์ต่างๆ แก่สมาชิกและบุตรหลานของสมาชิก อาทิ ทุนการศึกษา ASJA-MEXT ของรัฐบาลญี่ปุ่น ซึ่งเป็นความร่วมมือกันระหว่าง ส.น.ญ. กับ ASJA International เพื่อสร้างบุคลากรที่จะเป็นผู้นำในอนาคตและสามารถเป็นสะพานเชื่อมระหว่างประเทศไทยกับประเทศญี่ปุ่นได้ โครงการแลกเปลี่ยนแก่บุตรหลานของสมาชิกรวมทั้งนักเรียนซึ่งเรียนภาษาญี่ปุ่นที่โรงเรียนสอนภาษาญี่ปุ่น ของสมาคมฯ
และสมาคมฯ ยังสร้างประโยชน์แก่สังคมในรูปแบบต่างๆ อาทิ การเผยแพร่วัฒนธรรมญี่ปุ่น การสอนภาษาญี่ปุ่น การจัดประกวดสุนทรพจน์ภาษาญี่ปุ่น การจัดสัมมนา การจัดสอบวัดระดับภาษาญี่ปุ่น การจัดสอบ EJU เพื่อศึกษาต่อ ณ ประเทศญี่ปุ่น
เมื่อเกิดสถานการณ์ฉุกเฉิน เช่น ภัยพิบัติใดๆ ขึ้นแล้วทางสมาคมฯ ก็จะเชิญชวนสมาชิกเพื่อร่วมกันบริจาคเงินเหรือความช่วยเหลือแก่ผู้ประสบภัยมาโดยตลอด
สมาคมนักเรียนเก่าญี่ปุ่น ร่วมกับมูลนิธินักเรียนเก่าญี่ปุ่นและชาวญี่ปุ่นในประเทศไทย ร่วมกันทอดกฐินสามัคคี เพื่อทำนุบำรุงศาสนาพุทธอีกด้วย และแบ่งปันให้แก่ผู้ที่ขาดแคลนหรือต้องการความช่วยเหลือในโอกาสต่างๆ และสมาคมฯจะดำเนินการสิ่งต่างๆเหล่านี้ให้ดียิ่งขึ้นต่อไป
สุดท้ายนี้สมาคมนักเรียนเก่าญี่ปุ่น ในพระบรมราชูปถัมภ์ ขอแสดงความขอบคุณอย่างสูงต่อท่านสมาชิก องค์กรและหน่วยงานต่างๆ ซึ่งสนับสนุนสมาคมฯมาตลอดระยะเวลายาวนานถึง 72 ปี