小学教育除了教育的特点外，还有独特的基本特征：一是全民性；二是义务性；三是全面性。
初等教育机构最早产生于十六世纪的德国，由城镇主办，教习实用知识和新教教义。
十七世纪初，这种学校逐渐增多，成为实施义务教育的机构。欧洲各国和日本在资产阶级革命以后，也相继成立。
教授学童识字的“小学”，古代也叫“蒙学”，包括教育阶段及教育场所两种含义。教育内容主要是识字、写字和封建道德教育。教材一般为《蒙求》、《三字经》、《百家姓》、《千字文》、《四书》等。没有固定年限。采用个别教学，注重背诵，练习。在学的学生也叫“蒙生”。
现代学堂和教育制度是西方传教士引入中国的。19世纪末20世纪初，中国现代教育奠基人何子渊、丘逢甲等人开风气之先，排除顽固守旧势力的干扰，成功引入西学（美式教育），创办新式学校将平民教育纳入满清朝庭的视野。清政府迫于形势压力，不得不对教育革新网开一面，于1905年末颁布新学制，废除科举制，并在全国范围内推广新式学堂。宣统元年（1909年），地方科举考试真正停止以后，西学逐渐成为学校教育的主要形式。
农村小学
国民政府于1915年改初等小学堂为国民学校，“以授以国民道德之基础及国民生活所必需之普通知识技能为本旨”。“小学堂”划分为初等小学堂和高等小学堂。六岁入学，修业四年，毕业后视具体情况可升入高等小学校（修业三年）。另设预备学校，同国民学校、高等小学校平行，“以施以初等普通教育、预备升入中学为本旨”。国民学校分前期（四年）和后期（三年）。1922年，国民学校改为初等小学校，取消预备学校。1940年，国民政府实行所谓“管、教、养、卫一体”，规定各乡设中心国民学校（相当于中心小学），由乡长兼任乡壮丁队长和校长，各保设国民学校（相当于村小），校长由保长兼任。
中华人民共和国成立后，在乡镇（人民公社）一级设置一所中心小学，在各村（生产大队）设村小。随着老龄化加速，幼儿人口比重下降，小学生源减少，各村小开始撤并，很多地方仅保留寄宿制中心小学，使得路途遥远的学生上学极为不便。
新中国的小学学制，废除了民国时期的初小和高小之分，实行一贯制小学，先后有五年制和六年制小学。
由于推行九年制义务教育，小学升初中不再实行考试。