1901年，清廷迫于国内外各方的多种压力，为了维护其专zhi统zhi，宣布实行所谓的“新政”，并下诏“……各省所有书院于省城均设大学堂……”。时任山西巡抚的岑春煊奉诏，将两座旧时书院合并，用以筹办山西大学堂。
从右至左为山西大学堂的照壁、牌坊和大门（图片来源于网络）
这两座旧时书院，其中一座是始创于明朝的晋阳书院。 山西按察司副使在巡抚衙门旧址，增建号舍并筑三贤堂时，先以“晋阳书院”为名，后又更名为“河汾书院”。后来发展到万历年间，因对当时社会风气和吏制都颇有影响的清议之风，在全国各地的书院中风靡一时，使得朝廷权贵和地方*官高**深怀妒忌，故而万历帝登基后，采纳了执政宰相张居正“诏毁天下书院”的奏疏。河汾书院亦未能幸免，被废止停办。
直到魏元贞担任山西巡抚时，才以建三立祠为名，建起了实质上的三立书院，并迁址于右所街 （今旧城街一带） 。三立书院虽然在后来增加了三立祠中名臣和乡贤的总数，并进行了整顿，但在明末清初的*乱动**中，还是变得颓废不堪。
清朝建立以后，山西巡抚白如梅在顺治年间，在府城东南侯家巷购地，新建院舍百余间并另建三立祠，将书院又迁回了原河汾书院的故址，但这一时期的书院总面积，相较建成之初有所扩展。雍正年间，三立书院正式复名为“晋阳书院”，由地方官办，成为国家创办的晋省最高学府。此后200余年里，书院一直设在侯家巷，并在历任巡抚的增建下发展到鼎盛。
另一座书院则是清朝后期，张之洞继任山西巡抚后创建的令德堂，又名令德书院。初时设在太原府署西偏明代晋藩宝贤堂旧址，后来迁去了当时的并州乡试贡院，即今天的文瀛公园内。百日维新期间，令德堂被改为山西省会学堂，并进行了一些改革。义和团运动爆发后，因为被强占为临时教堂而停办。
山西大学堂图书馆（图片来源于网络）
1902年春，奏报光绪帝批准，合并了两座书院的山西大学堂宣告成立。在1903年《奏定学堂章程》颁布后，成为全国仅有的三所大学堂之一。
山西大学堂是中国最早的三所国立大学堂之一，和北洋大学堂 （现天津大学） ，京师大学堂 （现北京大学） 一同开启了中国高等教育的新纪元。
大学堂成立后不久，岑春煊在接受英人李提摩太的建议并奏请清廷批准后，增设了西学专斋，大学堂由此成为了一所中西共为一体的新式学堂。经过改制，原有部分专教中学，被称为中学专斋，由华人负责，总理是晋阳书院的最后一任山长谷如墉，总教习是曾任山西提学使的高燮曾。初时以今天文瀛公园内的乡试贡院为临时斋舍，在1904年夏，和西斋同时迁入了侯家巷的新校舍。
中斋最初的教学内容和方法基本承袭令德堂旧制，课程分经、史、政、艺四科，此外又设有高等科和三年制预科。教学时，教习按品职依次列坐正中，学生集中于大堂分坐两侧听课，每月初八统一举行考试，成绩优异者按等级发放奖金。学生毕业后，还会根据毕业考试成绩，被授予拔贡、优贡或岁贡等 “贡生名义”。
1904年，山西大学堂进行了一次整顿，特别对课程设置进行了较大的改革。这次改革将高等科分为了两类，分别以文为主和以理为主，旧课程只保留了经学一门，另增设四门外文，以及代数、几何、物理、化学、地理、历史、生物、图画、音乐和体操等课程。至1905年中斋第一批学生毕业，两年间还选派了40名优秀学生留学日本。
山西大学堂礼堂外景（图片来源于网络）
山西大学堂成立十年后，遵照新的教育法令，改名为山西大学校，同时取消了中学专斋与西学专斋的建制，又设立了分为文法科和理工科两部的预科，以及分文法工三科的本科。由此奠定了以后文理多科的综合性大学的基础。
1914年，山西省省立工业专门学校并入。四年后，山西大学校被列入国立范围，改称国立第三大学，1931年改名为山西大学，1943年春又改名国立山西大学。此后在解放前夕，山西省省立法学校、山西省省立教育学院、山西省省立工业专科学校、山西省省立农业专科学校、川至医学专科学校、中国大学理学院相继并入。
抗战期间，各学院分别迁往了平遥、运城、临汾等地。后来山西大学被迫停办，至1939年冬才在陕西三原复校。复校后又先后迁往了陕西虎啸沟和 山西克难坡等地，至1946年春才得以重返太原侯家巷校址。又在 1948年夏，因不满阎锡山的统zhi，先后迁往了北平和张家口等地，至1949年春才再次返回太原。1951年，学校复名山西大学。同年夏季，由北京师范大学理学院二部，更名而来的国立山西大学理学院，从太谷迁入了太原侯家巷校址。
山西大学坞城校区门楼（图片来源于网络）
新中国成立初期，学校设有文、理、医、工、法五个学院。先有法学院法律系并入北京大学，后经过1952~1953年间的院系调整，文理两院合并，改称山西师范学院；工学院的冶金工程系参与组建新成立的北京钢铁工业学院 （今北京科技大学） ，纺织工程系和采矿工程系并入西北工学院 （今西北工业大学） ，其余部分独立建校为太原工学院 （今太原理工大学） ；医学院独立建校，更名为山西医学院 （今山西医科大学） ；法学院改称财经学院，后划归中国人民大学。
1953年，山西大学更名为山西师范学院。六年后，山西省人民委员会 （即山西省人民政fu） 决定 重新组建山西大学，同年秋天， 借用山西师范学院部分校舍办学的新山西大学成立。1961年，新成立的山西大学与山西师范学院合并， 原山西大学得以恢复， 仍以“山西大学”为校名，此后未有更改，又有山西体育学院、山西艺术学院和太原电力高等专科学校相继并入。
至今日，走过一百二十年风雨与坎坷的山西大学，已经成为了中国办学历史最悠久的高等学府之一。它如校方简介所言，“欣逢盛世，高歌前行”，在数十年几代人的努力下，从旧时书院，到山西省重点建设大学，再到国家“双一流”建设高校，教育部和山西省人民政fu共同建设的“部省合建高校”。如今的规模与成就，岑春煊在建成山西大学堂时也许未曾预想。
山西大学校徽（图片来源于网络）