山西大学堂初一成立，为了解决西斋教学所急需的教材和适应当时全国兴办学堂的要求，李提摩太由西斋的经费内每年拨出白银一万两，于1902年8月在上海江西路惠福里口120号，设立了山西大学堂译书院。这是中国第二所大学译书院。在上海的另一所译书院，为1902年5月京师大学堂上海译书局与南洋公学译书院合办的大学译书院。

该院先由李曼教授负责，李曼教授可能任职不久另有高就而他往，随即聘请美人窦乐安(John Dorroch)博士主持。共有译员11人：除欧美人士4人外，有华人6人，日籍1人。其中，杭州夏曾佑、上虞许家惺和高密朱葆琛，都是当时的翻译名流。此外，尚有润色文字的华人多名。

1903年5月，李提摩太到日本进行参观考察。在此期间，他搜集了日本翻译的西方国家大、中、小学教本，并对日本近代教育的发展情况做了研究。译书院的日籍译员和一名精通日文的华人，都是他在这次访日期间聘请的。

山西大学堂译书院成立后，曾翻译和出版了有关高等、中等以及师范学堂的教学用书和名著共23种。其中主要有：《藤泽算术教科书》上、下册、《代数学教科书》上、下册、《植物学教科书》、《动物学教科书》、《生理学教科书》、《矿物学教科书》、《物理学教科书》、《地文学教科书》、《十九周新学史》、《应用教授学》、《迈尔通史》、《世界商业史》、《克洛特天演学》、《最新天文图志》、《最新地文图志》、《中国编年史表》、《世界故事》、《世界名人传略》、《插图惊奇世界》等。

其中《最新天文图志》为英国希特原著，《最新地文图志》为英世爵崎冀原著。两书均为上海叶青所译。图志对参，注释明晰、五彩制图，十分精美，为我国前所未有之佳本。特别是《迈尔通史》一书，曾在我国广泛流行，影响甚大。该书内容充实，有版本数种，并多次印制。宣统元年(1909年)出版的《迈尔通史》精装本，为大32K，版心双边，天头极宽，上有重要段落列目摘要，书中还有孔子墓等许多插图。

1908年因西斋开设工程科，添购科学设备，出现经费困难，译书院随即停办。译书院虽然只存在了六年，但为引进和传播西方先进的科学技术知识和学术思想作了许多工作，是值得称道的。