1909年3月，由英国福公司投资创办的焦作路矿学堂在河南焦作成立，校址位于河南焦作煤矿附近的西焦作村，占地50亩。学校名称定为“焦作路矿学堂”，是为中国矿业大学的前身。

1915年6月1日，福中总公司成立同时恢复了因矿权纠纷中断办学经费而停办两年多的路矿学堂，并改名为福中矿务学校。同一天，福中矿务学校在开封举行成立典礼，并决定以6月1日为学校的校庆纪念日。

1919年2月，学校正式举办了正科，此为学校正科始创时期。“正科”的举办，使学校成为一所既有预科又有本科的专门学校，学校也因此改名为“福中矿务专门学校”。从福中矿务学校到福中矿务专门学校标志着学校事业的进一步发展。

1915年6月1日，停办了两年的焦作路矿学堂在开封复校，定名为河南福中矿务学校。 1919年2月，学校更名为福中矿务专门学校。 1921年夏，学校更名为福中矿务大学。

1931年8月12日，国民政府教育部回复河南省政府，同意私立焦作工学院暂予立案。 1933年8月，国民政府教育部批准私立焦作工学院正式立案，并改科称系。

1938年7月27日，国立西北联合大学工学院（原北洋工学院、北平大学工学院）、国立东北大学工学院和私立焦作工学院合并改组为国立西北工学院，校址定在陕西城固。 1938年11月，私立焦作工学院师生从甘肃天水乘汽车出发来到陕西城固古路坝，12月正式复课。

1946年8月私立焦作工学院在河南洛阳关林复校。1947年11月学校在郑州开学。1948年8月下旬，焦作工学院从郑州迁往江苏苏州。1949年9月，焦作工学院从江苏苏州迁返河南焦作。

1950年秋，焦作工学院院址由焦作迁往天津，同时更名为中国矿业学院。1952年中国矿业学院在北京建校。天津部分称津院，北京部分称京院。中国矿业学院又进入了一个短暂的津、京两地办学过渡时期。

1952年院系调整期间，北洋大学、唐山交大、清华大学的采矿系调整到中国矿业学院，学校因此聚集了全国一流的采矿科学技术人才。 1953年9月中国矿业学院改称北京矿业学院。成为北京学院路著名的“八大学院”之一。

1970年6月8日，四川省革命委员会发出（川革函[7]411号文）《关于北京矿业学院搬迁我省有关问题的通知》，正式批准北京矿业学院搬迁四川华蓥山矿区建校。校址最终选定在四川省合川县三汇坝镇的东面。 1970年8月，学校更名为四川矿业学院。

1978年6月23日，学校正式恢复启用中国矿业学院的校名。1978年10月，徐州校园建设工作开始。 1980年9月，中国矿业学院徐州新校址迎来了80级新生，这是学院在徐州入学的第一届学生。

1988年，学校更名为中国矿业大学，邓小平同志亲笔为学校题写校名。1997年，设立中国矿业大学北京校区。1998年，煤炭工业部撤销，学校划归国家煤炭工业局管理。2000年，学校整体划转教育部直属管理。2003年，中国矿业大学（北京校区）更名中国矿业大学（北京）独立办学，中国矿业大学和中国矿业大学（北京）成为两个相互独立的办学实体。2004年，成为全国正式拥有研究生院的56所高校之一。2006年成为“985优势学科创新平台项目”建设高校，2017年成为一流学科建设高校。