1939年8月9日，为统一领导山东党政军民工作，中共中央北方局批准成立山东军政委员会，隶属北方局。朱瑞任书记，朱瑞、罗荣桓、徐向前、郭洪涛、陈光、黎玉任委员。

1941年8月，经中共中央书记处、中央军委批准，山东纵队与一一五师两军政委员会合并为山东军政委员会，统一山东的军事领导。原北方局批准成立的军政委员会撤销。罗荣桓任书记，罗荣桓、黎玉、陈光、肖华、陈士榘、罗舜初、江华任委员。

1942年9月，实行党的一元化领导后，山东军政委员会撤销。