抗日战争爆发后，八路军战士迅速展开行动，奋勇抗击敌人。以山东省为例，齐鲁大地英雄儿女辈出，黎玉所率领的山东纵队给日军造成重创。
1906年，黎玉出生在山西崞县（今原平），并在20岁那年入了*党**，黎玉在不少省份都任过职。他曾是天津市委书记，也担任过唐山市委书记，最让人难忘的应该是在山东省的那段时间。
在1939年的时候，山东主要拥有三支主力武装部队，兵力规模接近7万人。与其它地区有所不同的是，这些武装部队多是由原来的起义军组成，之后才被改编成为山东纵队。
当时，根据上级安排，针对八路军的山东纵队，由张经武担任纵队总指挥，黎玉担任政委。纵队下面分设8个支队，部队主要分散在鲁南、胶东、鲁南等地区。
后来，在第115师第343旅、第129师部分军力为基础的条件下，又组建起东进抗日挺进纵队，纵队的司令员则由肖华担任。第115师的师部主力和第685团，主要由罗荣桓带领。
在黎玉担任政委期间，强化对山东纵队的培训，不仅按照人员数量完成编制划分，还配合其它部门改善了对纵队的物资筹备。可以说，黎玉的支持让山东纵队朝着正规化的方向迈进了一大步。
结合当时的条件，山东纵队主要是依靠山东地下*党**建立起来的，有些土生土长的味道。因此，在人员快速扩充的情况下，训练可能跟不上。黎玉针对这一点，倡导纵队人员要向老八路战士学习，取长补短，共同进步。
同时，黎玉的提倡也深受当地百姓支持，大家踊跃筹款献粮，不少群众自发报名，表示愿意为八路军战士做棉衣、制作军鞋。
在齐心协力、共同抗击敌人的倡导下，从1938年到1940年，短短3年间山东纵队与日军累计交战的次数超过2000次，并俘虏了日军一名中将，缴获了大量物资。
在1941年，上级下达命令，整个山东分局的工作交付给罗荣桓、黎玉、朱瑞、陈光来负责。黎玉积极配合罗荣桓工作，开辟创建山东抗日根据地，并率领部队痛击敌人。
在1944年以及1945年8月前（日军投降前），山东纵队对日伪军实施强力*攻反**，很快就解放了山东大部分区域。
有一段时间，罗荣桓元帅的身体状况欠佳，因为工作操劳过度，所以出现了痔疮病疾，随着病情加重，身体变得较为虚弱。虽然罗帅（罗荣桓元帅）一直强调自己能坚持下来，但身边的革命同志仍是为他担心。
有人将罗帅的情况汇报给上级，毛主席在延安获悉状况后，很快发过来一封电报，告知罗荣桓要注意身体，部分工作可以交由黎玉来处理。
等到建国后，黎玉在1953年被调派到中央财经委员会去工作，后在次年被任命为农机部副部长。