鲁南战役从定下决心到1947年1月2日发起，仅有八九天时间，战前准备工作极为紧张。战役第一阶段的兵力部署是在北上途中完成的。
在部队接近集结地域前，陈毅司令员主持召开了各纵队和师负责人参加的*战野**军作战会议。会上介绍了敌情，传达了*共中**中央军委、毛*东泽**主席关于鲁南战役的指示，宣布了*战野**军的战役决心，进行了具体的作战部署。陈毅在会议上着重强调了集中统一指挥的重要性，要求山东*战野**军和华中*战野**军加强团结，互相学习，密切协同，主动出击。陈毅的讲话，对于两大*战野**军提高认识，统一思想，加强团结，共同夺取胜利，起了重要作用。
驻刘家港口的*战野**军指挥部于12月30日拟定了战役第一作战阶段（卞庄、傅山口作战阶段）计划，决定集中28个主力团参战。第一纵辖3个旅7个团，第八师辖3个团，第十师辖3个团，鲁中军区第九师附第四师第十团、军区炮兵团共5个团，滨海警备旅辖2个团，第一师辖3个旅8个团。为便于指挥，将参战部队编为左右两个集团。右集团由第八师、第九师、第十师全部、第四师第十团、军区炮兵团，滨海警备旅共13个团组成，由鲁中军区司令员王建安、政委向明和鲁南军区政委傅秋涛、副司令员郭化若统一指挥；左集团由第一师、第一纵共15个团组成，直接由*战野**军参谋长陈士榘指挥。，右集团任务，是以主力一部歼灭石城崮、青山周围地区整编第二十六师第四十四旅，阻击峄县、枣庄可能东援之敌，并配合左集团由西向东歼击向城以南地区之敌；另以主力一部夺取石龙山阵地，得手后继续攻取向城，分割整编第二十六师第一六九旅与第四十四旅的联系。第一步任务完成后，除派兵力一部协助左集团解决整编第二十六师师部及第一快速纵队步兵第八十旅外，主力集结于傅山口、鹅山、兰陵之间，与左集团第一师打通联系。
左集团任务，是歼灭第一快速纵队及整编第二十六师第一六九旅。一纵首先集中主力围歼卞庄整编第二十六师第一六九旅一个团，另以得力部队歼灭向城东南渔沟的第一快速纵队榴弹炮兵第五团，并阻击向城、渔沟可能东援之敌。第一步任务完成后，即配合第一师由东向西彻底歼灭第一快速纵队步兵第八十旅及整编第二十六师第一六九旅残部。第一师以一部挺进东房前、小仲村与兰陵、洪山之间，相机进占兰陵、洪山。主力隐蔽控制于小锅里、凤落以南鲁坊、南桥以北之间地区，负责打通与右集团联系，阻击整编第三十三军与峄城敌人东援，并截击可能西窜之敌。上述任务完成后，即配合第一纵主力歼灭第一快速纵队步兵第八十旅。
鲁南第三军分区武装，确保马头、新村沿河阵地包围监视长城、铁佛寺之间敌人，并阻击其东犯。除以主力沿长城、铁佛寺、沟上集以东沂河以西地区布置包围外，应以精干武装组织民兵，分股进入兰陵、邳县、兰（陵）峄（县台（儿庄）之间及峄县、台儿庄以西地区，广泛开展游击战争，破袭敌人交通，截击敌人运输，焚毁敌人兵站、仓库，掌握敌人纵深情况变化，配合主力作战，并向南与纪集一带的华中第六军分区部队取得联系。*战野**军司令部规定，各部应于1947年1月1日拂晓前进入指定集结地域，战役发起时间为2日24时。战役发起后，*战野**军司令部由刘家港口移驻郯城县碑住。
由鲁南、鲁中、滨海部队组成的右集团，决定分兵3路作战。1月1日，王建安、向明、傅秋涛、郭化若及鲁中军区参谋长张仁初、政治部主任王一平发布攻击命令如下:
第一梯队第一步夺取石龙山、凤凰山阵地，歼灭尚岩、房口、东西风器山之敌，并控制该阵地。第二步集中主力歼击杨家桥、陈家桥、马家庄一带的整编第二十六师直属部队，并攻占向城，以分割第一六九旅与第四十四旅之间联系。第三步视情况发展以河西岸为阵地，由西向东配合左集团夹击歼灭第一快速纵队步兵第八十旅。若该敌向西溃退，主力即行南下，直取兰陵，截断敌人归路，消灭溃逃之敌，并主动与第一师打通联系。
第二梯队第一步攻占青山、石城崮阵地，歼灭北大窑之敌。第二步则以青山、石城崮为依托，主力迅速南下，歼击东西新兴一带敌第四十四旅旅部第一三二团团部及所属部队，以切断敌东西交通。第三步则直插兰陵，主力集结于艾家庄、蒋家庄、西横河崖兰陵一线，配合第一梯队堵截溃退之敌，或者视情况配合第三梯队打击可能由峄枣东援之敌。
第三梯队第一步夺取平山阵地，攻歼平山前、傅山口守敌，并控制平山、芙蓉山、292、224、260、222一线高地。第二步主力继续向西发展，肃清傅山口以西小股敌军，并以一部控制平山、300（流井东山）西石门、西北山、傅山口南北（260、292）一线高地，构筑工事，坚决固守；以小部队控制驼山、寨山、鹅山、180、160高地、流井西山，并向西积极活动，查明情况，严密监视峄枣敌人动向，阻击可能由峄枣东援之敌；动员民兵、群众，迅速破坏由傅山口、兰陵至峄县、台儿庄之公路阻绝敌人交通。除此之外各部队配属作战的民兵，应挖断隘路，断绝敌快速纵队的通行。
在此期间，我军抓紧时间进行了政治动员和兵员补充、*药弹**补给工作。1946年12月29日，*战野**军政治部下达了战役政治工作原则指示，要求各部队进行深入动员，使全体指战员认识战役的重大意义和取得胜利的有利条件，号召大家发扬革命英雄主义精神，克服困难，不怕牺牲，加强团结，协同作战，为干净、彻底消灭整编第二十六师和第一快速纵队，为保卫鲁南、山东和华东解放区而英勇奋战。在强有力的政治工作推动下，*共中**中央军委、毛*东泽**主席的指示和华东我军*长首**的战役决心，迅速变成了广大指战员自觉取得胜利的战斗行动。
为了帮助部队树立敢打、会打敌人坦克的信心陈毅司令员还在干部大会上进行了打坦克的战前动员。他从坦克的构造、性能、进攻防御的特点，讲到美式坦克的弱点，鼓励大家要抓住其弱点，勇敢进行攻击。他说“这乌龟壳没有什么了不起，只要发扬我军近战、夜战的光荣传统，不怕流血牺，先消灭他的步兵，乌龟壳就会变成废铁堆他号召干部们迅速深入连队，和战士们一起，尽快研究出一套打坦克的战术、技术在兵员补充、*药弹**配备方面，*战野**军指挥部于12月20日要求所属部队:每连配备轻机枪6挺，掷弹筒（小炮）6门；营掌握重机枪6挺、迫击炮或六O炮2门；团迫击炮连配足迫击炮或九二步兵炮4至6门；师成立炮兵营配备山炮9门。另外，师组织运输队，自备车辆、骡马。配备*药弹**平均数:*榴弹手**每人4颗，步枪每支配足*弹子**50至100发，轻机枪每挺500发，重机枪每挺1000发，迫击炮每门50至100发，平射炮每门10发，山炮每门40发。干部调剂配备，至少每级配正副职各一人，营以下由自己提升解决。每连应按编制补充满员，但补充新俘虏不得超过1/3。兵员补充，除以集中训练的新战士及原已训练的俘虏外，主要从这次战役俘虏中，选择阶级成分较好、政治上较纯洁、年轻力壮者先行补充连队，随队进行补助训练。我参战部队根据上述要求，迅速进行兵员充实和*药弹**配备工作，并抓紧擦拭*器武**，准备进攻器材，调整战斗编组，配置攻击火力，争分夺秒地进行战前的一切准备工作。
我军一切部署停当，敌人插翅也难以逃出天罗地网！
在华东我军*长首**运筹帷幄、调兵遣将的同时，于12月27日从沭阳地区北上的部队，一律夜行晓宿，隐蔽前进。行军途中地方武装、民兵和广大人民群众，主动协助我军侦察敌情，*锁封**消息，当向导，运粮弹，有力地保障了部队的行动。所有参战部队，都充分利用行军间隙进行临战训练，着重研究打坦克的方法。1947年1月1日拂晓前，各路部队都按时到达指定地域隐蔽集结在极其紧张的战备中度过了1947年元旦。
密切注视着鲁南战局的*共中**中央军委和毛*东泽**主席，对山东、华中两大*战野**军统一作战非常关心，在战役发起前几小时，还给陈毅司令员来电报，询问走在北上部队最后面的华中*战野**军司令员粟裕和第一师8个团是否已到鲁南，与陈毅率领的山东*战野**军在一起；勉励华东我军“应以宿北战役为例，力争打大歼灭战，即每战全部、彻底歼敌3至4个旅，如此再打二三仗，即可停止敌之进攻，并收复一部失地。”即将发起空前大战的华东我军指战员，接到毛主席的电报感到无限亲切，受到极大鼓舞。陈毅、粟裕两位统帅立即联名向*共中**中央军委和毛*东泽**主席发报，报告他们二人已于12月29日会合在一起，共同指挥鲁南战役，华中*战野**军第一师已经参战。
在此期间，孤军深入临沂西南的马励武，发现我军主力向其周围集结，急忙向徐州绥靖公署主任薛岳发报，要求把*队军**撤到适当位置，与左右翼取得联系，以免陷入重围；并请绥靖公署副主任、整编第三十三军军长冯治安代向薛岳陈述，请求改变作战方针。但是薛岳认为华东解放军主力仍在苏北，没有北进鲁南，因此仅同意马励武将在马家庄以东的前锋一个团稍向后撤，主力在马家庄附近构筑工事警戒。马励武后撤建议被否决后，只好硬着头皮调整部署，准备孤军奋战。决定第四十四旅固守马家庄以西及南北地区；第一六九旅固守马家庄以东及以北地区；师司令部、直属部队及第一快速纵队以马家庄为核心，在西南地区构成中央固守区企图引诱我军于固守区周围，用坦克巡回袭击之（名曰“肉泥战”）。马励武在团以上军官会议上说“这是一个生死关头，只有拼命打下去，或者可以死中求生。”但是，马励武的部署并不高明，他摆的是一字长蛇阵，处处薄弱，实际上是撑起了一副准备挨打的架子。
马励武虽然进行了应付我军进攻的部署但他对马上就要开始的鲁南大战毫无信心，为了避免被打死或被活捉的命运，他把部队交给副师长曹玉珩、参谋长郑辅增和快速纵队黄司令指挥，自己于1月1日晚上窜到峄县城师后方司令部过元旦去了。
战役第一阶段任务，是围歼整编第二十六师及第一快速纵队。鉴于敌5个整编师（纵队）便于相互策应，我军被几路敌人逼得很紧的态势，陈毅、粟裕在作战方法上特别强调要突然发起进攻，迅速包围、分割和各个歼灭敌人。作战计划规定，战役发起后，战役合围与战术分割要同时进行。在实施战役合围、构成对敌正面的同时，要向敌纵深猛烈突击，迅速将敌各旅、团分割包围，各个歼灭，使敌人无法组织协同和互相支援。
依陈毅对粟裕说:“蒋介石派*队军**侵占我解放区，奸淫烧杀，无恶不作，搞得人民流离失所，苦不堪言。现在倒好，马励武却回到峄县过快活年去了。老子偏不让他过，你看怎样？”粟裕会心地答道:“乘敌不备，攻则必胜嘛！”当晚，山东解放区内地空前规模的反击国民*党**军全面进攻的鲁南战役，在鲁南第三地区赵铺县（今苍山县）卞庄、傅山口拉开了序幕。
我军提前两小时，于2日22时向敌军发起全线攻击。敌人在解放区军民严密*锁封**监视下，虽然知道我军即将发起进攻，但对进攻时间毫无察觉。因马励武离开指挥位置去峄县城，致使战斗一打响，敌军就失去统一指挥，陷于猝不及防的混乱状态。在马家庄师部的曹玉珩、郑辅增和快速纵队黄司令指挥部队仓促应战。我军动作迅速，以排山倒海之势扑向敌人各守备要点。
右集团向石龙山、四马寨、平山、石城崮、青山凤凰山、尚岩、塔山的整编第二十六师第四十四旅猛攻；左集团向卞庄、大官庄、南北小庄洪山、横山、兰陵及其以北的第一快速纵队、整编第二十六师第一六九旅猛攻。顿时，炮声隆隆，火光闪闪。山谷里，硝烟滚滚，如山崩地裂；平野上，杀声阵阵，似波涌涛卷。
平山，是敌军控制的3个制高点（青山、石城崮、平山）之一，也是敌军深入赵铺县的重要守备据点之一。守敌是整编第二十六师第四十四旅第一三二团第一营营部及3个连（第三连守石城崮）。其营部、机炮连、第二连驻山下的平山前村；第一连守平山，有迫击炮2门，六O炮1门，重机枪3挺，轻机枪10余挺。平山边沿筑有第一道防御工事；山南侧的山岗上有一个建有鹿寨、围墙和碉堡的据点；山顶建有鹿寨、铁丝网、围墙、地堡及控制全山的中心大碉堡，工事较复杂。
担任攻打平山任务的右集团第十师第三十团决定以一营攻击平山前村、西岭，二营攻击平山顶。战斗打响前，主攻平山顶的八连连长王广希、指导员任庆得等4位连干部，把文件、钢笔、手表和现金统统交给营长，并说“上级给的任务，我们一定完成！”二排排长说:“俺二排公议，如果最后只剩一个人也代表俺二排，一定完成任务！”战士孙景盛说:“要是敌人的坦克来了，我就把*弹炸**绑在身上，和坦克同归于尽！”通讯员小邵也说:“这次我也得立个功！”