我今年三月生了一个儿子，由于老公在孕期时就对我漠不关心，只顾自己打游戏，从来不陪我产检，连我预产期，在哪家医院生都不知道，孩子出生三天他才来看一眼。因此我执意让儿子跟我姓，至少心里还有点安慰。
顺便说下我俩结婚时的情况，我们结婚他没给一分钱彩礼，也没共同买房。他和我各自婚前有一套房子，我从来没去他房子住过一天，因为他房子在区县上，我生活上班都在主城区，我自己的房子租出去了。
婚后我们就住在我父母家，他每天回家像个大爷一样，只是打游戏看电视，从来不分担家务，我父母也从来没对他说什么。在他知道我要孩子跟我姓之后，他就再也不回来了，只偶尔来看孩子两眼，也不给孩子一分钱生活费。有一次见面他二话不说就动手打我一耳光，踹我一脚，当时我才产后四十多天，导致子宫出血，后来又引发高烧四十多度，后来孩子就没人奶吃，他也完全不管。
我家孩子遗传他过敏体质，对牛奶蛋白严重过敏，吃普通奶粉呕吐腹泻起皮疹，只能吃氨基酸奶粉。488只有400克，一个月光奶粉钱就四五千了。我产假完后又要上班，我父母也在上班，我自己一个人也没办法请人，现在白天孩子只有让我外婆带，我外婆都快80的人了，真的很不忍心，但实在没办法。
月子期间他就因为孩子姓氏问题多次找我离婚，我当时的确没精力理他。后来孩子三个月了，我实在不能忍受他，就向他提出离婚，他又坚决不离，他现在死拖着不离，无外乎就是拖着不给孩子抚养费，也不受法律约束而已，他自己都说对我完全没感情了。
我已经向法院起诉离婚，法院没有判离，只有六个月后再次起诉。之前我也跟法官说过他不给钱，法官问我：你有证据吗？我说他没给我哪有什么证据，他说他给了你让他拿证据啊！结果那个渣男死不要脸的说他每个月都给我好几千，不过是现金，没有证据，你说是不是哭笑不得嘛！？他见到我都是横眉冷对千夫指，你说他还给我现金吗？但是法官就说不要过多纠结抚养费问题了。
现在我也很纠结，离了婚，肯定对孩子伤害很大，不离一辈子这样拖着也不是个事。而且家里人都是劝和不劝离，有的甚至觉得我矫情，无理取闹，让我把姓改回去就天下太平了，说他就算对我不好，对孩子总归有感情的，离婚对孩子伤害大。所以我也犹豫是否应该执意离婚，孩子以后会不会怪我毁了他一生的幸福呢？
大家说说我这种情况该怎么办呢？