他能得到抚养权吗？我该如何保护我和儿子

我们协议离婚了，当时离婚时候，孩子只有三个月，从我生下孩子开始，他对我很冷淡，我剖腹产回家，孩子哭，他从没帮过我，更没有晚上起来帮我哄过孩子，我的母亲一直在那帮助我，然而，他在我月子里，和我父母吵架，和我吵架，不回家，也不管我们，后来我提出来离婚，他没有争抚养权，孩子孩子哺乳期，现在孩子五个半月，他现在想要回孩子，在这期间，他来探视孩子，每次来都会给孩子吓的大哭，孩子都会生病，离婚之前我们爆发了冲突，我为了让我们都冷静，我回娘家住了二十几天，后来他去接了我回家，当晚，孩子哭闹到凌晨一点多，他躺在沙发蒙头大睡，我和我的妈妈都累的筋疲力尽，我想让他起来帮我一下，可是他并没有理会，并说我找事儿，然后就蹦起来骂我操你妈，我妈就抱着孩子在旁边，他并且踢碎了垃圾桶，垃圾瞬间散落一地，孩子吓的大哭，到现在孩子听到大声音都会恐惧，而后我很生气的揪住了他的头发，并且是给了他耳光，他就说我有家暴，说我摔东西，打他耳光了，现在他想要回孩子，以我有家暴为由，我们离婚以后，他总是用微信来吓唬我，我很害怕他，每次都是答应他的请求，平复他，他还让我每天发视频，如果不发，他就会发疯一下的吼我，并且说带走孩子，我很怕他带走孩子，所以就每天发视频，他每次来我家看孩子我都很害怕他，他还让孩子养大了跟他生活，还不让我说我们离婚了，只要有人知道他离婚，他就会发微信骂我，我真的精神快崩塌了，我不敢想失去孩子我会怎样，我告诉自己不能抑郁，因为我要抑郁了孩子就真的给他了，从孩子出生开始，都是我父母帮我带孩子，孩子从来没和我分开过，请问律师，他起诉会不会真的把孩子判他？我有正式工作，我是在编的幼师，我父母也是退休教师，我有理财存款，也有房产，他是医院中药局的主任，房子是他爸的名字，公积金还，还没还完，我们离婚他问我要去了四万块钱，我给他了，他还让我签了让他父母看孩子嗯协议，其实我都是不愿意的，但是他说要是不签就不离婚，我就同意了，可是却没有证据说我是不愿意的，请问他真的能夺取抚养权吗？我是家暴吗？我想申请人身保护令，但是法院说离婚不行，我们一家都快被他折磨疯了，来了就吵架，给孩子吓的不睡觉，那么小的孩子，还什么都不懂，我想我孩子留在我身边的，没有妈妈多可怜，他也不会照顾他，从孩子生下来他都没抱过几次