离婚后孩子归男方抚养，现在又跟男方一起生活，怎么办

父母与子女间的关系，不因父母离婚而消除。具体应由双方当事人协商，协商一致的即可由女方抚养。根据《中华人民共和国婚姻法》规定：第三十六条　父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。离婚后，父母对于子女仍有抚养和教育的权利和义务。离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民根据子女的权益和双方的具体情况判决。

可以主张。《最高人民法院关于人民法院审理离婚案件处理子女抚养问题的若干具体意见》16、一方要求变更子女抚养关系有下列情形之一的，应予支持。(1)与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的(2)与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的(3)十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的(4)有其他正当理由需要变更的。17、父母双方协议变更子女抚养关系的，应予准许。

　　该问题中，双方在离婚时，由于已经确定孩子的抚养权，双方都必须履行。同时，女方提出与孩子一起生活，属于抚养方式的问题。那么，双方应该协商解决，如果协商不成的可以选择。根据《婚姻法》第三十六条规定，父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。离婚后，父母对于子女仍有抚养和教育的权利和义务。离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。　　第三十八条规定，离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议;协议不成时，由人民判决。父或母探望子女，不利于子女身心健康的，由人民依法中止探望的权利;中止的事由消失后，应当恢复探望的权利。　　同时，由于该问题中的孩子未满十周岁，那么其的意见，不在法律考虑的范围。根据最高法《关于审理离婚案件处理子女抚养问题的若干意见》第16条规定，一方要求变更子女抚养权，有下列条件之一的，人民法院应予支持：　　1.与子女共同生活的一方因患严重疾病或因伤残无力继续抚养子女的；　　2.与子女共同生活的一方不尽抚养义务或有虐待子女行为，或其与子女共同生活对子女身心健康确有不利影响的；　　3.十周岁以上未成年子女，愿随另一方生活，该方又有抚养能力的；　　4.有其他正当理由需要变更的。