永淳元年（682年），丘神勣担任左金吾卫将军。光宅元年（684年），武则天派丘神勣前往巴州（今四川省巴中市巴州区），监视章怀太子李贤。同年二月二十七日（3月18日），奉武则天之命杀害李贤。事后，武则天竟归罪于丘神勣，贬任叠州（今甘肃省迭部县）刺史。

不久，丘神勣复职回京，担任左金吾卫将军，深受武则天的宠爱与信任。曾奉命与周兴、来俊臣审讯制狱中监禁的犯人，都被人们称作酷吏。

垂拱四年（688年），博州刺史、琅邪王李冲在博州（今山东聊城东北）起兵反对武则天，武则天任命丘神勣为清平道大总管。不久，李冲遭百姓孟青棒、吴希智所杀。丘神勣到达博州后，官吏们都穿着白色的孝服来迎接他，丘神勣因无叛可平，挥刀把他们全部杀死，残害一千余家，于是加任左金吾卫大将军。