1、可以追究其责任。如果公安机关给予行为人行政处罚后，又发现其行为涉嫌刑事犯罪，可以追究刑事责任，但原羁押一日折抵刑期一日。违法行为性质严重已构成犯罪的,依法追究其刑事责任的同时,依法应予行政处罚的当然适用。
2、行政违法行为涉嫌构成犯罪的，公安机关应将其转为刑事案件办理或者移送有权处理的主管机关、部门办理，无需撤销行政案件。