2004년 제62회 민원선에서 한나라당 후보로 의주군 갑에 출마하여 60.2%의 득표율로 당선된다. 이후 총리지명선거에서 봉준욱 의원을 지지했다. 2년 뒤 "새로운 보수의 시대를 열겠다"며 봉준욱 의원 외 23명과 함께 한나라당을 탈당하고 국민행복당을 창당한다.
초반에는 한나라당의 지지율을 넘기도 하는 등 기세등등했으나 봉준욱 대표가 김현종 게이트에 휘말리며 사퇴하자 김근령 의원이 잠시 권한대행을 맡은 뒤 제2대 대표로 취임하게 된다. 김현종 게이트로 당 지지율이 폭락해 2007년 재보궐선거에서 기초의회 의석 1석밖에 확보하지 못하자 김선효계가 김근령 대표의 사퇴를
요구했으나 김근령은 "그럴 일 없다"며 대표직에서 사퇴하지 않겠다고 발언하며 당내 갈등이 점화되었다. 당 지지율이 5% 이하로 떨어지자 김선효계는 김근령에 당장 사퇴하라고 최후통첩을 보냈으나 반응하지 않자 2007년 2월 7일 전격 탈당하게 된다. 이후 김근령 대표는 민진당에 합당 제안을 하였으나 단칼에 거절당하고, 결국 대표직에서 사퇴하게 된다.
이후 제3대 제63회 민원선에서 의주군에 출마하나 낙선하고 국민행복당을 탈당한다. 2008년 상반기 재보선에서 무소속으로 의주군수에 출마해 10% 차이로 낙선하였으나 2011년 64회 민원선에서 의주군에 출마해 당선된다. 그 뒤 2012년 새누리당에 합류한다. 이후 65회 민원선에서 의주군에 출마해 당선되었다. 이후 노구의 뒤를 이어 제2대 새누리당 원내총무에 취임한다. 원내총무 취임 이후 제2대 전당대회에서 대표최고위원에 당선되었다. 하지만 2014년 상반기 재보선에서의 패배의 책임을 지고 사퇴한다. 66회 민원선에서 의주군에 출마하여 당선되었다.
67회 민원선에서는 출마하지 않았다. 2018년 있을 지선에 출마한다고 한다. 2018년 14회 지방선거에서 보수당 평안남도지사 후보로 당선되어 제41대 평안남도지사에 취임하게 된다.
자세한 내용은 김근령/비판과 논란 문서를 참고하십시오.
