중복된 사이트 URL을 정리할 수 있는 방법이 있나요?

예를들어

naver.com/1

naver.com/2

이렇게 2개 주소가있으면 중복처리로 정리할 수 있는 사이트나 프로그램 안내좀 부탁드려요.

사이트url이 많은데 중복인지 아닌지 하나하나 찾고 지우고 힘드네요..