uniq
이 문서는 other uses에 관한 것입니다. Uniq (disambiguation)에 대해서는 the Unix utility 문서를 참고하십시오.uniq는 텍스트 파일내에 중복된 내용의 행이 연속으로 있으면 하나만 남기고 삭제하는 Unix utility이다. uniq는 일종의 필터 프로그램filter program으로 보통 sortsort뒤에 덧붙여 사용된다. 또한 -d옵션을 적용하여 중복되는 행만을 볼 수 있거나, -c옵션을 적용하여 중복행의 중복횟수를 출력할 수 있다.
한 예로 어떤 파일에 중복되는 내용의 행을 정렬하고 중복횟수를 세려 한다면 :sort file | uniq -c | sort -n
위와 같이 적용하면 된다. shell script에서 pipelines을 삽입하여 uniq를 sort와 함께 실행하는 것이다. 여기서 주의해야 할 점은 uniq는 파일 내용이 미리 정렬되어 있는 상태에서 실행가능하다. 만약 다음과 같은 내용으로 구성된 fruits.txt파일이 있다고 하자. orange apple apple orange orange apple 여기서 바로 uniq -c fruits.txt 라고 실행시키면 결과는 다음과 같다. 1 orange 2 apple 2 orange 1 apple 정렬이 이루어지지 않은 상태에서 uniq를 적용하였기에 위와 같은 결과가 얻어지는 것이다. 참고로 만약 sort -u fruits.txt 로 실행시키면 apple orange 위와 같은 결과가 나오게 된다. 이것은 파일내용을 정렬시켜 중복되는 것을 하나로 표현하는 것이다. 즉, 결론지으면 uniq는 파일에 전체적으로 분산된 중복을 한번에 잡아내지 못한다. 따라서 정렬하여 순차적으로 만든 뒤에 적용한다.
옵션들
- -u 원래 파일에서 연속으로 중복되지 않는 행만을 출력한다. 위 fruits.txt파일의 경우를 보면 -u옵션을 적용하면 첫째줄의 orange만 나타난다.
- -d 원래 파일에서 연속으로 중복되는 행들을 출력한다. 즉, -u옵션과는 반대로 연속으로 중복된 내용을 지닌 행만을 한번씩 보여준다.
- -c 중복발생횟수를 연속 중복 행과 함께 보여준다. -c옵션이 적용되면 앞에 -u나 -d옵션이 적용되었더라도 그들은 무시된다.
- -i 행들을 비교할때 대소문자 구별을 하지 않는다.
- -s수 한행에서 지정된 수만큼의 문자를 비교대상에서 제외한다.
- -f수 맨 앞에서부터 지정된 수 만큼의 필드를 비교대상에서 제외한다.
- -w수 비교대상 문자 수를 지정한다.
- --help 각종 옵션에 대한 설명과 도움말을 볼 수 있다.
- --version uniq의 버젼넘버를 보여준다.