1
# 删除相邻的重复行
2
uniq filename
3

4
# 显示每行重复的次数
5
uniq -c filename
6

7
# 只显示重复的行
8
uniq -d filename
9

10
# 只显示唯一的行（不重复的行）
11
uniq -u filename
12

13
# 忽略大小写
14
uniq -i filename
15

16
# 比较时跳过开头的 N 个字符
17
uniq -s 5 filename
18

19
# 比较时只考虑前 N 个字符
20
uniq -w 10 filename
21

22
# 指定字段分隔符
23
uniq -f 1 filename  # 跳过第一个字段

1
# 与 sort 命令结合使用（处理所有重复行，不仅仅是相邻行）
2
sort filename | uniq
3

4
# 统计并显示重复次数，按次数排序
5
sort filename | uniq -c | sort -nr
6

7
# 显示重复次数大于 N 的行
8
sort filename | uniq -c | awk '$1 > 2 {print $2}'
9

10
# 显示只出现一次的行
11
sort filename | uniq -u
12

13
# 显示至少出现一次的重复行
14
sort filename | uniq -d
15

16
# 统计不同内容的数量
17
sort filename | uniq | wc -l
18

19
# 显示重复行的统计信息
20
sort filename | uniq -c | awk '{print $1 "次: " $2}'
21

22
# 按特定字段去重（跳过前 N 个字段进行比较）
23
sort -k 3,3 filename | uniq -f 2
24

25
# 按特定字符数比较
26
uniq -w 10 filename  # 只比较前 10 个字符
27

28
# 忽略大小写去重
29
sort -f filename | uniq -i

1
# 处理访问日志，统计 IP 访问次数
2
awk '{print $1}' access.log | sort | uniq -c | sort -nr
3

4
# 从列表中去除重复项
5
sort userlist.txt | uniq > unique_userlist.txt
6

7
# 查找最常访问的页面
8
awk '{print $7}' access.log | sort | uniq -c | sort -nr | head -10
9

10
# 统计错误日志中的错误类型
11
grep "ERROR" error.log | awk '{print $5}' | sort | uniq -c
12

13
# 查找只出现一次的单词
14
tr ' ' '\n' text.txt | sort | uniq -u
15

16
# 统计进程类型
17
ps aux | awk '{print $11}' | sort | uniq -c
18

19
# 检查重复的邮件地址
20
sort emails.txt | uniq -d  # 显示重复的邮箱
21

22
# 统计系统中不同用户的进程数
23
ps -eo user | sort | uniq -c
24

25
# 查找网络连接中的重复 IP
26
netstat -an | awk '{print $5}' | sort | uniq -c
27

28
# 检查配置文件中的重复配置项
29
grep "^key=" config.conf | sort | uniq -d

1
# 结合其他命令进行复杂的数据分析
2
# 统计访问量最高的 10 个 IP 地址
3
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10
4

5
# 查找重复文件（基于文件名）
6
ls -la | awk '{print $9}' | sort | uniq -d
7

8
# 分析系统日志中的错误模式
9
grep -i error system.log | awk '{print $4 ":" $5 ":" $6}' | sort | uniq -c
10

11
# 处理 CSV 文件的重复项
12
sort -t ',' -k 2,2 data.csv | uniq -w 20  # 按第 2 列前 20 个字符比较
13

14
# 检查端口占用情况
15
netstat -tuln | awk '{print $4}' | sort | uniq -c | grep -v "1 "
16

17
# 分析用户行为
18
awk '{print $1, $7}' access.log | sort | uniq -c | sort -nr
19

20
# 创建数据摘要
21
sort data.txt | uniq -c | awk '{if($1>1) print "重复: " $2; else print "唯一: " $2}'
22

23
# 按不同条件过滤
24
# 忽略前导空格
25
sort -k 1.1,1.10 data.txt | uniq -s 3  # 跳过前 3 个字符比较
26

27
# 处理多字段数据
28
sort -t ':' -k 1,1 /etc/passwd | uniq -f 1  # 按用户名去重，忽略其他字段

1
# 示例 1: 处理学生成绩数据
2
# 假设文件格式: 姓名 年龄 科目 分数
3
# 找出重复的记录
4
sort -k 1,2 grades.txt | uniq -f 2
5

6
# 示例 2: 分析网站访问日志
7
# 统计每个页面的访问次数
8
awk '{print $7}' access.log | sort | uniq -c | sort -nr
9

10
# 示例 3: 管理用户列表
11
# 查找重复的用户名
12
cut -d: -f1 /etc/passwd | sort | uniq -d
13

14
# 示例 4: 处理邮件列表
15
# 去除重复邮件地址
16
grep -iE '[a-z0-9._%+-]+@[a-z0-9.-]+\.[a-z]{2,}' emails.txt | sort | uniq
17

18
# 示例 5: 检查服务配置
19
# 找出重复的服务端口配置
20
grep -E "port [0-9]+" services.conf | awk '{print $2}' | sort | uniq -d
21

22
# 示例 6: 处理产品列表
23
# 按产品 ID 去重
24
sort -k 1,1 products.txt | uniq
25

26
# 示例 7: 分析系统进程
27
# 统计每个用户运行的进程数
28
ps -eo user | tail -n +2 | sort | uniq -c

1
# uniq 与 sort 的配合使用说明：
2
# uniq 只删除相邻的重复行，所以通常需要先用 sort 排序
3
sort file.txt | uniq  # 这样可以删除所有重复行
4
# 而直接使用 uniq file.txt 只能删除相邻的重复行
5

6
# uniq 与 grep 的配合：
7
grep "pattern" file.txt | sort | uniq
8

9
# uniq 与 awk 的配合：
10
awk '{print $1}' file.txt | sort | uniq -c
11

12
# uniq 与管道的配合：
13
cat file1.txt file2.txt | sort | uniq > merged_unique.txt

1
# uniq 只处理相邻的重复行，因此通常需要先排序
2
# 默认情况下，uniq 区分大小写
3
# uniq 不会修改原文件，结果输出到标准输出
4
# 使用 uniq -c 时，计数在每行前面显示
5
# -f 选项跳过字段时，字段以空格或制表符分隔
6
# -s 和-w 选项用于字符级比较，需要谨慎使用
7
# 对于大文件，考虑使用 sort -u 替代 sort | uniq