sql去除重复数据语句(sql中三种去重的方式)

废话不多说,直接干货。 一、oracle去重 1、创建测试数据 createtabletest_duplicate_removal( c001number, c002varchar2(100) ); insertintotest_duplicate_removalvalues(101,'aa'); insertintotest_duplicate_removalvalues(102,'aa'); …

废话不多说,直接干货。

一、oracle去重

1、创建测试数据

sql去除重复数据语句(sql中三种去重的方式)

create table test_duplicate_removal(
       c001 number,
       c002 varchar2(100)
);
insert into test_duplicate_removal values(101, \'aa\');
insert into test_duplicate_removal values(102, \'aa\');
insert into test_duplicate_removal values(103, \'aa\');
insert into test_duplicate_removal values(104, \'bb\');
insert into test_duplicate_removal values(105, \'bb\');
insert into test_duplicate_removal values(106, \'cc\');
insert into test_duplicate_removal values(107, \'cc\');
insert into test_duplicate_removal values(108, \'dd\');

sql去除重复数据语句(sql中三种去重的方式)

2、使用row_number() over()函数根据C002列去重

创建一个rn列,根据C002进行分组,每个小组内再根据C001的值进行排序。

select c001,c002, row_number()  over(partition by c002 order by c001 desc) rn from  test_duplicate_removal

sql去除重复数据语句(sql中三种去重的方式)

通过rn筛选值为1的行,同时也就对C002进行了去重

select * from (select c001,c002, row_number()  over(partition by c002 order by c001 desc) rn from  test_duplicate_removal) t where t.rn=1

sql去除重复数据语句(sql中三种去重的方式)

二、python的pandas模块去重方法

1、将数据库数据导出保存为CSV

sql去除重复数据语句(sql中三种去重的方式)

2、pandas实现sql里排序函数row_number() over()功能

import pandas as pd
# 读取CSV数据
df = pd.read_csv(\'test_duplicate_removal.csv\')
print(\'打印原始数据:\')
print(df)
# 此处等价于sql里的排序函数row_number() over()功能
df[\'RN\'] = df[\'C001\'].groupby(df[\'C002\']).rank()
print()
print(\'根据C002分组,根据C001组内排序:\')
print(df)
# 去重
print()
print(\'去重,筛选RN=1的行:\')
print(df[df[\'RN\'] == 1])

运行结果

sql去除重复数据语句(sql中三种去重的方式)

本文来自投稿,不代表来拓客立场,如若转载,请注明出处:https://www.laituoke.com/ltk/4136.html