Xóa dòng trùng lặp là gì?
Công cụ trực tuyến miễn phí để xóa nhanh các dòng trùng lặp khỏi văn bản, với tùy chọn giữ lại dòng trống.
Các dòng trùng lặp trong dữ liệu văn bản gây ra số đếm không chính xác, kích thước tệp phình to và phân tích không đáng tin cậy. Trình Xóa Dòng Trùng lặp (Remove Duplicate Lines) cung cấp ba chế độ hoạt động — xóa các dòng trùng lặp, chỉ giữ các dòng duy nhất hoặc tìm các dòng trùng lặp — với các tùy chọn phân biệt chữ hoa/thường và cắt khoảng trắng để xử lý các biến thể văn bản trong thế giới thực.
Trong chế độ Xóa Trùng lặp, công cụ quét văn bản đầu vào và chỉ giữ lại lần xuất hiện đầu tiên của mỗi dòng, xóa các lần trùng lặp sau đó. Thứ tự dòng gốc được giữ nguyên. Đây là chế độ được sử dụng phổ biến nhất để làm sạch dữ liệu nhập khẩu, hợp nhất danh sách hoặc loại bỏ trùng lặp địa chỉ email. Chế độ Chỉ Giữ Duy nhất tiến xa hơn bằng cách xóa tất cả các dòng xuất hiện nhiều hơn một lần, chỉ giữ các dòng xuất hiện đúng một lần. Điều này hữu ích để tìm các mục duy nhất trong một tập dữ liệu — ví dụ, xác định địa chỉ email nào trong danh sách thuộc về chỉ một người.
Chế độ Tìm Trùng lặp làm ngược lại: nó chỉ hiển thị các dòng xuất hiện nhiều hơn một lần, bỏ qua các dòng xuất hiện đúng một lần. Điều này hữu ích để điều tra các vấn đề chất lượng dữ liệu hoặc xác định các mục nhập lặp lại có thể cần chú ý. Mỗi chế độ hiển thị thống kê cho biết số dòng đầu vào, số dòng đầu ra và số dòng đã xóa.
Nút phân biệt chữ hoa/thường kiểm soát liệu "Hello" và "hello" có được coi là cùng một dòng hay các dòng khác nhau hay không. Tùy chọn cắt khoảng trắng loại bỏ khoảng trắng đầu và cuối của mỗi dòng trước khi so sánh, ngăn chặn trùng lặp giả do khoảng cách không nhất quán — một vấn đề phổ biến khi dán dữ liệu từ các nguồn khác nhau. Mọi xử lý đều cục bộ và tức thì.