Softonic

โปรแกรมกำจัดข้อมูลซ้ำในไฟล์ CSV

ขั้นตอน 1 / 2
ลบแถวที่ซ้ำ

ข้อมูลซ้ำอาจแทรกเข้าไปในไฟล์ CSV ได้ในรูปแบบที่น่ารำคาญ เช่น การส่งข้อมูลผ่าน webhook หลายครั้ง รายงานสองฉบับที่ถูกนำมารวมกันด้วยตนเอง หรือการเชื่อมโยงข้อมูลที่ทำให้แถวข้อมูลกระจายออกไปอย่างไม่คาดคิด โปรแกรมกำจัดข้อมูลซ้ำนี้จะสร้างแฮชให้กับแต่ละแถวข้อมูล และเก็บเฉพาะครั้งแรกเท่านั้น ทำให้ผลลัพธ์ยังคงลำดับแถวเดิมไว้อย่างแม่นยำ โดยไม่แสดงผลของรายการสำเนาใดๆ เลย ส่วนแถวหัวข้อเป็นตัวเลือก หากไฟล์ของคุณเริ่มต้นด้วยข้อมูลโดยตรง ให้สลับตัวเลือกนี้

กลไกการทำงานของระบบกำจัดข้อมูลซ้ำ

  1. 1

    วางไฟล์ CSV เข้าไป

    ให้รวมหรือไม่รวมแถวหัวข้อ โดยใช้ช่องทำเครื่องหมายเพื่อบอกเครื่องมือว่าควรทำอย่างไร

  2. 2

    แต่ละแถวได้รับการแฮชแล้ว

    แถวจะถูกแปลงเป็นอาร์เรย์ และค่า MD5 ของรูปแบบ JSON ของแต่ละแถวจะถูกใช้เป็นคีย์ระบุความเป็นเอกลักษณ์

  3. 3

    ผลชนะจากการปรากฏตัวครั้งแรก

    จะเก็บแถวแรกที่มีค่าแฮชเฉพาะไว้ ส่วนแถวถัดไปที่มีเนื้อหาเหมือนกันจะถูกละเว้นโดยไม่มีการแจ้งเตือนใดๆ

  4. 4

    เฮดเดอร์ถูกเก็บรักษาไว้

    หากโหมดเฮดเดอร์เปิดอยู่ แถวที่ 1 จะถูกส่งต่อไปโดยไม่มีการกำจัดข้อมูลซ้ำเมื่อเทียบกับข้อมูลหลัก

สิ่งใดจัดว่าเป็นสำเนา

โปรแกรมกำจัดข้อมูลซ้ำใช้หลักการเทียบความเท่ากันของบรรทัดทั้งหมด โดยถือว่าสองบรรทัดเป็นข้อมูลซ้ำกันหากเซลล์ทุกเซลล์ตรงกันทุกตำแหน่ง หลังจากการแปลงข้อมูลในรูปแบบ CSV ตามมาตรฐาน

สิ่งที่ยังถือว่าแตกต่างกัน

แถว A แถว B ผลการพิจารณา
Alice,30,Paris Alice, 30, Paris ต่างกัน (มีช่องว่างเพิ่มเติม)
Bob,25 Bob,25, ต่างกัน (มีช่องว่างหลัง)
"Jane Smith",42 Jane Smith,42 เหมือนกัน (การอ้างอิงเป็นขั้นตอนของตัววิเคราะห์ข้อความ)
TRUE,1 true,1 ต่างกัน (แยกแยะตัวพิมพ์ใหญ่เล็ก)

เมื่อการกำจัดข้อมูลซ้ำในระดับคอลัมน์เหมาะสมกว่า

การจับคู่ทั้งแถวเป็นวิธีที่เข้มงวด ซึ่งโดยทั่วไปมักเป็นสิ่งที่ต้องการ แต่บางครั้งคุณอาจต้องการ “หนึ่งแถวต่อหนึ่งอีเมล โดยไม่คำนึงถึงคอลัมน์อื่น” ในกรณีดังกล่าว ให้ใช้เครื่องมือแยกคอลัมน์ CSV เพื่อลดไฟล์ให้เหลือเฉพาะคอลัมน์หลักก่อน จากนั้นกำจัดข้อมูลซ้ำในคอลัมน์นั้น แล้วนำผลลัพธ์มาใช้เป็นตารางค้นหา หรือใช้คำสั่ง SQL ก็ได้ เช่น SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; ใน PostgreSQL หรือใช้ GROUP BY ร่วมกับฟังก์ชันรวม MIN() ในฐานข้อมูลอื่น

คำแนะนำที่นำไปใช้ได้จริง

  • ให้ดำเนินการปรับรูปแบบข้อมูลให้เป็นมาตรฐานก่อนการกำจัดข้อมูลซ้ำ โดยเริ่มจากการตัดช่องว่างและกำหนดรูปแบบตัวอักษรให้เหมือนกันในคอลัมน์หลัก หากไม่ทำเช่นนั้น ข้อมูล ALICE@EXAMPLE.COM และ alice@example.com จะยังคงปรากฏอยู่พร้อมกัน
  • จัดเรียงข้อมูลก่อน จากนั้นดำเนินการกำจัดข้อมูลซ้ำ เพื่อให้ได้ผลลัพธ์ที่สามารถตรวจสอบได้ หากคุณต้องทราบว่าสำเนาใดถูกเก็บไว้ ให้จัดเรียงไฟล์ CSV ตามเกณฑ์ที่คุณกำหนด (เช่น เวลาบันทึกล่าสุด หรือรหัสต่ำสุด) ก่อนเริ่มใช้โปรแกรมกำจัดข้อมูลซ้ำ
  • ตรวจสอบจำนวนแถว โดยใช้เครื่องนับแถวแบบ CSV ทั้งในไฟล์ต้นฉบับและไฟล์ผลลัพธ์ เพื่อยืนยันว่ามีการลบแถวซ้ำกี่แถว

คำถามที่พบบ่อย

ไม่ โปรแกรมจะแฮชทั้งแถวที่ถูกวิเคราะห์แล้ว หากต้องการความไม่ซ้ำในคอลัมน์เดียว ให้ใช้เครื่องมือแยกคอลัมน์ CSV เพื่อลดขอบเขตของไฟล์ให้เหลือเฉพาะคอลัมน์นั้นก่อน จากนั้นจึงเรียกใช้โปรแกรมกำจัดข้อมูลซ้ำ

เป็นการปรากฏครั้งแรกในไฟล์ หากต้องการให้รายการใดรายการหนึ่ง (เช่น รายการล่าสุด หรือรายการที่มีหมายเลข ID ต่ำสุด) เป็นลำดับแรก ควรเรียงข้อมูลในไฟล์ CSV ไว้ล่วงหน้า

ใช่ แถวจะถูกวิเคราะห์ตามกฎมาตรฐานของไฟล์ CSV ดังนั้น "Jane, Smith" จะยังคงเป็นเซลล์เดียวและจะถูกเปรียบเทียบในลักษณะนั้น

ไฟล์ CSV จะถูกส่งไปยังเซิร์ฟเวอร์ของเราเพื่อคำนวณการกำจัดข้อมูลซ้ำ โดยจะไม่ถูกจัดเก็บหรือแชร์ และไม่ถูกเพิ่มลงในลิงก์ของหน้าเว็บ

เครื่องมือที่เกี่ยวข้อง

ตัวตรวจจับชื่อไฟล์ซ้ำ

วางรายการชื่อไฟล์แล้วดูว่าชื่อใดปรากฏมากกว่าหนึ่งครั้ง พร้อมจำนวนครั้งและตัวเลือกไม่คำนึงถึงตัวพิมพ์ใหญ่เล็ก

เครื่องมือระบุนามสกุลไฟล์

ค้นหาว่านามสกุลหรือชื่อไฟล์ตรงกับไฟล์ประเภทใดและ MIME ประเภทใด พร้อมตารางอ้างอิงรูปแบบไฟล์ทั่วไปและเคล็ดลับสังเกตนามสกุลซ้อน

ตัวแปลง MP4 เป็น MP3

ดึงแทร็กเสียงออกจากวิดีโอ MP4 แล้วบันทึกเป็น MP3 เหมาะสำหรับมิวสิกวิดีโอ พอดแคสต์ การบรรยาย และคลิปเสียงที่คุณต้องการฟังได้ทุกที่

ตัวแปลง MOBI เป็น EPUB

แปลง ebook MOBI เป็น EPUB ซึ่งเป็นมาตรฐานเปิดที่ Apple Books, Kobo, Google Play Books และแอปสมัยใหม่ส่วนใหญ่อ่านได้ อัปโหลดไฟล์ .mobi แล้วดาวน์โหลด .epub ที่สะอาด

ตัวสร้างข้อมูลทดสอบ SQL

สร้างคำสั่ง SQL INSERT ที่พร้อมรันพร้อมแถวตัวอย่างแบบเรียงลำดับ (id, name, email, active) สำหรับชื่อตารางใดก็ได้ สูงสุด 200 แถว ไวยากรณ์ MySQL เพียงคลิกเดียว

โปรแกรมสำหรับวิเคราะห์ไฟล์บันทึก (Log File Parser)

วางหรืออัปโหลดไฟล์บันทึกของเซิร์ฟเวอร์และแอปพลิเคชัน คัดกรองตามช่วงวันที่ ระดับบันทึก ที่อยู่ IP หรือข้อความ และได้ผลลัพธ์ที่ถูกเน้นและมีโครงสร้างชัดเจน

เครื่องมือนี้มีให้บริการในภาษาอื่น