โปรแกรมกำจัดข้อมูลซ้ำในไฟล์ CSV

ข้อมูลซ้ำอาจแทรกเข้าไปในไฟล์ CSV ได้ในรูปแบบที่น่ารำคาญ เช่น การส่งข้อมูลผ่าน webhook หลายครั้ง รายงานสองฉบับที่ถูกนำมารวมกันด้วยตนเอง หรือการเชื่อมโยงข้อมูลที่ทำให้แถวข้อมูลกระจายออกไปอย่างไม่คาดคิด โปรแกรมกำจัดข้อมูลซ้ำนี้จะสร้างแฮชให้กับแต่ละแถวข้อมูล และเก็บเฉพาะครั้งแรกเท่านั้น ทำให้ผลลัพธ์ยังคงลำดับแถวเดิมไว้อย่างแม่นยำ โดยไม่แสดงผลของรายการสำเนาใดๆ เลย ส่วนแถวหัวข้อเป็นตัวเลือก หากไฟล์ของคุณเริ่มต้นด้วยข้อมูลโดยตรง ให้สลับตัวเลือกนี้

กลไกการทำงานของระบบกำจัดข้อมูลซ้ำ

  1. 1

    วางไฟล์ CSV เข้าไป

    ให้รวมหรือไม่รวมแถวหัวข้อ โดยใช้ช่องทำเครื่องหมายเพื่อบอกเครื่องมือว่าควรทำอย่างไร

  2. 2

    แต่ละแถวได้รับการแฮชแล้ว

    แถวจะถูกแปลงเป็นอาร์เรย์ และค่า MD5 ของรูปแบบ JSON ของแต่ละแถวจะถูกใช้เป็นคีย์ระบุความเป็นเอกลักษณ์

  3. 3

    ผลชนะจากการปรากฏตัวครั้งแรก

    จะเก็บแถวแรกที่มีค่าแฮชเฉพาะไว้ ส่วนแถวถัดไปที่มีเนื้อหาเหมือนกันจะถูกละเว้นโดยไม่มีการแจ้งเตือนใดๆ

  4. 4

    เฮดเดอร์ถูกเก็บรักษาไว้

    หากโหมดเฮดเดอร์เปิดอยู่ แถวที่ 1 จะถูกส่งต่อไปโดยไม่มีการกำจัดข้อมูลซ้ำเมื่อเทียบกับข้อมูลหลัก

สิ่งใดจัดว่าเป็นสำเนา

โปรแกรมกำจัดข้อมูลซ้ำใช้หลักการเทียบความเท่ากันของบรรทัดทั้งหมด โดยถือว่าสองบรรทัดเป็นข้อมูลซ้ำกันหากเซลล์ทุกเซลล์ตรงกันทุกตำแหน่ง หลังจากการแปลงข้อมูลในรูปแบบ CSV ตามมาตรฐาน

สิ่งที่ยังถือว่าแตกต่างกัน

แถว A แถว B ผลการพิจารณา
Alice,30,Paris Alice, 30, Paris ต่างกัน (มีช่องว่างเพิ่มเติม)
Bob,25 Bob,25, ต่างกัน (มีช่องว่างหลัง)
"Jane Smith",42 Jane Smith,42 เหมือนกัน (การอ้างอิงเป็นขั้นตอนของตัววิเคราะห์ข้อความ)
TRUE,1 true,1 ต่างกัน (แยกแยะตัวพิมพ์ใหญ่เล็ก)

เมื่อการกำจัดข้อมูลซ้ำในระดับคอลัมน์เหมาะสมกว่า

การจับคู่ทั้งแถวเป็นวิธีที่เข้มงวด ซึ่งโดยทั่วไปมักเป็นสิ่งที่ต้องการ แต่บางครั้งคุณอาจต้องการ “หนึ่งแถวต่อหนึ่งอีเมล โดยไม่คำนึงถึงคอลัมน์อื่น” ในกรณีดังกล่าว ให้ใช้เครื่องมือแยกคอลัมน์ CSV เพื่อลดไฟล์ให้เหลือเฉพาะคอลัมน์หลักก่อน จากนั้นกำจัดข้อมูลซ้ำในคอลัมน์นั้น แล้วนำผลลัพธ์มาใช้เป็นตารางค้นหา หรือใช้คำสั่ง SQL ก็ได้ เช่น SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; ใน PostgreSQL หรือใช้ GROUP BY ร่วมกับฟังก์ชันรวม MIN() ในฐานข้อมูลอื่น

คำแนะนำที่นำไปใช้ได้จริง

  • ให้ดำเนินการปรับรูปแบบข้อมูลให้เป็นมาตรฐานก่อนการกำจัดข้อมูลซ้ำ โดยเริ่มจากการตัดช่องว่างและกำหนดรูปแบบตัวอักษรให้เหมือนกันในคอลัมน์หลัก หากไม่ทำเช่นนั้น ข้อมูล ALICE@EXAMPLE.COM และ alice@example.com จะยังคงปรากฏอยู่พร้อมกัน
  • จัดเรียงข้อมูลก่อน จากนั้นดำเนินการกำจัดข้อมูลซ้ำ เพื่อให้ได้ผลลัพธ์ที่สามารถตรวจสอบได้ หากคุณต้องทราบว่าสำเนาใดถูกเก็บไว้ ให้จัดเรียงไฟล์ CSV ตามเกณฑ์ที่คุณกำหนด (เช่น เวลาบันทึกล่าสุด หรือรหัสต่ำสุด) ก่อนเริ่มใช้โปรแกรมกำจัดข้อมูลซ้ำ
  • ตรวจสอบจำนวนแถว โดยใช้เครื่องนับแถวแบบ CSV ทั้งในไฟล์ต้นฉบับและไฟล์ผลลัพธ์ เพื่อยืนยันว่ามีการลบแถวซ้ำกี่แถว

คำถามที่พบบ่อย

ไม่ โปรแกรมจะแฮชทั้งแถวที่ถูกวิเคราะห์แล้ว หากต้องการความไม่ซ้ำในคอลัมน์เดียว ให้ใช้เครื่องมือแยกคอลัมน์ CSV เพื่อลดขอบเขตของไฟล์ให้เหลือเฉพาะคอลัมน์นั้นก่อน จากนั้นจึงเรียกใช้โปรแกรมกำจัดข้อมูลซ้ำ

เป็นการปรากฏครั้งแรกในไฟล์ หากต้องการให้รายการใดรายการหนึ่ง (เช่น รายการล่าสุด หรือรายการที่มีหมายเลข ID ต่ำสุด) เป็นลำดับแรก ควรเรียงข้อมูลในไฟล์ CSV ไว้ล่วงหน้า

ใช่ แถวจะถูกวิเคราะห์ตามกฎมาตรฐานของไฟล์ CSV ดังนั้น "Jane, Smith" จะยังคงเป็นเซลล์เดียวและจะถูกเปรียบเทียบในลักษณะนั้น

ไฟล์ CSV จะถูกส่งไปยังเซิร์ฟเวอร์ของเราเพื่อคำนวณการกำจัดข้อมูลซ้ำ โดยจะไม่ถูกจัดเก็บหรือแชร์ และไม่ถูกเพิ่มลงในลิงก์ของหน้าเว็บ

เครื่องมือที่เกี่ยวข้อง

แปลง vCard เป็น CSV

วางไฟล์ส่งออก vCard (.vcf) แล้วได้ไฟล์ CSV ที่สะอาดพร้อมคอลัมน์ชื่อ อีเมล และโทรศัพท์ หนึ่งแถวต่อผู้ติดต่อ พร้อมเปิดในสเปรดชีตหรือเครื่องมือนำเข้าผู้ติดต่อ

เครื่องมือสกัดคอลัมน์ในตาราง CSV

วาง CSV หรือเลือกไฟล์ แล้วเก็บไว้เฉพาะคอลัมน์ที่ต้องการ โดยเลือกจากหมายเลขหรือชื่อหัวคอลัมน์ และเรียงตามลำดับที่ต้องการ CSV ใหม่จะใช้ตัวคั่นเดิม

เครื่องมือกรองข้อมูล CSV

กรองไฟล์ CSV โดยใช้การเปรียบเทียบข้อความในคอลัมน์ใดก็ได้ ให้เก็บเฉพาะแถวที่คอลัมน์ที่เลือกมีคำค้นตามที่กำหนด โดยไม่แยกตัวพิมพ์ใหญ่เล็ก

ตัวแปลง EPUB เป็น MOBI

แปลง ebook EPUB เป็น MOBI สำหรับอุปกรณ์ Kindle รุ่นเก่าและคลัง ebook รุ่นเก่า เก็บบทและสารบัญไว้ครบ อัปโหลด แปลง ดาวน์โหลด

ตัวแปลง WAV เป็น MP3

แปลง WAV เป็น MP3 ออนไลน์ อัปโหลด WAV เราจะเข้ารหัสเป็น MP3 คุณภาพ 192 kbps บนเซิร์ฟเวอร์ และคุณดาวน์โหลดได้ในไม่กี่วินาที สูงสุด 200 MB ลบทิ้งหลัง 2 ชั่วโมง

ตัวแปลง WebM เป็น MP4

แปลงวิดีโอ WebM เป็น MP4 (วิดีโอ H.264, เสียง AAC) เพื่อให้ใช้งานได้กับแอป อุปกรณ์ และแพลตฟอร์มมากขึ้น อัปโหลด WebM เราแปลงบนเซิร์ฟเวอร์ แล้วคุณดาวน์โหลด MP4

เครื่องมือนี้มีให้บริการในภาษาอื่น