โปรแกรมกำจัดข้อมูลซ้ำในไฟล์ CSV
ข้อมูลซ้ำอาจแทรกเข้าไปในไฟล์ CSV ได้ในรูปแบบที่น่ารำคาญ เช่น การส่งข้อมูลผ่าน webhook หลายครั้ง รายงานสองฉบับที่ถูกนำมารวมกันด้วยตนเอง หรือการเชื่อมโยงข้อมูลที่ทำให้แถวข้อมูลกระจายออกไปอย่างไม่คาดคิด โปรแกรมกำจัดข้อมูลซ้ำนี้จะสร้างแฮชให้กับแต่ละแถวข้อมูล และเก็บเฉพาะครั้งแรกเท่านั้น ทำให้ผลลัพธ์ยังคงลำดับแถวเดิมไว้อย่างแม่นยำ โดยไม่แสดงผลของรายการสำเนาใดๆ เลย ส่วนแถวหัวข้อเป็นตัวเลือก หากไฟล์ของคุณเริ่มต้นด้วยข้อมูลโดยตรง ให้สลับตัวเลือกนี้
กลไกการทำงานของระบบกำจัดข้อมูลซ้ำ
-
1
วางไฟล์ CSV เข้าไป
ให้รวมหรือไม่รวมแถวหัวข้อ โดยใช้ช่องทำเครื่องหมายเพื่อบอกเครื่องมือว่าควรทำอย่างไร
-
2
แต่ละแถวได้รับการแฮชแล้ว
แถวจะถูกแปลงเป็นอาร์เรย์ และค่า MD5 ของรูปแบบ JSON ของแต่ละแถวจะถูกใช้เป็นคีย์ระบุความเป็นเอกลักษณ์
-
3
ผลชนะจากการปรากฏตัวครั้งแรก
จะเก็บแถวแรกที่มีค่าแฮชเฉพาะไว้ ส่วนแถวถัดไปที่มีเนื้อหาเหมือนกันจะถูกละเว้นโดยไม่มีการแจ้งเตือนใดๆ
-
4
เฮดเดอร์ถูกเก็บรักษาไว้
หากโหมดเฮดเดอร์เปิดอยู่ แถวที่ 1 จะถูกส่งต่อไปโดยไม่มีการกำจัดข้อมูลซ้ำเมื่อเทียบกับข้อมูลหลัก
สิ่งใดจัดว่าเป็นสำเนา
โปรแกรมกำจัดข้อมูลซ้ำใช้หลักการเทียบความเท่ากันของบรรทัดทั้งหมด โดยถือว่าสองบรรทัดเป็นข้อมูลซ้ำกันหากเซลล์ทุกเซลล์ตรงกันทุกตำแหน่ง หลังจากการแปลงข้อมูลในรูปแบบ CSV ตามมาตรฐาน
สิ่งที่ยังถือว่าแตกต่างกัน
| แถว A | แถว B | ผลการพิจารณา |
|---|---|---|
Alice,30,Paris |
Alice, 30, Paris |
ต่างกัน (มีช่องว่างเพิ่มเติม) |
Bob,25 |
Bob,25, |
ต่างกัน (มีช่องว่างหลัง) |
"Jane Smith",42 |
Jane Smith,42 |
เหมือนกัน (การอ้างอิงเป็นขั้นตอนของตัววิเคราะห์ข้อความ) |
TRUE,1 |
true,1 |
ต่างกัน (แยกแยะตัวพิมพ์ใหญ่เล็ก) |
เมื่อการกำจัดข้อมูลซ้ำในระดับคอลัมน์เหมาะสมกว่า
การจับคู่ทั้งแถวเป็นวิธีที่เข้มงวด ซึ่งโดยทั่วไปมักเป็นสิ่งที่ต้องการ แต่บางครั้งคุณอาจต้องการ “หนึ่งแถวต่อหนึ่งอีเมล โดยไม่คำนึงถึงคอลัมน์อื่น” ในกรณีดังกล่าว ให้ใช้เครื่องมือแยกคอลัมน์ CSV เพื่อลดไฟล์ให้เหลือเฉพาะคอลัมน์หลักก่อน จากนั้นกำจัดข้อมูลซ้ำในคอลัมน์นั้น แล้วนำผลลัพธ์มาใช้เป็นตารางค้นหา หรือใช้คำสั่ง SQL ก็ได้ เช่น SELECT DISTINCT ON (email) * FROM users ORDER BY email, created_at DESC; ใน PostgreSQL หรือใช้ GROUP BY ร่วมกับฟังก์ชันรวม MIN() ในฐานข้อมูลอื่น
คำแนะนำที่นำไปใช้ได้จริง
- ให้ดำเนินการปรับรูปแบบข้อมูลให้เป็นมาตรฐานก่อนการกำจัดข้อมูลซ้ำ โดยเริ่มจากการตัดช่องว่างและกำหนดรูปแบบตัวอักษรให้เหมือนกันในคอลัมน์หลัก หากไม่ทำเช่นนั้น ข้อมูล
ALICE@EXAMPLE.COMและalice@example.comจะยังคงปรากฏอยู่พร้อมกัน - จัดเรียงข้อมูลก่อน จากนั้นดำเนินการกำจัดข้อมูลซ้ำ เพื่อให้ได้ผลลัพธ์ที่สามารถตรวจสอบได้ หากคุณต้องทราบว่าสำเนาใดถูกเก็บไว้ ให้จัดเรียงไฟล์ CSV ตามเกณฑ์ที่คุณกำหนด (เช่น เวลาบันทึกล่าสุด หรือรหัสต่ำสุด) ก่อนเริ่มใช้โปรแกรมกำจัดข้อมูลซ้ำ
- ตรวจสอบจำนวนแถว โดยใช้เครื่องนับแถวแบบ CSV ทั้งในไฟล์ต้นฉบับและไฟล์ผลลัพธ์ เพื่อยืนยันว่ามีการลบแถวซ้ำกี่แถว
คำถามที่พบบ่อย
ไม่ โปรแกรมจะแฮชทั้งแถวที่ถูกวิเคราะห์แล้ว หากต้องการความไม่ซ้ำในคอลัมน์เดียว ให้ใช้เครื่องมือแยกคอลัมน์ CSV เพื่อลดขอบเขตของไฟล์ให้เหลือเฉพาะคอลัมน์นั้นก่อน จากนั้นจึงเรียกใช้โปรแกรมกำจัดข้อมูลซ้ำ
เป็นการปรากฏครั้งแรกในไฟล์ หากต้องการให้รายการใดรายการหนึ่ง (เช่น รายการล่าสุด หรือรายการที่มีหมายเลข ID ต่ำสุด) เป็นลำดับแรก ควรเรียงข้อมูลในไฟล์ CSV ไว้ล่วงหน้า
ใช่ แถวจะถูกวิเคราะห์ตามกฎมาตรฐานของไฟล์ CSV ดังนั้น "Jane, Smith" จะยังคงเป็นเซลล์เดียวและจะถูกเปรียบเทียบในลักษณะนั้น
ไฟล์ CSV จะถูกส่งไปยังเซิร์ฟเวอร์ของเราเพื่อคำนวณการกำจัดข้อมูลซ้ำ โดยจะไม่ถูกจัดเก็บหรือแชร์ และไม่ถูกเพิ่มลงในลิงก์ของหน้าเว็บ
เครื่องมือที่เกี่ยวข้อง
เครื่องมือแตกไฟล์บีบอัด
ตรวจสอบไฟล์ ZIP, JAR, XPI, DOCX, XLSX, PPTX และ ODT ภายในเบราว์เซอร์ แล้วดาวน์โหลดไฟล์ด้านในทีละไฟล์โดยไม่ต้องอัปโหลดไฟล์ต้นฉบับ
ตัวแปลงคำบรรยาย
แปลงคำบรรยาย SRT เป็น WebVTT หรือ VTT เป็น SRT ภายในเครื่อง ตรวจสอบเวลา รักษาข้อความหลายบรรทัด แล้วคัดลอกหรือดาวน์โหลดผลลัพธ์
เครื่องมือแยกชีต Excel
แยกเวิร์กบุ๊ก XLSX หรือ XLS ตามแท็บเวิร์กชีต กลุ่มแถวข้อมูล หรือค่าคอลัมน์ในเบราว์เซอร์ ดาวน์โหลด XLSX เดียวหรือ ZIP ในเครื่องได้โดยไม่ต้องอัปโหลดไฟล์
รวมแผ่นงาน Excel
รวมไฟล์ XLSX, XLS, XLSM, XLSB หรือ ODS ในเครื่อง เก็บแผ่นงานต้นทางแยกไว้ หรือเพิ่มแถวที่มีหัวคอลัมน์ตรงกัน แล้วดาวน์โหลด XLSX.
เครื่องมือแปลง Excel เป็น CSV
แปลงชีต XLSX หรือ XLS เป็น CSV หรือ TSV ในเบราว์เซอร์ เลือกชีต ตัวคั่น การเข้ารหัส และข้อมูลที่ซ่อนได้โดยไม่ต้องอัปโหลดไฟล์
เครื่องมือแปลง Word เป็น Markdown
แปลงไฟล์ Word DOCX เป็น Markdown ที่เป็นระเบียบภายในเบราว์เซอร์ เก็บหัวข้อ รายการ ลิงก์ และตารางแบบง่าย แล้วคัดลอกหรือดาวน์โหลดไฟล์ .md ที่แก้ไขได้