ตัวปรับข้อความให้เป็นมาตรฐาน Unicode
สตริงที่มองเห็นเดียวกันอาจถูกจัดเก็บเป็นลำดับไบต์ที่ต่างกัน ขึ้นอยู่กับว่าเครื่องหมายเน้นเสียงอยู่ในรูปจุดโค้ดเดียว หรือเป็นตัวอักษรบวกกับเครื่องหมายผสม ตัวปรับมาตรฐานนี้จะแปลงข้อความระหว่างรูปแบบการปรับมาตรฐาน Unicode ทั้งสี่ (NFC, NFD, NFKC, NFKD) เพื่อให้สตริงของคุณเปรียบเทียบได้อย่างสะอาดในฐานข้อมูล ดัชนีค้นหา สคริปต์กำจัดข้อมูลซ้ำ และการจับคู่ด้วยนิพจน์ทั่วไป (regex)
วิธีปรับข้อความ Unicode ให้เป็นมาตรฐาน
-
1
วางข้อความที่ป้อน
วางสตริงลงไป เช่น ตัวอักษรที่มีเครื่องหมายเน้นเสียง ข้อความ CJK ตัวอักษรผสม (ligature) หรืออะไรก็ตามที่รู้สึกว่าไม่สอดคล้องกัน
-
2
เลือกรูปแบบ
เลือก NFC (แบบประกอบ รูปแบบเว็บที่ใช้ทั่วไป), NFD (แบบแยกส่วน), NFKC (แบบประกอบเชิงความเข้ากันได้) หรือ NFKD (แบบแยกส่วนเชิงความเข้ากันได้)
-
3
เปรียบเทียบตัวเลข
เครื่องมือจะรายงานจำนวนตัวอักษร (จุดโค้ด) และความยาวเป็นไบต์ก่อนและหลัง เพื่อให้คุณเห็นว่ารูปแบบนั้นทำให้สตริงสั้นลงหรือยาวขึ้น
-
4
คัดลอกผลลัพธ์ที่ปรับมาตรฐานแล้ว
ใช้ผลลัพธ์ในฐานข้อมูล เพย์โหลด API ตัวสร้าง slug หรือฟิกซ์เจอร์ทดสอบของคุณ
รูปแบบทั้งสี่และควรใช้แต่ละแบบเมื่อใด
การปรับมาตรฐาน Unicode ถูกกำหนดไว้ในภาคผนวกมาตรฐาน UAX #15 รูปแบบทั้งสี่ต่างกันตามสองแกน คือ แคนอนิคัลเทียบกับความเข้ากันได้ และแบบประกอบเทียบกับแบบแยกส่วน
ตารางอ้างอิงเทียบกัน
| รูปแบบ | การประกอบ | การแมป | ควรใช้เมื่อใด |
|---|---|---|---|
| NFC | ประกอบ | แคนอนิคัลเท่านั้น | ค่าเริ่มต้นสำหรับเนื้อหาเว็บ ฐานข้อมูล ชื่อไฟล์ |
| NFD | แยกส่วน | แคนอนิคัลเท่านั้น | การประมวลผลข้อความที่ลบเครื่องหมายเน้นเสียงทีละตัวอักษร |
| NFKC | ประกอบ | รวมความเข้ากันได้ | การค้นหา ตัวระบุ ตัวกรองสแปม การพับเพื่อแสดงผล |
| NFKD | แยกส่วน | รวมความเข้ากันได้ | การปรับมาตรฐานเชิงรุกก่อนลบเครื่องหมายกำกับเสียง |
รูปแบบแคนอนิคัลรักษาความหมายไว้
พิมพ์ é แล้วสลับรูปแบบดู NFC จะรายงาน 1 ตัวอักษรและ 2 ไบต์ (จุดโค้ดเดียว U+00E9) ขณะที่ NFD รายงาน 2 ตัวอักษรและ 3 ไบต์ (e ธรรมดา ตามด้วยเครื่องหมายเน้นเสียงเฉียบพลันแบบผสม U+0301) ทั้งสองดูเหมือนกันบนหน้าจอแต่เป็นลำดับไบต์ที่ต่างกัน และความไม่ตรงกันนี้เองคือสิ่งที่การปรับมาตรฐานแก้ไข รูปแบบแคนอนิคัลเพียงจัดเรียงไบต์ใหม่ ดังนั้น é ในรูปแบบใดก็ตามจะหมายถึงตัวอักษร e ที่มีเครื่องหมายเน้นเสียงเฉียบพลันเสมอ
“ความเข้ากันได้” เปลี่ยนอะไรจริง ๆ
รูปแบบ K (NFKC, NFKD) ยังเขียนตัวอักษรที่ดูเกี่ยวข้องกันแต่มีรูปแบบการจัดหน้าต่างกันใหม่ด้วย นี่เป็นการแปลงที่สูญเสียข้อมูล คุณไม่สามารถกู้ต้นฉบับกลับมาได้ ตัวอย่างเช่น:
fi(U+FB01 ลิเกเจอร์ตัวเล็กแบบละติน fi) กลายเป็นfi(สองตัวอักษร)①(U+2460 เลขหนึ่งในวงกลม) กลายเป็น1㌀(U+3300 ช่องสี่เหลี่ยม CJK “apaato”) กลายเป็นアパートAแบบเต็มความกว้าง (U+FF21) กลายเป็นA
วิธีนี้ทรงพลังสำหรับการค้นหาและกำจัดข้อมูลซ้ำ แต่ทำลายการจัดรูปแบบ ดังนั้นจงใช้รูปแบบ K เฉพาะเมื่อความเที่ยงตรงทางสายตาไม่สำคัญ
กฎที่ใช้ได้จริง
- จัดเก็บเนื้อหาของผู้ใช้ในรูปแบบ NFC
- เปรียบเทียบตัวระบุในรูปแบบ NFC เพื่อให้
caféที่เขียนเป็นจุดโค้ดเดียว และcaféที่เขียนเป็นe+ U+0301 ตรงกัน แล้วยกระดับเป็น NFKC เมื่อคุณต้องการให้fiกับfiหรือAแบบเต็มความกว้างกับAถูกเปรียบเทียบว่าเท่ากันด้วย ดังที่กฎตัวระบุใน UAX #31 ทำ - สร้าง slug ที่ไม่มีเครื่องหมายเน้นเสียงโดยปรับมาตรฐานเป็น NFD แล้วลบบล็อกเครื่องหมายผสม U+0300 ถึง U+036F
คำถามที่พบบ่อย
โดยทั่วไปหมายความว่าข้อความที่คุณป้อนอยู่ในรูปแบบเป้าหมายอยู่แล้ว ลองวางข้อความที่ผสมหลายแหล่ง (ชื่อไฟล์บน Mac ส่วนของ PDF ที่คัดลอกมา หรือแถวจากฐานข้อมูลเก่า) แล้วคุณจะมีโอกาสเห็นจำนวนตัวอักษรและไบต์เปลี่ยนไปมากกว่ามาก
สำหรับ URL ที่แสดงผล ใช้ NFC ส่วน slug ที่ต้องการ ASCII ล้วน ให้ปรับมาตรฐานเป็น NFD ลบเครื่องหมายผสมด้วย regex บนช่วง U+0300 ถึง U+036F แล้วแปลงเป็นตัวพิมพ์เล็ก NFKD เป็นทางเลือกเมื่อคุณต้องการพับลิเกเจอร์และเลขในวงกลมด้วย
รูปแบบแคนอนิคัล (NFC, NFD) ไม่เคยเปลี่ยนความหมาย เพียงจัดเรียงไบต์ใหม่ ส่วนรูปแบบความเข้ากันได้ (NFKC, NFKD) เปลี่ยนความหมายจริง ลิเกเจอร์ถูกแยก ตัวอักษรแบบเต็มความกว้างถูกพับ และตัวยกถูกทำให้แบน ใช้เมื่อคุณต้องการผลเช่นนั้นเท่านั้น
การปรับมาตรฐานทำงานบนเซิร์ฟเวอร์ของเราผ่านคลาส Normalizer ของ PHP และผลลัพธ์กลับมาในคำขอเดียวกัน ข้อความของคุณไม่ถูกจัดเก็บ เราบันทึกเพียงเหตุการณ์แบบไม่ระบุตัวตนว่าใช้รูปแบบใด ไม่เคยบันทึกเนื้อหาเอง
เครื่องมือที่เกี่ยวข้อง
เครื่องสุ่มนามสกุล
สุ่มสร้างนามสกุลชุดหนึ่งจากนามสกุลที่พบบ่อยที่สุดในสหรัฐอเมริกา เฉพาะนามสกุล ไม่มีชื่อต้น
เครื่องสร้างชื่อแบบสุ่ม
สร้างชื่อแบบสุ่มได้ครั้งละสูงสุด 50 ชื่อจากสถิติชื่อทางการของสหรัฐอเมริกา สเปน และโปแลนด์ เลือกชื่อผู้หญิง ผู้ชาย หรือผสม แสดงเป็นชื่อและนามสกุล เฉพาะชื่อ หรือชื่อกับอักษรย่อนามสกุล
เครื่องมือตั้งชื่อเกาะ
สร้างชื่อเกาะสำหรับเกม เรื่องแต่ง แผนที่ หรือเกาะจริง เลือกสไตล์ ใส่คำของคุณเอง และกำหนดความยาวสูงสุด เช่น 10 ตัวอักษร
เครื่องแปลอักษรไฮโรกลิฟ
สะกดชื่อของคุณเป็นอักษรไฮโรกลิฟอียิปต์ด้วยสัญลักษณ์ที่อาลักษณ์ใช้แทนเสียงเดียว ใส่กรอบคาร์ทูช คัดลอกสัญลักษณ์ หรือดาวน์โหลดเป็น PNG
ตัวแปลงฮิรางานะและคาตากานะ
แปลงข้อความภาษาญี่ปุ่นจากฮิรางานะเป็นคาตากานะหรือกลับกัน และขยายคาตากานะครึ่งความกว้างให้เป็นเต็มความกว้าง รองรับคานะตัวเล็ก เครื่องหมาย ー และเครื่องหมายเสียงก้อง ส่วนคันจิและตัวอักษรจะไม่เปลี่ยน
ตัวแปลง ASCII เป็นข้อความ
ถอดรหัสรายการโค้ด ASCII แบบทศนิยมกลับเป็นข้อความที่อ่านง่าย รหัสที่คั่นด้วยช่องว่าง เครื่องหมายจุลภาค หรืออัฒภาคจะแสดงผลทันที
เครื่องมือนี้มีให้บริการในภาษาอื่น
- Normalizador Unicode [ES]
- Unicode正規化ツール [JA]
- Normalizador Unicode [PT]
- 유니코드 정규화기 [KO]
- Unicode-normaliserare [SV]
- Normaliseur Unicode [FR]
- مُطبِّع Unicode [AR]
- Bộ chuẩn hóa Unicode [VI]
- Penormal Unicode [ID]
- Unicode-normaliseerder [NL]
- Unicode-Normalisierer [DE]
- Normalizator Unicode [PL]
- Unicode Normalizer [EN]
- Normalizzatore Unicode [IT]
- Нормализатор Unicode [RU]
- Unicode Normalleştirici [TR]
- Unicode 规范化工具 [ZH]