बुकमार्क मॅनेजर आणि URL डिटर्मिनिस्टिक डीड्युप्लिकेशन: गोंधळ संपवण्याचे अल्गोरिदम

आपण सोशल मीडियावरून किंवा गुगलवरून ज्या लिंक्स सेव्ह करतो, त्यात बऱ्याचदा ?utm_source=twitter, &fbclid=... किंवा #ref असे निरुपयोगी ट्रॅकिंग पॅरामीटर्स चिकटलेले असतात. यामुळे एकाच पेजच्या वेगवेगळ्या १० लिंक्स तयार होतात आणि बुकमार्क्समध्ये अफाट गोंधळ उडतो.

या समस्येवर आम्ही डिटर्मिनिस्टिक डीड्युप्लिकेशन अल्गोरिदम तयार केला:

शुद्धीकरणाचे ४ टप्पे

1. ट्रॅकिंग पॅरामीटर्स काढणे: सर्व utm_, ref, fbclid टॅग्ज काढून टाकणे.
2. प्रोटोकॉल आणि केस नॉर्मलायझेशन: HTTP चे HTTPS करणे आणि डोमेन नेम लोअरकेस करणे.
3. ट्रेलिंग स्लॅश एकसमान करणे: शेवटी येणारा स्लॅश (/) एका नियमानुसार ठेवणे.
4. कॅनॉनिकल हॅशिंग: लिंकचा SHA-256 हॅश काढून डुप्लिकेट्स सेकंदात शोधणे.

यामुळे हजारो लिंक्सचा डेटा एकदम स्वच्छ आणि शोधायला सोपा होतो.