किसी साइटमैप से सारे URL निकालने के लिए साइटमैप का सोर्स कोड खोलें, पूरा कॉपी करें और हर <loc> टैग के अंदर का पता निकालें। हमारा फ़्री URL एक्सट्रैक्टर यह काम आपके लिए करता है: XML पेस्ट करें, Submit दबाएं, और आपको हर लाइन में एक URL और कुल गिनती मिलती है। यह & को & पढ़ता है और mailto:, tel: जैसे लिंक छोड़ देता है, लेकिन सूची पर भरोसा करने से पहले आपको अब भी दो चीज़ें साफ़ करनी होंगी: नेमस्पेस वाली लाइनें और डुप्लिकेट।
URL एक्सट्रैक्टर फ़्री है, अकाउंट की ज़रूरत नहीं और किसी भी ब्राउज़र में चलता है, कुछ इंस्टॉल नहीं करना पड़ता। लिंक ढूँढने के लिए टेक्स्ट हमारे सर्वर पर प्रोसेस होता है। विज़िटर्स को रोज़ 5 बार टूल इस्तेमाल करने की सुविधा मिलती है, और My Botsy का फ़्री अकाउंट (100% फ़्री, कोई स्पैम नहीं) यह सीमा हटा देता है। इस लेख के सारे आँकड़े 1 नवंबर 2026 को लाइव टूल पर किए गए टेस्ट से हैं: हमारे अपने साइटमैप पर, और एक ऐसे टेस्ट साइटमैप पर जिसे हमने जानबूझकर टूल को उलझाने के लिए बनाया।
साइटमैप से URL कैसे निकालें, स्टेप बाय स्टेप
- साइटमैप का असली पता ढूँढें।
https://website.in/robots.txtखोलें और वह लाइन देखें जोSitemap:से शुरू होती है। यह मानकर न चलें कि साइटमैप/sitemap.xmlपर ही होगा: mybotsy.com पर वह पता 404 देता है, और robots.txthttps://mybotsy.com/sitemapकी ओर इशारा करता है। आम डिफ़ॉल्ट पते हैं/wp-sitemap.xml(बिना प्लगइन वाला WordPress),/sitemap_index.xml(Yoast SEO) और/sitemap.xml(Shopify और कई दूसरे)। - सजा हुआ व्यू नहीं, सोर्स खोलें। कुछ साइटमैप ब्राउज़र में टेबल की तरह सजे हुए दिखते हैं। पते के आगे
view-source:लिखें (Chrome, Edge, Firefox) या Ctrl+U दबाएँ, फिर Ctrl+A और Ctrl+C। सर्च इंजन का क्रॉलर यही सोर्स पढ़ता है। - सोर्स जैसा है वैसा ही पेस्ट करें। XML में क्वेरी स्ट्रिंग का हर
&&के रूप में सेव होता है। इसे ठीक करने की ज़रूरत नहीं: 1 नवंबर 2026 से एक्सट्रैक्टर इसे वापस&बना देता है, इसलिए?color=red&size=42का नतीजा?color=red&size=42आता है। - URL एक्सट्रैक्टर में पेस्ट करें और सबमिट करें। आपको गिनती और एक नतीजा बॉक्स मिलेगा, जिसमें हर लाइन में एक URL होगा। पूरी लिस्ट लेने के लिए कॉपी आइकन पर क्लिक करें।
- namespace वाली लाइनें हटाएँ। पहली लाइन लगभग हमेशा
http://www.sitemaps.org/schemas/sitemap/0.9होती है। यह कोई पेज नहीं, बल्कि साइटमैप का namespace है। इमेज और hreflang वाले साइटमैप और भी जोड़ देते हैं, जैसेhttp://www.w3.org/1999/xhtml। - डुप्लिकेट हटाएँ और क्रम से लगाएँ। लिस्ट को डुप्लिकेट लाइन रिमूवर में डालें, फिर लिस्ट अल्फ़ाबेटाइज़र में। क्रम से लगाने पर namespace वाली लाइनें और कोई भी दूसरा डोमेन (जैसे इमेज का CDN) एक साथ आ जाते हैं और तुरंत दिख जाते हैं। डुप्लिकेट लाइनें हटाने और लिस्ट सॉर्ट करने पर हमारी गाइड बारीकियाँ समझाती है, जैसे लाइन के आख़िर की स्पेस।
- पेज की जगह साइटमैप मिलें तो दोहराएँ। साइटमैप इंडेक्स में पेज नहीं, दूसरे साइटमैप की लिस्ट होती है। हर चाइल्ड साइटमैप खोलें और स्टेप 2 से 6 दोहराएँ।
असली उदाहरण 1: हमारा अपना साइटमैप इंडेक्स
हमने https://mybotsy.com/sitemap (3,813 बाइट) का सोर्स URL एक्सट्रैक्टर में पेस्ट किया। नतीजा: गिनती 27। पहली लाइन namespace थी और बाकी 26 चाइल्ड साइटमैप: https://mybotsy.com/sitemap/main और हर भाषा के लिए एक टूल साइटमैप, /sitemap/tools/ar से /sitemap/tools/vi तक। एक भी पेज नहीं। इंडेक्स ऐसा ही दिखता है, और लोगों को लगने की सबसे आम वजह यही है कि URL निकालना "काम नहीं किया"।
फिर हमने https://mybotsy.com/sitemap/main खोला, जो 65,107 बाइट की फ़ाइल है, और उसका सोर्स पेस्ट किया। नतीजा: गिनती 450, यानी पेजों के 449 URL और एक namespace लाइन। जाँच के लिए हमने टर्मिनल कमांड से <loc> टैग गिने, वही 449 निकले, और डुप्लिकेट लाइन रिमूवर ने एक भी लाइन नहीं हटाई। अंग्रेज़ी वाले हिस्से में 40 URL थे: होम पेज, कॉन्टैक्ट, ब्लॉग, टूल्स के छह सेक्शन, चार /page/ URL, ब्लॉग की पाँच कैटेगरी और 22 लेख (यह लेख छपने से पहले की गिनती है, अब यह संख्या ज़्यादा है)।
असल काम का हिस्सा यही ब्रेकडाउन है। लिस्ट हाथ में हो तो आप उसे अपनी उम्मीद से, या Search Console में Google जिन पेजों को इंडेक्स बताता है उनसे मिलाकर देख सकते हैं कि क्या छूटा है और क्या नहीं होना चाहिए।
असली उदाहरण 2: एक्सट्रैक्टर को उलझाने वाला साइटमैप
असली साइटमैप में सिर्फ़ सादे <loc> URL नहीं होते। हमने एक काल्पनिक स्टोर shop.example.com के लिए सात <loc> वाला टेस्ट साइटमैप बनाया, जिसमें एक hreflang विकल्प, एक इमेज टैग, एक क्वेरी स्ट्रिंग, एक CDATA ब्लॉक, कोष्ठक, एक एक्सेंट वाला अक्षर और दो दोहराए गए पेज थे। 1 नवंबर 2026 को बिना बदले पेस्ट करने पर एक्सट्रैक्टर ने Count 12 लौटाया:
| साइटमैप में | क्या निकला | उपाय |
|---|---|---|
| namespace घोषणाएँ (3) | 3 फ़ालतू लाइनें, जैसे http://www.sitemaps.org/schemas/sitemap/0.9 | हटा दें |
<xhtml:link hreflang="es" href=".../es/"> | https://shop.example.com/es/ | सामान्य है: अल्टरनेट भी URL हैं |
CDN पर <image:loc> | https://cdn.example.com/img/red-shoe.jpg | सिर्फ़ पेज चाहिए तो हटा दें |
/shoes?color=red&size=42 | /shoes?color=red&size=42 | कुछ नहीं |
<![CDATA[/sale?utm_source=mail&utm_medium=email]]> | पूरा और सही URL | कुछ नहीं |
/guide/sizing-(eu-vs-us) | /guide/sizing-(eu-vs-us) | कुछ नहीं |
/café-menu | /café-menu | कुछ नहीं (ब्राउज़र इसे caf%C3%A9-menu के रूप में भेजते हैं) |
डुप्लिकेट लाइन रिमूवर ने 12 लाइनों को 10 कर दिया (होम पेज दो बार <loc> में था, और /es/ एक बार hreflang अल्टरनेट के रूप में और एक बार अपने <loc> में)। क्रम से लगाने पर तीनों namespace लाइनें सबसे ऊपर आ गईं और CDN वाली इमेज उनके ठीक बाद, तो सफ़ाई में कुछ सेकंड लगे।
सबक: टूल जो गिनती दिखाता है, वह आपके पेजों की असली संख्या तभी बनती है जब namespace, बेकार अल्टरनेट, इमेज और डुप्लिकेट हट जाएँ।
गलतियाँ जो आपकी URL लिस्ट बिगाड़ देती हैं
& वाला जाल (1 नवंबर 2026 से हल)
sitemaps.org का साइटमैप प्रोटोकॉल कहता है कि हर वैल्यू एंटिटी से एस्केप हो, इसलिए & वाला URL & लिखा जाना चाहिए। जो टूल XML पार्स करने के बजाय कच्चा टेक्स्ट पढ़ते हैं, उन्हें सेमीकोलन दिखता है। 1 नवंबर 2026 तक हमारा एक्सट्रैक्टर वहीं रुक जाता था और सिर्फ़ ?color=red& रखता था। अब यह पहले एंटिटी डिकोड करता है और ?color=red&size=42 लौटाता है। पुराना वन-लाइनर grep -o '<loc>[^<]*' अब भी URL में & छोड़ देता है, जो बाद में उस URL को खोलने पर गलत है।
URL कहाँ खत्म होता है
हमने एक्सट्रैक्टर पर और केस चलाए। परसेंट-एन्कोडेड URL, पोर्ट (:8443), Punycode डोमेन (xn--mnchen-3ya.de), अंतरराष्ट्रीय डोमेन और पाथ (münchen.de, пример.рф/путь) और ; ! ' * $ ( ) [ ] जैसे कैरेक्टर पूरे रखे जाते हैं। URL किसी स्पेस, कोट या < पर खत्म होता है, और उसके ठीक बाद का विराम चिह्न, जैसे आख़िरी फ़ुल स्टॉप, कॉमा या बिना जोड़ी का बंद कोष्ठक, हटा दिया जाता है, इसलिए see https://a.com/end. से https://a.com/end मिलता है। जो लिंक वेब पते नहीं हैं, जैसे mailto:, tel:, javascript:, data: और सिर्फ़ # वाले एंकर, छोड़ दिए जाते हैं।
इंडेक्स और साइटमैप में गड़बड़
अगर रूट टैग <sitemapindex> है, तो हर <loc> एक और साइटमैप है। बड़ी साइटें अपने URL बाँट देती हैं क्योंकि एक साइटमैप में ज़्यादा से ज़्यादा 50,000 URL हो सकते हैं और बिना कंप्रेस किए उसका साइज़ 50 MB (52,428,800 बाइट) से ज़्यादा नहीं हो सकता। .xml.gz वाली फ़ाइलें gzip से कंप्रेस होती हैं: ब्राउज़र उन्हें दिखाने के बजाय डाउनलोड कर लेता है, इसलिए पहले उन्हें अनज़िप करें (Windows पर 7-Zip, Mac पर डबल-क्लिक)।
साइटमैप को लाइव पेजों की लिस्ट मान लेना
साइटमैप वह है जो साइट दावा करती है, सबूत नहीं। अगर वह अपने-आप नहीं बनता, तो बदलाव के काफ़ी समय बाद भी उसमें हटाए गए पेज, रीडायरेक्ट हो चुके URL और पुराने http:// पते रह सकते हैं। शक वाले URL को URL रीडायरेक्ट चेकर से जाँचें (रीडायरेक्ट 301 है या 302, कैसे जाँचें वाली हमारी गाइड नतीजे समझाती है), और हर पेज के टैग मेटा टैग चेकर से देखें।
लिस्ट का क्या करें
- Search Console से मिलान करें। अपनी लिस्ट को उन पेजों से मिलाएँ जिन्हें Google इंडेक्स बताता है, और देखें कि क्या छूटा है या गलती से जुड़ा है।
- माइग्रेशन की योजना बनाएँ। पुराने URL की क्रम से लगी लिस्ट आपके रीडायरेक्ट मैप का पहला कॉलम है।
- URL ढाँचा साफ़ करें। क्रम से लगी लिस्ट में लंबे और उलझे पाथ तुरंत दिख जाते हैं। SEO फ़्रेंडली URL स्लग पर हमारी गाइड और स्लग जनरेटर इन्हें ठीक करने में मदद करते हैं।
- URL के हिस्से अलग करें। URL पार्सर किसी भी पते को होस्ट, पाथ और पैरामीटर में बाँट देता है, जिससे ऐसे ट्रैकिंग पैरामीटर पकड़ में आते हैं जो साइटमैप में नहीं होने चाहिए। हमारी UTM पैरामीटर गाइड बताती है कि
utm_वाले लिंक कैंपेन के लिए हैं, साइटमैप के लिए नहीं।
अक्सर पूछे जाने वाले सवाल
किसी वेबसाइट के सारे URL उसके साइटमैप से कैसे निकालें?
robots.txt में साइटमैप ढूँढें, उसका सोर्स खोलें, & को & से बदलें और URL एक्सट्रैक्टर में पेस्ट करें। namespace लाइनें हटाएँ, डुप्लिकेट निकालें, और अगर वह इंडेक्स है तो हर चाइल्ड साइटमैप के साथ यही दोहराएँ।
पेज के URL की जगह साइटमैप के लिंक क्यों मिले?
आपने साइटमैप इंडेक्स खोला है। उसके <loc> टैग दूसरे साइटमैप की ओर इशारा करते हैं; हमारे इंडेक्स से 26 चाइल्ड साइटमैप निकले और एक भी पेज नहीं। हर एक खोलें और फिर से URL निकालें।
पहला URL http://www.sitemaps.org/schemas/sitemap/0.9 क्यों है?
यह XML namespace है जो हर सही साइटमैप अपने रूट टैग में बताता है। यह URL जैसा दिखता है, इसलिए एक्सट्रैक्टर इसे भी लिस्ट कर देते हैं। इसे हटा दें, यह साइट का पेज नहीं है।
क्या एक्सट्रैक्टर साइटमैप के & को संभालता है?
हाँ। साइटमैप में & को & के रूप में रखना ज़रूरी है, और 1 नवंबर 2026 से एक्सट्रैक्टर इसे वापस बदल देता है, इसलिए क्वेरी स्ट्रिंग पूरी आती हैं। अब पेस्ट करने से पहले टेक्स्ट एडिटर में इसे बदलने की ज़रूरत नहीं है।
क्या .xml.gz साइटमैप से URL निकाल सकते हैं?
हाँ, अनज़िप करने के बाद। कंप्रेस्ड साइटमैप फ़ाइल के रूप में डाउनलोड होते हैं; अंदर की .xml फ़ाइल निकालें, टेक्स्ट एडिटर में खोलें और उसका कंटेंट टूल में पेस्ट करें।
क्या URL एक्सट्रैक्टर फ़्री है?
हाँ। यह फ़्री है, अकाउंट नहीं चाहिए और कुछ इंस्टॉल नहीं करना पड़ता। विज़िटर्स को रोज़ 5 बार इस्तेमाल मिलता है, और फ़्री अकाउंट (कोई स्पैम नहीं) यह सीमा हटा देता है।
अपनी लिस्ट निकालने के लिए तैयार? फ़्री URL एक्सट्रैक्टर खोलें, अपने साइटमैप का सोर्स पेस्ट करें, और डुप्लिकेट लाइन रिमूवर व लिस्ट अल्फ़ाबेटाइज़र से दो क्लिक में नतीजा साफ़ करें।
