कोई पेज noindex है या नहीं, यह जानने के लिए दो जगह देखें: HTML के <head> में <meta name="robots" content="noindex"> जैसा कोई टैग, और HTTP रिस्पॉन्स हेडर में X-Robots-Tag: noindex। पेज को Google से बाहर रखने के लिए इनमें से कोई एक ही काफ़ी है, और हेडर वाला तरीका पेज के सोर्स कोड में कभी दिखता ही नहीं। दोनों को सबसे जल्दी जाँचने का तरीका: मेटा टैग के लिए URL हमारे फ़्री मेटा टैग चेकर में डालें, फिर हेडर के लिए HTTP हेडर लुकअप में। दोनों टूल फ़्री हैं, अकाउंट नहीं चाहिए और ब्राउज़र से ही चलते हैं (ये URL को हमारे सर्वर से खोलते हैं, इसलिए किसी भी पब्लिक पेज पर काम करते हैं)।
इस लेख के सारे नतीजे 2 नवंबर 2026 को इन दोनों टूल्स के असली टेस्ट से लिए गए हैं और curl से दोबारा जाँचे गए हैं। Google noindex को कैसे पढ़ता है, ये नियम Google Search Central के डॉक्यूमेंटेशन से हैं, जिसे हमने उसी दिन दोबारा पढ़ा।
वो दो जगहें जहाँ noindex छिपा होता है
Google दोनों तरीकों को एक जैसा मानता है। उसके डॉक्यूमेंटेशन के मुताबिक मेटा टैग और HTTP हेडर का "असर एक जैसा" होता है।
- Robots मेटा टैग, HTML के अंदर:
<meta name="robots" content="noindex">। नामgooglebot(सिर्फ़ Google के लिए) याgooglebot-newsभी हो सकता है। Google कहता है कि इस टैग में बाक़ी क्रॉलर के नाम वह अनदेखा करता है। - X-Robots-Tag हेडर, जिसे सर्वर HTML से पहले भेजता है:
X-Robots-Tag: noindex। PDF, इमेज, XML और JSON के लिए यही इकलौता तरीका है, क्योंकि इन फ़ाइलों में<head>होता ही नहीं। इसमें भी किसी ख़ास क्रॉलर का नाम दिया जा सकता है:X-Robots-Tag: googlebot: noindex।
दो वैल्यू ढूँढें: noindex और none। Google none को noindex, nofollow के बराबर मानता है। यानी none वाला पेज भी इंडेक्स से बाहर है, भले ही उसमें "noindex" शब्द कहीं न लिखा हो।
कैसे पता करें कि पेज noindex है: स्टेप बाय स्टेप
- मेटा टैग जाँचें। मेटा टैग चेकर खोलें, पूरा URL (
https://के साथ) पेस्ट करें और सबमिट करें।robotsयाgooglebotनाम की लाइन देखें। अगर उसकी वैल्यू मेंnoindexयाnoneहै, तो जवाब मिल गया। - हेडर जाँचें। वही URL HTTP हेडर लुकअप में डालें और
x-robots-tagवाली लाइन देखें। पहली लाइन भी देखें, यह HTTP स्टेटस लाइन है: अगर यह 200 नहीं है, तो स्टेप 1 का नतीजा अलग तरह से पढ़ना होगा (नीचे समझाया है)। - robots.txt जाँचें।
https://site.com/robots.txtखोलें और देखें कि कोईDisallowलाइन उस पाथ से मेल खाती है या नहीं। अगर खाती है, तो Google वह पेज कभी डाउनलोड नहीं करता और noindex कभी देख ही नहीं पाता। बहुत से लोग यहीं ग़लती करते हैं। - Google से पक्का करें, अगर साइट आपकी है। Search Console का URL इंस्पेक्शन टूल बताता है कि Google ने जो वर्ज़न क्रॉल किया, उसमें इंडेक्सिंग की इजाज़त है या नहीं; लाइव URL टेस्ट मौजूदा वर्ज़न जाँचता है।
अभी आज़माएँ: अपना URL फ़्री मेटा टैग चेकर और HTTP हेडर लुकअप में डालें। कुछ सेकंड लगते हैं और साइन-अप की ज़रूरत नहीं।
असली उदाहरण
उदाहरण 1: meta noindex वाला लॉगिन पेज
हमने अपना ही साइन-इन पेज, https://mybotsy.com/login, मेटा टैग चेकर में डाला। चार लाइनें आईं, जिनमें यह थी:
robots noindex, follow, noarchiveयह पेज जानबूझकर noindex रखा गया है: लॉगिन फ़ॉर्म का सर्च नतीजों में कोई काम नहीं। follow उसके लिंक फ़ॉलो करने देता है, और noarchive आज Google पर कुछ नहीं करता: Google इसे उन नियमों में गिनता है जिन्हें वह अब इस्तेमाल नहीं करता, क्योंकि जिस कैश्ड-पेज लिंक को यह कंट्रोल करता था, वह फ़ीचर ही ख़त्म हो चुका है।
उदाहरण 2: हेडर में noindex वाला XML साइटमैप
फिर हमने https://yoast.com/sitemap_index.xml को HTTP हेडर लुकअप में जाँचा। स्टेटस लाइन में HTTP/2 200 था, और नीचे:
content-type text/xml; charset=UTF-8
x-robots-tag noindex, followमेटा टैग चेकर को यहाँ कुछ नहीं मिलता, क्योंकि XML में robots मेटा टैग होता ही नहीं: हेडर ही इकलौता संकेत है। और यह सामान्य बात है, क्योंकि साइटमैप क्रॉलर के पढ़ने के लिए होते हैं, सर्च नतीजों में दिखने के लिए नहीं। curl -I से हमें यही हेडर yoast.com और developer.wordpress.org के WordPress REST API पतों (/wp-json/) पर भी मिला, और हमारी अपनी RSS फ़ीड, https://mybotsy.com/blog/feed, भी x-robots-tag: noindex भेजती है।
उदाहरण 3: ऐसा noindex जो Google देख ही नहीं सकता
yoast.com की robots.txt में Disallow: /wp-json/ लिखा है, और https://yoast.com/wp-json/ साथ में x-robots-tag: noindex भी भेजता है। ये दोनों नियम एक-दूसरे के रास्ते में आते हैं। Google के डॉक्यूमेंटेशन के मुताबिक, अगर robots.txt किसी URL को ब्लॉक करता है, तो उसके इंडेक्सिंग नियम "मिलेंगे ही नहीं और इसलिए अनदेखे कर दिए जाएँगे"। Google यह भी बताता है कि ब्लॉक किया गया URL फिर भी सर्च नतीजों में दिख सकता है, जैसे जब दूसरे पेज उसे लिंक करते हों। किसी API एंडपॉइंट के लिए इससे ख़ास फ़र्क नहीं पड़ता। लेकिन अगर आप सच में किसी पेज को Google से हटाना चाहते हैं, तो उसे robots.txt में ब्लॉक न करें: Google को उसे क्रॉल करने दें ताकि वह noindex देख सके।
उदाहरण 4: दो robots टैग वाला पेज
CMS की एक आम दिक़्क़त (थीम और SEO प्लगइन दोनों अपना-अपना robots टैग लगा देते हैं) को परखने के लिए हमने httpbin.org के ज़रिए एक छोटा टेस्ट पेज चलाया, जिसके head में पहले <meta name="robots" content="noindex"> और फिर <meta name="robots" content="index, follow"> था। हमारे चेकर ने सिर्फ़ एक लाइन दिखाई: robots index, follow।
यह गुमराह करता है। एक ही नाम का टैग दोबारा आने पर हमारा चेकर सिर्फ़ आख़िरी वैल्यू रखता है, जबकि नियमों में टकराव होने पर Google ज़्यादा सख़्त नियम लागू करता है, यानी Google के लिए यह पेज noindex है। अगर कोई पेज इंडेक्स होने लायक़ लगे फिर भी इंडेक्स न हो, तो सोर्स कोड खोलें (Ctrl+U, Mac पर Cmd+Option+U), Ctrl+F दबाएँ और robots खोजें। हो सकता है वहाँ दूसरा टैग मिले।
उदाहरण 5: भेस बदला हुआ एरर पेज
हमने Wikipedia के एक पेज की हिस्ट्री वाला URL भी जाँचा। ब्राउज़र में इसमें <meta name="robots" content="noindex,nofollow,max-image-preview:standard"> होता है, लेकिन हमारे चेकर ने सिर्फ़ color-scheme light dark दिखाया, robots की कोई लाइन नहीं। वजह: हमारा सर्वर ब्राउज़र वाला user agent नहीं भेजता, और Wikipedia ने उसे 403 एरर पेज ("Wikimedia Error") लौटा दिया। चेकर जो भी पेज मिले उसे पढ़ लेता है और HTTP स्टेटस नहीं बताता।
यह सबक़ हर टूल पर लागू होता है: robots लाइन का न होना तभी मायने रखता है जब पेज ठीक से लोड हुआ हो। पहले HTTP हेडर लुकअप में स्टेटस लाइन देखें। अगर वह 200 नहीं है, या उस साइट के हिसाब से मेटा टैग की लिस्ट बहुत छोटी लगे, तो नतीजे पर भरोसा न करें और ब्राउज़र में सोर्स कोड से जाँचें।
वो ग़लतियाँ जिनसे ग़लत जवाब मिलता है
- रीडायरेक्ट। दोनों टूल बिना बताए रीडायरेक्ट फ़ॉलो करते हैं। जब हमने ऐसा URL जाँचा जो 301 से
X-Robots-Tag: noindexभेजने वाले पेज पर जाता है, तो हेडर लुकअप ने स्टेटसHTTP/2 301दिखाया, दोनों रिस्पॉन्स के हेडर मिला दिए (content-typeकी दो वैल्यू) औरx-robots-tag noindexदिखाया, पर यह नहीं बताया कि किस रिस्पॉन्स ने भेजा। अगरlocationवाली लाइन दिखे, तो आख़िरी URL सीधे जाँचें या URL रीडायरेक्ट चेकर से पूरी चेन देखें। 301 और 302 रीडायरेक्ट जाँचने वाली हमारी गाइड बताती है कि चेन कैसे पढ़ें। - JavaScript से जोड़ा या हटाया गया noindex। हमारे चेकर सर्वर का भेजा HTML पढ़ते हैं और स्क्रिप्ट नहीं चलाते। Google की JavaScript SEO गाइड चेतावनी देती है कि noindex मिलने पर Google रेंडरिंग छोड़ सकता है, इसलिए JavaScript से noindex हटाना शायद काम न करे। अगर पेज इंडेक्स कराना है, तो ओरिजिनल HTML में noindex नहीं होना चाहिए।
- किसी एक क्रॉलर के नियम।
<meta name="googlebot" content="noindex">Google को रोकता है, Bing को नहीं। Google उन सभी टैग्स के सख़्त नियम जोड़ लेता है जिन्हें वह मानता है:robots: nofollowऔरgooglebot: noindexवाला पेज Googlebot के लिएnoindex, nofollowहै। - स्टेजिंग की सेटिंग जो लाइव हो गई। WordPress की "Discourage search engines from indexing this site" सेटिंग हर पब्लिक पेज पर
noindex, nofollowलगा देती है। साइट लॉन्च या माइग्रेशन के बाद सबसे पहले यही जाँचें। मेटा टैग जाँचने वाली हमारी गाइड स्टेजिंग से बचे दूसरे टैग भी कवर करती है। - यह मानना कि robots.txt से noindex हो जाता है। Google साफ़ कहता है कि robots.txt में
noindex"सपोर्टेड नहीं" है। robots.txt क्रॉलिंग कंट्रोल करता है; इंडेक्सिंग सिर्फ़ मेटा टैग या हेडर से कंट्रोल होती है।
एक साथ कई URL कैसे जाँचें
पूरी साइट का ऑडिट करना हो तो साइटमैप से शुरू करें: URL एक्सट्रैक्टर से सारे पते निकालें (साइटमैप से URL निकालने वाली हमारी गाइड तरीक़ा बताती है), फिर अपने सबसे अहम टेम्पलेट जाँचें: होम पेज, एक कैटेगरी, एक आर्टिकल, एक प्रोडक्ट। noindex लगभग हमेशा किसी टेम्पलेट या साइट-लेवल सेटिंग से आता है, इसलिए हर तरह का एक पेज जाँचने से ज़्यादातर तस्वीर साफ़ हो जाती है। साइटमैप का हर URL इंडेक्स होने लायक़ होना चाहिए: noindex पेजों वाला साइटमैप Google को उलझे हुए संकेत भेजता है।
पेज ठीक करने के बाद Search Console में इंडेक्सिंग का अनुरोध करें। Google के मुताबिक, पेज कितना अहम है इस पर निर्भर करते हुए उसे अपने आप दोबारा क्रॉल होने में महीनों लग सकते हैं।
अक्सर पूछे जाने वाले सवाल
Search Console के बिना कैसे पता करें कि पेज noindex है?
HTML में noindex या none वाला robots या googlebot मेटा टैग देखें, और HTTP हेडर में X-Robots-Tag देखें। हमारा मेटा टैग चेकर और HTTP हेडर लुकअप यह काम कुछ सेकंड में, फ़्री और बिना अकाउंट के कर देते हैं। robots.txt भी देखें, क्योंकि ब्लॉक किया गया पेज अपना noindex Google से छिपा लेता है।
क्या X-Robots-Tag noindex और robots मेटा टैग एक ही चीज़ हैं?
हाँ। Google के मुताबिक दोनों का असर एक जैसा है। हेडर PDF, इमेज, XML और JSON पर भी काम करता है, जिनमें मेटा टैग नहीं लग सकता, और यह सोर्स कोड में कभी नहीं दिखता।
robots टैग में none का क्या मतलब है?
Google none को noindex, nofollow के बराबर मानता है। content="none" वाला पेज इंडेक्स नहीं होता और उसके लिंक फ़ॉलो नहीं किए जाते।
क्या robots.txt में ब्लॉक पेज फिर भी Google में दिख सकता है?
हाँ। अगर robots.txt किसी URL को ब्लॉक करता है, तो Google उसे क्रॉल नहीं कर पाता और noindex कभी नहीं देखता। Google बताता है कि वह URL फिर भी नतीजों में दिख सकता है, जैसे जब दूसरे पेज उसे लिंक करते हों। हटाने के लिए क्रॉलिंग की इजाज़त दें और noindex भेजें।
noindex लगाने के बाद भी मेरा पेज Google में क्यों है?
ज़्यादातर इसलिए कि Google ने पेज को अभी दोबारा क्रॉल नहीं किया। Search Console के URL इंस्पेक्शन से दोबारा क्रॉल का अनुरोध करें। यह भी पक्का करें कि robots.txt पेज को ब्लॉक नहीं करता, पेज 200 लौटाता है और टैग ओरिजिनल HTML में है, JavaScript से जोड़ा हुआ नहीं।
अगर पेज पर दो अलग-अलग robots टैग हों तो क्या होता है?
Google ज़्यादा सख़्त नियम लागू करता है, यानी noindex, index पर भारी पड़ता है। हमारे समेत कुछ चेकर एक ही नाम के टैग में से सिर्फ़ आख़िरी दिखाते हैं, इसलिए सारी कॉपी देखने के लिए सोर्स कोड में robots खोजें।
अभी अपना पेज जाँचें: मेटा टैग चेकर और HTTP हेडर लुकअप 100% फ़्री हैं, अकाउंट नहीं चाहिए और कुछ सेकंड में जवाब देते हैं। विज़िटर्स को रोज़ 5 जाँच मिलती हैं, और फ़्री अकाउंट (कोई स्पैम नहीं) यह सीमा हटा देता है। और फ़्री SEO टूल्स के लिए URL रीडायरेक्ट चेकर, URL एक्सट्रैक्टर और स्लग जनरेटर आज़माएँ, और पढ़ें कि SEO-फ़्रेंडली URL स्लग कैसे बनाएँ।
