Google-ը պաշտոնապես բաժանվեց robots.txt noindex-ից և այլևս չի հանդուրժելու վերջինիս քմահաճույքները: Գործընթացը վերջնականացնելու համար մինչև 2019թ. սեպտեմբերի 1-ը ժամանակ կա: Սա այն պատճառով է, որ Google-ը ցանկանում է կենտրոնանալ համացանցի սևագրերում առկա աջակցություն չունեցող գործողությունների վրա: Սա ներառում է crawl-delay, nofollow և noindex ֆորմատները: Բացի սա, կա ևս մեկ շատ կարևոր պատճառ, որի համար Google-ը բաժանվում է robots.txt-ից: Այն է robots.txt-երի ոչ պաշտոնական լինելը:

Ոչ մի robots.txt noindex-ավորում | Բոլորը գիտեին: Բոլորը լռում էին:

Բոլորը գիտեին, որ robots.txt հրահանգը ոչ պաշտոնական հրահանգ էր; Google-ը նույնես գիտեր և վատ լուրին մեզ երկար էր պատրաստում: Այնուամենայնիվ, նրանք շարունակում էին համերաշխ ապրել մինչև 2019թ. հուլիսի 2, երբ տեղի ունեցավ պաշտոնական հայտարարություն: «Քանի որ այս կանոնները երբեք չեն փաստաթղթավորվել Google-ի կողմից, բնական էր, որ դրանց օգտագործումը Googlebot-ի հետ շատ ցածր է: Այս սխալները վնասում են վեբ-կայքերի՝ որոնողական արդյունքներում հայտնվելուն, որի միտումը, սակայն, վեբմաստերները չունեն», — նշում է Google-ը: Բացի հայտարարությունից, Google-ը, որպես բաց ծրագիր, թողարկել է նաև իր parser-ը:

Ի՞նչը կփոխարինի robots.txt-ին:

Robots.txt-ից բաժանվելով Google-ը իր «երեխաներին անտեր չի թողնում»: Ահա մի քանի այլընտրանքային տարբերակներ, որոնք կփոխարինեն robots.txt-ին.

• Noindex-ը robots-ի մետա թագերում. քանի որ և HTTP-ն, և HTML-ը աջակցում են noindex հրահանգին, սա լավագույն տարբերակն է URL-ները ինդեքսից հեռացնելու, երբ crawling-ը թույլատրված է:
• 404 և 410 HTTP ստատուս կոդեր. երկու կոդերն էլ նշանակում են, որ էջը գոյություն չունի, ինչը նրանց դուրս կշպրտի Google-ի ինդեքսից հենց նրանք crawled և վերամշակված լինեն:
• Գաղտնաբառի պաշտպանություն. մինչդեռ մարքափըը օգտագործվում է բաժանորդագրումը կամ վճարովի կոնտենտը ցույց տալու համար, էջը գաղտնաբառի տակ պահելը կհեռացնի այն Google-ի ինդեքսից:
• Արգելափակում Robots.txt-ում. որոնողական համակարգերը կարող են միայն ինդեքսավորել այն էջերը, որոնք գիտեն: Էջը crawling-ից արգելափակելը նշանակում է փակել կոնտենտը ինդեքսավորումից: Մինչդեռ որոնողական համակարգը կարող է էջը ինդեքսավորել առանց էջի կոնտենտը տեսնելու՝ հիմնվելով URL-ի և այլ էջերի լինքերի վրա: Google-ն աշխատում է այնպես անել, որ նման դեպքերը զգալիորեն նվազեն:
• Search Console Remove URL գործիք. գործիքը արագ ու հեշտ միջոց է Google-ի որոնողական արդյունքներից URL-ն ժամանակավորապես հեռացնելու համար:

Ինչպե՞ս փրկել գոյություն ունեցող robots.txt-երը:

Շատ պարզ: Ընդամենը մի քիչ ջանք ու մի քիչ ժամանակ: Ինչպես վերևում նշեցինք, կա 5 այլընտրանք: Իսկ ավելի արագ ու կարճ ինֆորմացիա նախըտրողների համար կարևոր է իմանալ հետևյալը. եթե էջն արդեն ինդեքսավորվել է, noindex-ը օգտագործեք մետա թագում: Եթե դեռ չի ինդեքսավորվել, կարող եք արգելել (disallow) համակարգին crawl անել robots-ը:

Google-ի համար կարևոր է իմանալ, որ մենք noindex հրահանգը չենք օգտագործում robots.txt ֆայլերում: Իսկ եթե օգտագործում ենք, ավելի լավ է փոխենք դրանք մինչև սեպտեմբերի 1-ը: Հակառակ դեպքում մի շարք զգուշացումներ ու տուգանքներ կգան:

Եթե ունեք ազատ ժամանակ, կարող եք կարդալ Google-ի պաշտոնական հայտարարությունը:

http://bit.ly/2XB1zGF