Ինչ է robots.txt- ը:

The robots.txt ֆայլը մեկն է այն հիմնական տարրերից, որոնք որոշում են, թե ինչպես է ձեր կայքը փոխազդում որոնման crawlers. Այս հոդվածում մենք կանդրադառնանք, թե ինչ է robots.txt ֆայլը, ինչու է դա անհրաժեշտ, եւ ինչ է դրա կառուցվածքը:

Ինչ է robots.txt ֆայլը:

robots.txt ֆայլը տեքստային ֆայլ է, որը տեղակայված է ձեր վեբ սերվերի վրա, որը պատմում է սողացողներին (որոնիչներին) հրահանգներ, թե ձեր կայքի որ էջերը կամ բաժինները նրանք կարող են ինդեքսավորել և սողալ, և որոնք նրանք չեն կարող: Այս ֆայլի միջոցով դուք կարող եք վերահսկել որոնման ռոբոտների մուտքը ձեր կայքի որոշակի մասերում:

Ինչու մենք պետք է robots.txt ֆայլ.

The robots.txt ֆայլը կարեւոր է Ձեր կայքում, եւ թե ինչպես է այն փոխազդում որոնման. Ահա մի քանի հիմնական պատճառներ, թե ինչու է դա կարեւոր:

• Ինդեքսավորման Control: The robots.txt ֆայլը թույլ է տալիս Ձեզ վերահսկել, որը էջերը Ձեր կայքում կլինի ինդեքսավորվում, եւ որոնք նրանք պետք է անտեսվի որոնման ռոբոտներ. Սա հատկապես օգտակար է, եթե դուք ունեք զգայուն տեղեկատվություն կամ ժամանակավոր էջեր, որոնք չպետք է ցույց տալ, մինչեւ որոնման արդյունքների.
• Պահպանել սերվերի ռեսուրսները: Կանխելով crawlers ից crawling որոշակի մասերում Ձեր կայքում, դուք կարող եք պահպանել սերվերի ռեսուրսները եւ արագացնել էջի բեռնման.
• Ներքին էջերը թաքցնելը. Եթե ունեք էջեր, որոնք նախատեսված են միայն ներքին օգտագործման համար (օրինակ ՝ ադմինիստրատորի վահանակներ), robots.txt ֆայլը կօգնի կանխել դրանց ինդեքսավորումը:
• SERP- ների կառավարում. Ձեր robots.txt ֆայլը պատշաճ կերպով կազմաձևելը կարող է օգնել ձեզ վերահսկել, թե որ էջերը հայտնվում են որոնման արդյունքներում: Սա հատկապես ճիշտ է խոշոր կայքերի հետ շատ կրկնօրինակ բովանդակությամբ.

Robots.txt ֆայլի կառուցվածքը.

robots.txt ֆայլը ունի պարզ և հեշտ հասկանալի կառուցվածք: Այն բաղկացած է մի քանի բլոկների, որոնցից յուրաքանչյուրը ներառում է հրահանգներ որոշակի խմբերի որոնման ռոբոտների. Ահա մի օրինակ է ընդհանուր կառուցվածքի մի robots.txt ֆայլ:

User-agent: [robot name]
Disallow: [forbidden directives]
Allow: [allowed directives]
Sitemap: [url sitemap]

• `Օգտագործող-գործակալ` Սա ցույց է տալիս, թե կոնկրետ սողացողի կամ սողունների խմբի համար են կիրառվում հետևյալ հրահանգները:
• `Disallow`: Սա սահմանում է հրահանգներ, որոնք թույլ չեն տալիս ինդեքսավորման կոնկրետ դիրեկտորիաների կամ ֆայլերի Ձեր կայքում.
• `Թույլատրում է կոնկրետ դիրեկտորիաների կամ ֆայլերի ինդեքսավորում, նույնիսկ եթե դրանք արգելված դիրեկտիվներում են:
• `Կայքի քարտեզ` Այս հրահանգը թույլ է տալիս նշել ձեր կայքի քարտեզի ուղին (sitemap.xml), որն օգնում է սողացողներին ավելի արագ ինդեքսավորել ձեր բովանդակությունը:

Եզրակացություն

The robots.txt ֆայլը գործիք կառավարման ինդեքսավորման Ձեր կայքի կողմից որոնման. Այս ֆայլը պատշաճ կերպով կազմաձևելը թույլ է տալիս վերահսկել, թե որ էջերը տեսանելի են SERP- ներում, և որոնք ՝ ոչ: Սա կայքի օպտիմիզացման կարևոր կողմն է, որը թույլ է տալիս ավելի լավ արդյունքների հասնել որոնման համակարգերում և բարձրացնել ձեր առցանց ներկայության որակը: