Blogger Custom Robots.txt Setup Guide

Blogger-এ Custom Robots.txt কি? সঠিকভাবে সেটআপ করার সম্পূর্ণ গাইড

Blogger-এ ওয়েবসাইট বা ব্লগ তৈরি করার পর আপনার প্রথম লক্ষ্য থাকে গুগলে ভিজিটর পাওয়া। কিন্তু গুগল বা অন্যান্য সার্চ ইঞ্জিন কীভাবে বুঝবে আপনার ওয়েবসাইটের কোন পেজগুলো তারা তাদের সার্চ রেজাল্টে দেখাবে আর কোনগুলো দেখাবে না? এখানেই চলে আসে Robots.txt ফাইলের গুরুত্ব।

আপনি যদি ব্লগারে নতুন হয়ে থাকেন অথবা আপনার ব্লগ সাইটটি গুগলে ঠিকমতো র‍্যাংক না করে, তবে এর পেছনে একটি বড় কারণ হতে পারে সঠিকভাবে Custom Robots.txt সেটআপ না থাকা। আজকের এই আর্টিকেলে আমরা সহজ ভাষায় জানব Blogger-এ Custom Robots.txt কি, এটি কেন এত গুরুত্বপূর্ণ এবং কীভাবে কোনো ভুল ছাড়াই এটি সেটআপ করবেন।

Robots.txt ফাইল আসলে কি?

সহজ কথায়, Robots.txt হলো একটি সাধারণ টেক্সট ফাইল যা সার্চ ইঞ্জিনের বট বা ক্রলারদের (যেমন- Googlebot) নির্দেশ দেয় যে তারা আপনার ওয়েবসাইটের কোন কোন পেজে প্রবেশ করতে পারবে এবং কোনগুলোতে পারবে না।

একটি বাস্তব উদাহরণ দিয়ে বিষয়টি পরিষ্কার করা যাক। ধরুন, আপনার একটি বড় অফিস আছে। অফিসে দর্শনার্থীদের আসার অনুমতি আছে, তবে কিছু প্রাইভেট রুম আছে (যেমন- সার্ভার রুম বা স্টোর রুম) যেখানে সাধারণ মানুষের প্রবেশ নিষেধ। এখন আপনি যদি অফিসের দরজায় একজন গার্ড বসিয়ে তাকে বলে দেন কে কোথায় যেতে পারবে আর কোথায় পারবে না, তবে কেমন হয়? ঠিক ধরেছেন! আপনার ওয়েবসাইটের ক্ষেত্রে এই "গার্ড" হলো Robots.txt ফাইল, আর দর্শনার্থী হলো সার্চ ইঞ্জিনের রোবটগুলো।

ব্লগারে Custom Robots.txt কেন প্রয়োজন?

Blogger-এর নিজস্ব একটি ডিফল্ট Robots.txt ফাইল থাকে, যা নতুন সাইটগুলোর জন্য মোটামুটি কাজ চালিয়ে নেওয়ার মতো। তবে আপনি যখন সাইটটিকে প্রফেশনালভাবে বড় করতে চাইবেন এবং অ্যাডসেন্স (Google AdSense) থেকে আয় করতে চাইবেন, তখন কাস্টম ফাইল সেটআপ করা জরুরি হয়ে পড়ে। এর প্রধান কারণগুলো নিচে দেওয়া হলো:

• সার্চ ইঞ্জিনের সঠিক দিকনির্দেশনা: আপনার ব্লগের লেবেল (Labels) বা সার্চ পেজগুলো ইনডেক্স হলে ডুপ্লিকেট কনটেন্টের সমস্যা হতে পারে। কাস্টম কোড দিয়ে এগুলো ব্লক করা যায়।
• Crawl Budget বাঁচানো: গুগলের রোবট আপনার সাইটে একটি নির্দিষ্ট সময় ব্যয় করে (যাকে ক্রল বাজেট বলে)। অপ্রয়োজনীয় পেজগুলো ব্লক করে দিলে বট শুধু আপনার গুরুত্বপূর্ণ আর্টিকেলগুলোই দ্রুত ক্রল করবে।
• SEO পারফরম্যান্স বৃদ্ধি: সাইটের স্ট্রাকচার সার্চ ইঞ্জিনের কাছে পরিষ্কার থাকলে র‍্যাংকিং পাওয়া তুলনামূলক সহজ হয়।
• সিকিউরিটি ও প্রাইভেসি: ওয়েবসাইটের এমন কোনো অংশ যা আপনি পাবলিকলি দেখাতে চান না, তা লুকিয়ে রাখা যায়।

Robots.txt ফাইলের গুরুত্বপূর্ণ শব্দগুলো (Terminology)

সেটআপ করার আগে কোডের ভেতরের কয়েকটি গুরুত্বপূর্ণ শব্দের অর্থ জানা থাকা ভালো, যাতে আপনি নিজেই নিজের প্রয়োজন অনুযায়ী কোড কাস্টমাইজ করতে পারেন।

শব্দ / টার্ম	এর মানে কী?
User-agent	এটি দিয়ে বোঝানো হয় আপনি কোন সার্চ ইঞ্জিনকে নির্দেশ দিচ্ছেন। যেমন- User-agent: * মানে হলো সব সার্চ ইঞ্জিনের জন্য একই নিয়ম।
Disallow	এর অর্থ হলো "অনুমতি নেই"। Disallow-এর পাশে যে লিংক বা ডিরেক্টরি থাকবে, বট সেখানে প্রবেশ করবে না।
Allow	এর অর্থ হলো "প্রবেশের অনুমতি আছে"। কোনো বিশেষ পেজকে ক্রল করানোর জন্য এটি ব্যবহার করা হয়।
Sitemap	এটি আপনার ওয়েবসাইটের একটি ম্যাপ বা সূচিপত্র। রোবটস ফাইলে সাইটম্যাপ লিংক দিয়ে দিলে বটের জন্য আপনার সব পোস্ট খুঁজে পাওয়া সহজ হয়।

Blogger-এর জন্য একটি আদর্শ Custom Robots.txt কোড

নিচে একটি এসইও-বান্ধব এবং অ্যাডসেন্স-যোগ্য কাস্টম রোবটস টেক্সট কোড দেওয়া হলো। কোডটি কপি করার আগে, একদম শেষের লাইনে "yourdomain.com" পরিবর্তন করে আপনার নিজের ওয়েবসাইটের লিংকটি বসিয়ে নিতে ভুলবেন না।

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.yourdomain.com/sitemap.xml

এই কোডটি কিভাবে কাজ করছে?

১. User-agent: * - গুগল, বিং, ইয়াহু সহ সব সার্চ ইঞ্জিনের রোবটকে এই নিয়ম মানতে বলা হচ্ছে।

২. Disallow: /search - ব্লগারে লেবেল বা সার্চ রেজাল্টের লিংকগুলোতে /search থাকে। এই পেজগুলো ইনডেক্স হলে ডুপ্লিকেট কনটেন্টের এরর আসে। তাই এটিকে ব্লক করা হয়েছে।

৩. Allow: / - হোমপেজ এবং ওয়েবসাইটের বাকি সব আসল আর্টিকেলগুলো যেন ক্রল করা হয়, তার অনুমতি দেওয়া হয়েছে।

৪. Sitemap: ... - শেষে আপনার ব্লগের সাইটম্যাপ যুক্ত করা হয়েছে, যাতে গুগল সহজেই আপনার সব নতুন পোস্টের খবর পেয়ে যায়।

ব্লগারে কাস্টম Robots.txt সেটআপ করার নিয়ম (ধাপে ধাপে)

এখন আমরা মূল কাজে যাব। আপনার ব্লগার সাইটে কোডটি বসাতে নিচের ধাপগুলো হুবহু অনুসরণ করুন:

ধাপ ১: ব্লগারের ড্যাশবোর্ডে লগইন করুন

প্রথমে আপনার জিমেইল আইডি ও পাসওয়ার্ড দিয়ে Blogger-এর কন্ট্রোল প্যানেল বা ড্যাশবোর্ডে প্রবেশ করুন। যদি আপনার একাধিক ব্লগ থাকে, তবে ওপরের বাম দিক থেকে যে ব্লগটিতে কাজ করতে চান সেটি নির্বাচন করুন।

ধাপ ২: Settings (সেটিংস) অপশনে যান

ড্যাশবোর্ডের বাম দিকের মেনুবার থেকে একটু নিচের দিকে স্ক্রল করে "Settings" অপশনটিতে ক্লিক করুন।

ধাপ ৩: Crawlers and indexing অপশনটি খুঁজুন

সেটিংস পেজটি ওপেন হলে একদম নিচের দিকে স্ক্রল করতে থাকুন। সেখানে "Crawlers and indexing" নামের একটি সেকশন দেখতে পাবেন। এসইও-এর জন্য এটি খুবই গুরুত্বপূর্ণ একটি জায়গা।

ধাপ ৪: Enable custom robots.txt চালু করুন

এখানে "Enable custom robots.txt" লেখা একটি অপশন পাবেন। এর পাশের সুইচটিতে ক্লিক করে এটি অন (On) বা সবুজ করে দিন।

ধাপ ৫: কোড যুক্ত করুন

এটি চালু করার ঠিক নিচেই "Custom robots.txt" লেখাটিতে ক্লিক করুন। একটি পপ-আপ বক্স ওপেন হবে। এখন ওপরে দেওয়া আদর্শ কোডটি (আপনার ডোমেইন নাম পরিবর্তন করার পর) এখানে পেস্ট করুন এবং Save বাটনে ক্লিক করুন।

ব্যাস! আপনার ব্লগারে সফলভাবে Custom Robots.txt ফাইল সেটআপ হয়ে গেছে।

Custom Robots.txt সেটআপ করার সময় যে ভুলগুলো কখনোই করবেন না

নতুন ব্লগাররা কোড সেটআপ করতে গিয়ে প্রায়ই কিছু মারাত্মক ভুল করে বসেন, যার কারণে তাদের সাইট গুগলে আসা পুরোপুরি বন্ধ হয়ে যায়। নিচে এমন কয়েকটি ভুলের কথা আলোচনা করা হলো:

• পুরো সাইট ব্লক করে দেওয়া: ভুল করে যদি কোডে Disallow: / লিখে দেন, তবে গুগল আপনার ওয়েবসাইটের কোনো পেজই আর ইনডেক্স করবে না। আপনার পুরো সাইট গুগল থেকে গায়েব হয়ে যেতে পারে।
• অন্যের কোড অন্ধভাবে কপি করা: অন্য কোনো প্ল্যাটফর্ম (যেমন ওয়ার্ডপ্রেস) এর রোবটস ফাইল এনে ব্লগারে পেস্ট করবেন না। ব্লগারের স্ট্রাকচার ভিন্ন। এছাড়া অন্যের ডোমেইন লিংক সাইটম্যাপে রেখে দিলে আপনারই ক্ষতি হবে।
• অ্যাডসেন্সের রোবট ব্লক করা: অনেকেই না বুঝে User-agent: Mediapartners-Google লিখে তাকে Disallow করে দেন। এটি গুগলের অ্যাডসেন্স রোবট। একে ব্লক করলে গুগল আপনার সাইট রিভিউ করতে পারবে না এবং আপনি অ্যাডসেন্স অ্যাপ্রুভাল পাবেন না।

Robots.txt সঠিকভাবে কাজ করছে কি না কীভাবে বুঝবেন?

কোড বসানোর পর সেটি ঠিকমতো কাজ করছে কি না, তা যাচাই করা একজন প্রফেশনাল ব্লগারের দায়িত্ব। এটি টেস্ট করার উপায় বেশ সহজ:

আপনার ব্রাউজারের অ্যাড্রেস বারে যান। সেখানে আপনার ওয়েবসাইটের লিংকের শেষে /robots.txt লিখে এন্টার চাপুন। (উদাহরণ: https://www.priyotips.com/robots.txt)।

লিংকটিতে যাওয়ার পর যদি একটি সাদা পেজে আপনার দেওয়া কোডগুলো দেখতে পান, তবে বুঝবেন সব ঠিক আছে এবং কোডটি সফলভাবে কাজ করছে। আর যদি পেজ নট ফাউন্ড (404 Error) দেখায়, তবে বুঝতে হবে সেটিংসে কোনো ভুল হয়েছে, তখন আবার প্রথম থেকে ধাপগুলো চেক করুন।

কাস্টম রোবটস টেক্সট এবং অ্যাডসেন্স অ্যাপ্রুভাল

অনেকের মনেই প্রশ্ন থাকে, এই ফাইলটির সাথে কি গুগল অ্যাডসেন্স পাওয়ার কোনো সম্পর্ক আছে? সরাসরি সম্পর্ক না থাকলেও পরোক্ষভাবে এটি অত্যন্ত গুরুত্বপূর্ণ।

গুগল অ্যাডসেন্স অ্যাপ্রুভাল দেওয়ার আগে তাদের বট আপনার সাইট ভিজিট করে। সাইটের নেভিগেশন ঠিক আছে কি না, কোনো ডুপ্লিকেট কনটেন্ট বা পলিসি ভায়োলেশন আছে কি না—সেগুলো যাচাই করে। এখন আপনি যদি কাস্টম রোবটস ফাইলে অগোছালো কোড ব্যবহার করেন বা ভুল করে বট ব্লক করে রাখেন, তবে "Site Down or Unavailable" বা "Valuable Inventory" টাইপের এরর আসবে এবং অ্যাডসেন্স রিজেক্ট হয়ে যাবে। তাই অ্যাডসেন্স পাওয়ার পথ মসৃণ করতে একটি ক্লিন ও সঠিকভাবে অপটিমাইজ করা Robots.txt ফাইল থাকা বাধ্যতামূলক।

উপসংহার

Blogger-এ Custom Robots.txt সেটআপ করা Technical SEO-এর অন্যতম প্রধান একটি কাজ। এটি হয়তো একবার সেটআপ করেই ভুলে যাওয়া যায়, কিন্তু এর প্রভাব আপনার ওয়েবসাইটের ভবিষ্যৎ র‍্যাংকিংয়ের ওপর দীর্ঘদিন থাকে।

এই আর্টিকেলে দেওয়া নিয়মগুলো মেনে আপনি যদি সঠিকভাবে ফাইলটি সেটআপ করেন, তবে আপনার সাইটের ইনডেক্সিং সমস্যা অনেকটাই দূর হয়ে যাবে। মনে রাখবেন, এসইও একদিনের কাজ নয়; এটি একটি চলমান প্রক্রিয়া। তবে ভিত্তিটা যদি শক্ত হয় (যেমন- সঠিক Robots.txt এবং Sitemap), তবে সফলতার পথ অনেকটাই সহজ হয়ে যায়।

আশা করি, এখন থেকে ব্লগারের Robots.txt নিয়ে আপনার আর কোনো কনফিউশন থাকবে না। কোড বসানোর সময় শুধু সতর্কতার সাথে আপনার ডোমেইন নামটি পরিবর্তন করতে ভুলবেন না। নতুন কিছু শিখতে PriyoTips সাথে থাকুন। আপনার ব্লগিং ক্যারিয়ারের জন্য অনেক শুভকামনা!