কিভাবে ব্লগে যুক্ত করতে হয় Robots.txt ফাইল

কিভাবে ব্লগে যুক্ত করতে হয় Robots.txt ফাইল


সত্যি বলতে এ অপশনটি সার্চ ইঞ্জিন অপটিমাইজেশন করার জন্য খুবই গুরুত্বপূর্ণ ভূমিকা পালন করে।অনেক ব্লগারই আছেন যারা Robots.txt অপশন ভালভাবে বুঝেন না কিংবা কখনো এ অপশনটি নিয়ে মাথা ঘামান না।  তারা মনে করেন যে, এ অপশনটি কোন কাজের নয় বিাধয় এটি খালি রেখে দেন।তবে এ অপশনটি একটিভ করতে গিয়ে আপনি যদি না বুঝেই অন্যের Robots.txt ফাইল  কপি অপশনটি চালু করেন তাহলে ভাল না হয়ে এর বিপরীত হতে পারে। এই জন্য এটি একটিভ করার আগে আপনাকে এ সম্পর্কে বিস্তারিত জেনে নিতে হবে। আর সার্চ ইঞ্জিন অপটিমাইজেশন না করে ব্লগিং চালিয়ে গেলে আপনার ব্লগে পর্যাপ্ত ভিজিটর পাওয়ার সম্ভাবনা কমে যায়।

Robots.txt ফাইল কিঃ

কিভাবে এই Robots.txt ফাইল কাজ করেঃ  যে ভাবে ফ্লাইট হওয়ার সময় হলে যাত্রীদের যথাসময়ে বিমানের উঠার জন্য বলে দেয়, তেমনি Robots.txt ফাইলও সার্চ ইঞ্জিন গুলির রোবট যখন Crawl করার সময় হয়, তখন তার ব্লগের নতুন পোষ্ট গুলি Index করার কথা বলে দেয়। Robots.txt ফাইল হচ্ছে বিমান বন্দরের ফ্লাইট ঘোষকের মত।  ফলে আপনার সদ্য পোষ্ট করা নতুন আর্টিকেল সহজে সার্চ ইঞ্জিনে চলে আসে।

Robots.txt ফাইল কিঃ প্রত্যেক সার্চ ইঞ্জিনেরই নিজস্ব ওয়েব রোবট রয়েছে। আপনি হয়তো ভাবছেন এটি কি রজনি কান্তের হিন্দি সিনেমার রোবটের মত।আর Robots.txt ফাইল এর মাধ্যমে ঐ রোবটদের নির্দেশ করা হয় যে, আপনার ব্লগ/ওয়েবসাটটি সে Crawl এবং Index করবে কি না। আসলে এটি এই ধরনের কিছু না। এটি হচ্ছে সার্চ ইঞ্জিনের যত প্রকার ওয়েবসাইট আছে তা পরীক্ষা করার জন্য এক ধরনের ওয়েব ফাংশন, যাকে রোবট নামে আখ্যায়িত করা হয়।  আপনি ইচ্ছে করলে এই Robot.txt ফাইল ব্যবহার করে রোবটকে Crawl এবং Index করার অনুমতি দিতে পারেন আবার নাও দিতে পারেন। আবার আপনি ইচ্ছে করলে আপনার প্রয়োজনমত কিছু পোষ্ট Crawl এবং Index করার অনুমতি দিতে পারেন আবার কিছু পোষ্ট Crawl এবং Index করার অনুমতি নাও দিতে পারেন।


User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.prozokti.com/sitemap.xml
বেশীর ভাগ ব্লগ এর Robots.txt ফাইল এই ধরনের হয়ে থাকে। হয়তবা আপনিও কখনো না বুঝে আপনার ব্লগে ব্যবহার করেছেন কিংবা এখনো করছেন। আমি চাচ্ছি আপনি এ বিষয়ে পুরোপুরি বুঝে তারপরে এটি ব্লগে যুক্ত করেন। আমি এটিকে দুটি ভাগে ভাগ করে আলাদাভাবে বুঝানো চেষ্ট করবো। প্রথমে আমি এই অংশ গুলিকে নিয়ে এবং পরে এর মধ্যে যে সাংক্ষেতি চিহ্ন আছে সে গুলি নিয়ে আলোচনা করবো।
  • User-agent: Mediapartners-Google: প্রথমত বলে রাখি User-agent এর মাধ্যমে রোবট সমূহ নির্দেশ করা হয়। এখানে Mediapartners-Google হচ্ছে Google Adsense এর একটি রোবট। আপনি যদি আপনার ব্লগে Google Adsense ব্যবহার করে থাকেন তাহলে এটি যুক্ত করতে হবে। যদি এই অপশনটি Disallow করে রাখেন তাহলে Adsense রোবট আপনার ব্লগের বিজ্ঞাপন সম্পর্কে কোন ধরনা পাবে না। আপনি যদি গুগল Adsense ব্যবহার করে না থাকেন, তাহলে এই লাল কালারের লাইন দুটি ডিলিট করে দেবেন।
  • User-agent:* এর মাধমে সকল ধরনের রোবটদের বুঝানো হচ্ছে। আপনি যখন User-agent এর পরে * চিহ্নটি ব্যবহার করবেন তখনই বুঝাবে যে, আপনি সকল ধরনের রোবটদের নির্দেশ দিচ্ছেন।
  • Disallow: /search এটি দিয়ে কিওয়ার্ডকে Disallow করার নির্দেশ দেওয়া হচ্ছে। অর্থাৎ আপনার ব্লগের ‍Search লিংক গুলিকে Crawl এবং Index না করার জন্য বলা হচ্ছে। যেমন-আপনার ব্লগের Label লিংক গুলি দেখলে দেখতে পাবেন যে, প্রত্যেকটি Label এর লিংকের আগে এই Search শব্দটি আছে। এই জন্য Label লিংক গুলি Crawl না করার জন্য রোবটকে নির্দেশ দেওয়া হচ্ছে। কারণ Label লিংক গুলি সার্চ ইঞ্জিনে Index করানোর প্রয়োজন হয় না।
  • Allow: / এটির মাধ্যমে কিওয়ার্ডকে Allow করার নির্দেশ দেওয়া হচ্ছে। এই '/' চিহ্নটির মানে হচ্ছে রোবট আপনার ব্লগের Home Page কে Crawl এবং Index করবে। যেমন-আপনি Google Webmaster Tools সাইট সাবমিট করার পর দেখতে পাবেন Google Webmaster Tools সবসময় আপনার পোষ্ট এর চাইতে একটি বেশী পোষ্ট Index করছে। আসলে বেশী নয়, এটি আপনার Home Page টিও গননা করছে।
  • Sitemap: আপনি যখন নতুন পোষ্ট করবেন তখন এটি রোবটদের বলে দেবে নতুন পোষ্ট গুলি Index করার জন্য। পত্যেক ডিফল্ট ব্লগারের একটি Sitemap থাকে। কিন্তু ডিফল্টভাবে ২৫ টির বেশী পোষ্ট Index করে না। এই জন্য এই Sitemap লিংকটি Robots.txt ফাইলে যুক্ত করার পাশাপাশি Google Webmaster Tools এ সাবমিট করতে হয়।
আরো ভালভাবে বুঝতে চাইলে এটি পড়ুন
নামবর্ণনা
User-agentএটি মাধ্যমে রোবট সমূহ নির্দেশ করা হয়।
Disallowএটির মাধ্যমে বুঝানো হচ্ছে এর পরে যেই Directory থাকবে তা কোন রোবটই Crawl করবে না। নোটঃ Disallow এর পরে যদি কোন Directory না দেওয়া হয় তাহলে Disallow কাজ করবে Allow হিসেবে।
*এই চিহ্ন দ্বারা সকল ধরনের রোবটদের বুঝানো হয়।
Allowএটির মাধ্যমে বুঝানো হচ্ছে এর পরে যেই Directory থাকবে রোবট Crawl করবে।

 


কিভাবে ব্লগে যুক্ত করবেনঃ

  • ব্লগার ড্যাশবোর্ড হতে Settings > Search Preference এ ক্লিক করুন।
  • তারপর Custom Robots.txt এর Edit বাটনে ক্লিক করুন। নিচের চিত্রে -
গার ড্যাশবোর্ড হতে Settings > Search Preference এ ক্লিক করুন
  • এরপর Enable custom robots.txt conten এর Yes এ ক্লিক করলে একটি বক্স দেখতে পাবেন। এই বক্সে উপরের কোডগুলি কপি করে পেষ্ট করুন।
  • তারপর Save এ ক্লিক করে বেরিয়ে আসুন। That's All.

ব্লগার ব্লগে Optimized করা Multiple Posts Titles যুক্ত করুন!


আমাদের গত পোষ্টে শেয়ার করেছিলাম কিভাবে Header Title Tag-কে অপটিমাইজ করবেন। ঐ পোষ্টে ব্লগের Post Title Optimized করার কথাও বলেছিলাম কিন্তু কিভাবে করতে হবে সেটা শেয়ার করা হয়নি। এই জন্য পোষ্টের বাকী অংশ আজ আপনাদের সাথে শেয়ার করছি।
গত পোষ্টে ব্লগার ডিফল্ট এবং কাষ্টম টেমপ্লেটের Titl
গত পোষ্টে ব্লগার ডিফল্ট এবং কাষ্টম টেমপ্লেটের Title ট্যাগে কি ধরনের সমস্যা আছে তা নিয়ে বিস্তারিত আলোচনা করেছিলাম। সেই জন্য পুনরায় এ বিষয় নিয়ে লিখতে চাচ্ছি না। এই পোষ্টটি পড়ার আগে অবশ্যই আগের পোষ্টটি পড়ে নিবেন।

প্রত্যেক ব্লগের ভাল ও সুন্দর টাইটেল যে কোন পাঠকের দৃষ্টি আকর্ষন করার পাশাপাশি যে কোন সার্চ ইঞ্জিন রোবটেরও দৃষ্টি আকর্ষন করতে পারে। H1 হচ্ছে ব্লগের সব চাইতে গুরুত্বপূর্ণ ট্যাগ। প্রত্যেকটি ব্লগের গুরুত্বপূর্ণ অংশগুলি H1 ট্যাগ হওয়া উচিত। অথচ ডিফল্ট ব্লগের Post Title সবসময় H3 আকারে ব্যবহৃত হচ্ছে। যেটি সার্চ ইঞ্জিন অপটিমাইজেশনে কোন অবদান রাখতে পারবে না। তাই আমি এই Multiple Posts Titles ব্যবহার করার পরামর্শ দেব। এটিতে প্রত্যেকটি Post Title থাকবে Home Page এ H2 আকারে এবং Post Page এ Post Title থাকবে H1 আকারে। কাজেই অবস্থা বুঝে আপনার পোষ্টগুলি যথাস্থানে গুরুত্ব বহন করবে।
সকল পোষ্ট দেখুন

 


কিভাবে ব্লগে যুক্ত করতে হবেঃ

  • প্রথমে ব্লগে লগইন করুন।
  • তারপর Template > Edit Html এ ক্লিক করুন।
  • কিবোর্ড হতে Ctrl+F চেপে <h3 class='post-title entry-title'> সার্চ করলে নিচের কোডগুলি দেখতে পাবেন।
<b:if cond='data:post.title'>
    <h3 class='post-title entry-title'>
    <b:if cond='data:post.link'>
      <a expr:href='data:post.link'><data:post.title/></a>
    <b:else/>
      <data:post.title/>
    </b:if>
   </h3>
</b:if>
  • নোটঃ আপনি যদি নতুন ব্লগার টেমপ্লেট ব্যবহার করে থাকেন তাহলে কোডগুলি নিচের মত হতে পারে।
<b:if cond='data:post.title'>
<h3 class='post-title entry-title' itemprop='name'>
<b:if cond='data:post.link or (data:post.url and data:blog.url != data:post.url)'>
<a expr:href='data:post.link ? data:post.link : data:post.url'><data:post.title/></a>
<b:else/>
<data:post.title/>
</b:if>
</h3>
</b:if>
  • এখন নিচের Optimized করা কোডগুলি উপরের কোডের জায়গায় Replace করুন।
 <b:if cond='data:post.title'>
 <b:if cond='data:blog.pageType == &quot;index&quot;'>
  <h2 class='post-title entry-title' itemprop='name'>
   <b:if cond='data:post.link'>
    <a expr:href='data:post.link' itemprop='url'><data:post.title/></a>
    <b:else/>
    <b:if cond='data:post.url'>
    <a expr:href='data:post.url' itemprop='url'><data:post.title/></a>
  <b:else/>
  <data:post.title/>
 </b:if>
</b:if>
</h2>

<b:elseif cond='data:blog.pageType == &quot;archive&quot;'/>
 <h2 class='post-title entry-title' itemprop='name'>
   <b:if cond='data:post.link'>
   <a expr:href='data:post.link' itemprop='url'><data:post.title/></a>
   <b:else/>
   <b:if cond='data:post.url'>
   <a expr:href='data:post.url' itemprop='url'><data:post.title/></a>
  <b:else/>
  <data:post.title/>
 </b:if>
</b:if>
</h2>

<b:else/>
 <h1 class='post-title entry-title' itemprop='name'>
   <b:if cond='data:post.link'>
    <data:post.title/>
    <b:else/>
    <b:if cond='data:post.url'>
    <data:post.title/>
    <b:else/>
    <data:post.title/>
   </b:if>
  </b:if>
 </h1>
 </b:if>
</b:if>
  • সবশেষে Save Template এ ক্লিক করে Template Save করুন।
বিঃ দ্রঃ এই পোষ্ট এবং Multiple Header Title যুক্ত করার উপায় সংক্রান্ত পোষ্ট দুটি পড়ার আগে আপনি অবশ্যই Schema Microdata Tags যুক্ত করে নেবেন। কারণ Schema Microdata Tags যুক্ত করে রাখলে সার্চ ইঞ্জিন আপনার পোষ্ট টাইটেল সম্পর্কে আরও স্পষ্ট ধারনা পাবে। তাছাড়া আমরা এই Series এর মোট ০৫ টি পোষ্টকে একসাথে লিংক করে দেব। আপনি যদি যথাযথভাবে সবগুলি পোষ্ট ব্লগে প্রয়োগ করতে পারেন তাহলে সার্চ ইঞ্জিন অপটিমাইজেশনের সবগুলি ‍সুবিধা একসাথে নিতে পারবেন।

Post a Comment

0 Comments