in Q2A Discussion by (168 points)
প্রশ্ন উত্তর সাইট 

1 comment

by (17,919 points)
0 0

পূর্বে কোড গুলো সরিয়ে দিয়ে নিম্নের কোড রাখুন robots.txt  



1 Answer

0 like 0 dislike
by (17,919 points)

Public_html ফোল্ডারে robots.txt নামে একটি ফাইল খুলুন, ফাইলে কপি করে নিম্নের কোড রাখুন -

User-agent: *

Disallow: /*/login

Disallow: /*?qa-rewrite=*

Disallow: /*/forgot

Disallow: /*/register

Disallow: /*/questions/*?sort=views&start=*

Disallow: /*/questions?sort

Disallow: /*/cgi-bin/*

Disallow: /*/questions?start=*

Disallow: /*/questions?sort=*

Disallow: /*/search?q=*

Disallow: /search/*

Disallow: /?s=*

Disallow: /search/?query=*

Disallow: /?qa=user

Disallow: /?qa=users

Disallow: /ip/*

Disallow: /login

Disallow: /ask

Disallow: /forgot

Disallow: /register

Disallow: /admin

Disallow: /tag

Disallow: /tags

Disallow: /users

Disallow: /user

Disallow: /message/

User-agent: *

Allow: /ads.txt

# allow google image bot to search all images

User-agent: Googlebot-Image

Allow: /*

Sitemap: https://yoursite.com/sitemap-index.xml

কোড কপি করতে সমস্যা হবে এ কারণে কমেন্ট এ দেওয়া হয়েছে , বক্সে থেকে কপি করুন ।

16 comments

by (17,919 points)
0 0
জ্বি । আপলোড করার পর চেক করুন 
by (168 points)
0 0
Assa
by (168 points)
0 0
ভাইআ আপনার robot txt আসে না kn https://ask2ans.xyz/robots. txt de
by (17,919 points)
0 0
আমি ওয়েবসাইটের robots.txt প্রয়োজন নেই তাই যোগ করি নেই ‌। 
by (168 points)
0 0
ওকে vai
by (168 points)
0 0
স্পিনাল এ পেস্ট করতে পারতেসিনা ভাই file create korsi
by (168 points)
0 0
Hoyse সফলবাবে ভাই এখন ওই link দিয়া ভিসিট করলেও পাওয়া জাসসে robot টেক্সট এখন কি আর আমাকে kisu করতে hbe ভাইয়া 
by (17,919 points)
0 0
Ok. Robots.txt আর কিছু করার প্রয়োজন নেই । 
by (17,919 points)
0 0
Robots.txt ফাইল থেকে নিচে গুলো বাদ দিতে পারেন । যে পৃষ্ঠা গুলো ইনডেক্স করতে না চান কিংবা ইনডেক্স করতে চান ।

Disallow: /*/questions/*?sort=views&start=*

Disallow: /*/questions?sort

Disallow: /*/questions?start=*

Disallow: /*/questions?sort=*

Disallow: /*/search?q=*

Disallow: /search/*

Disallow: /?s=*

Disallow: /search/?query=*

Disallow: /?qa=user

Disallow: /?qa=users

Disallow: /tag

Disallow: /tags

Disallow: /users

Disallow: /user

এখানে disallow: হলো ক্রল বোটকে ক্রল করতে না দেওয়া । allow: কোনো বাঁধা সৃষ্টি করে না ।
by (168 points)
0 0
সবগুলা disallow korle কি hbe ভাই allow korle কি hbe 2018 
by (17,919 points)
0 0
 Disallow করলে সেই পেজগুলো গুগল বোট কিংবা সার্চ ইঞ্জিন ক্রলার করবে না । Allow করলে ক্রল করছে ।
by (168 points)
0 0
ভাই ডিসালো korle কি ওই গুলা index hbena
by (17,919 points)
0 0
জ্বি হবে না
by (168 points)
0 0
ভাইয়া মানে পশ্ন sob index hbe to
by (17,919 points)
0 0

হ্যাঁ প্রশ্ন উত্তর সব ইনডেক্স হবে । Robot txt একটি উদাহরণ দেই admin পেজ এই পোজটি আপনি ইনডেক্স করতে চান না এজন্য রোবট ফাইলে Disallow: /admin ব্যবহার করা হয়েছে এভাবে । এভাবে 

Disallow: /tags ( tags প্রশ্ন পেজ এ যত ট্যাগ আছে crawl করবে না /ইনডেক্স করবে না )

Disallow: /message/ (message পেজ, এখানে কোনো বার্তা crawl করছে না )

Related questions

Most popular questions within the last 50 days

Welcome to ASK2ANS.XYZ! You will find free solutions for each question, use the search box, if you do not find the job you are interested in, ask a quick question, our moderators will try to answer your work on the same day.

Register on the site, answer other questions, collect points, participate in the rankings, remember that someone helped you too, now you help others and collect points! Help us promote ourselves, share the site with your friends!

...