نصب Cloudflare و آموزش تنظیمات کلود فلر

در این مقاله قصد داریم آموزش استفاده از cdn یعنی یکی از بهترین سی دی ان های دنیا به نام کلود فلر را به شما بدهیم در این آموزش بخش‌های مختلف کلودفلیر مورد بررسی قرار گرفته و تنظیمات لازم حتی برای وردپرس هم اشاره شده. و درباره مهم‌ترین دغدغه کاربران یعنی ssl رایگان موجود در Cloudflare.com برای دامنه های ir و سایر دامنه‌ها به شکل کلی آموزش داده شده است. با سئوراز همراه باشید.

سرفصل‌های پست

• 1 Cloudflare چیست و نحوه فعال سازی و آموزش تنظیمات آن
• 2 آموزش نصب کلود فلر (Install Cloudflare)
  • 2.1 مرحله اول – اضافه کردن سایت در کلودفلر
  • 2.2 مرحله دوم – تنظیم DNS در کلودفلر
  • 2.3 مرحله سوم – انتخاب پنل
  • 2.4 مرحله چهارم – تنظیمات NameServers
  • 2.5 مرحله پنجم – تنظیم IP و DNS
  • 2.6 مرحله ششم (اختیاری) – نصب افزونه کلودفلر در وردپرس
• 3 بررسی اجمالی بر روی تنظیمات کلودفلر
• 4 مشکل رایج Cloudflare در طراحی سایت‌ (طراحی سایت شرکتی،طراحی سایت فروشگاهی، قیمت طراحی سایت) ها
• 5 تنظیمات اضافه برای کلودفلر

Cloudflare چیست و نحوه فعال سازی و آموزش تنظیمات آن

کلودفلر یا به انگلیسی Cloudflare یک شرکت ارائه دهنده خدمات شبکه تحویل محتوا (CDN) ، دارای تنظیمات DNSپیشرفته، محافظت کننده از حملات DDOS  و  خدمات امنیتی می باشد. آنها به علت ارائه SSL رایگان و افزایش سرعت و تنظیمات بهینه DNS ، و ارائه دادن یک شبکه قوی و قدرتمند شامل بیشتر از 100 سرور مختلف در سراسر جهان شهرت بسیار زیادی در جامعه و صنعت شبکه و وب به دست آورده‌اند.

آنها توسط شرکت های نام آشنا و مشهوری مانند گوگل ، مایکروسافت و کوالکام پشتیبانی می‌شوند و از مشتریان معروف آنها می‌توانیم به سیسکو ، zendesk ، Digital Ocean و nasdaq اشاره کنیم.

البته سایت‌های بزرگ ایرانی همانند دیجی کالا و بامیلو هم نیز در مقطعی از زمان از این سرویس CDN قدرتمند استفاده می‌کردند.

برای استفاده از سرویس‌های Cloudflare در وب سایت وردپرسی خود مراحل زیر را با دقت در سئوراز دنبال کنید. ما در وب سایت سئوراز برای افزایش سرعت سایت بیشتر به اکثر کاربرانمان که هاست خارجی دارند استفاده از Cloudflare را پیشنهاد می‌کنیم و اگر قصد تهیه پنل‌های پولی این شرکت را دارید مکان هاست اهمیت چندانی ندارد. اگر از هاست ایران استفاده می کند و میخواهید کلود فلر را بر روی سایت خود فعال کنید ممکن است ساخت سایت شما با اختلالات لحظه‌ای مواجه شود، اگر سایت شما بر روی هاست ایران است بهتر است از cdn های ایرانی مانند ابر آروان استفاده کنید که با هاست های ایرانی سازگاری کامل دارد.

اگر شما به دنبال یک راه آسان برای بهبود سرعت سایت و افزایش امنیت وب سایت وردپرسی خود هستید، سایت Cloudflare.com با امکاناتی که به شما ارائه می‌دهند یکی از بهترین انتخاب‌های شماست.

بیشتر مشتریان سایت Cloudflare از سرویس رایگان این شرکت استفاده می‌کنند، در سرویس رایگان این شرکت به شما یک پنل با امکان استفاده از CDN با پهنای باندی نامحدود، SSL رایگان ولی با یک سری امکاناتی محدود داده می‌شود.

در این پست آموزش استفاده از سی دی ان cloudflare سعی خواهد شد به جنبه‌های مختلف این ابزار پرداخته شود.

نکته: برای استفاده از سرویس های رایگان Cloudflare شما می بایست DNS مخصوصی که این سایت برای دامنه شما می‌سازد را روی دامنه خود تنظیم کنید و این بدان معناست که شما با استفاده از Cloudflare امکان داشتن DNS اختصاصی با نام دامنه خود را ندارید.

آموزش نصب کلود فلر (Install Cloudflare)

خب به آموزش نصب cloudflare رسیدیم، در آموزش فعال سازی کلود فلیر تصور شده است که شما از قبل یک اکانت کاربری در وب سایت Cloudflare ایجاد کرده اید. اگر تا به حال در این وب سایت ثبت نام نکردید ، وارد وب سایت Cloudflareشوید و ثبت نام کنید چرا که برای استفاده از کلودفلر طبیعتا نیاز به ثبتنام است.

مرحله اول – اضافه کردن سایت در کلودفلر

وارد اکانت کاربری خود در وب سایت Cloudflare شوید و روی “+ Add Site” کلیک کنید. آدرس وب سایت وردپرسی و یا غیر وردپرسی خود را وارد کنید و روی “Being Scan” کلیک کنید. (توجه داشته باشید که نیازی به وارد کردن http/https و www. نیست)

این عملیات 1 تا 2 دقیقه طول می‌کشد ، سپس باید روی “Continue Setup” کلیک کنید.

مرحله دوم – تنظیم DNS در کلودفلر

در مرحله دوم آموزش تنظیمات cloudflare به قسمت مهم DNS ها می‌رویم. کلودفلر برای DNS ها به شما دو خدمت ارائه می‌کند (On Cloudflare و Off Cloudflare) که اولین خدمت استفاده از CDN و امکانات امنیتی است و دیگری نیز تنها متصل کردن یکی از رکورد ها از طریق کلودفلر به سروری دیگر است و در این خدمت هیچ امکان CDN و امنیتی به شما تعلق نمی‌گیرد و شما مستقیم به سرور مقصد متصل می‌شوید .

بیشتر کاربران بسته به نیازشان سعی می‌کنند که هرچیزی که کلود فلر پیشنهاد می‌کند را در DNS خود رعایت کنند .

برای اینکه مطمئن شوید که رکورد DNS شما به کلودفلر متصل است و از خدمات CDN و امنیتی آن استفاده می‌کند به ابر جلوی رکورد DNS نگاه کنید و مطمئن شوید که نارنجی رنگ است و اگر نارنجی رنگ نیست با یک کلیک رو ابر، آن را به ابر نارنجی تغییر دهید (این کار باعث فعال شدن امکانات کلود فلر در رکورد DNS شما می‌شود).

همچنین اگر شما رکوردهای اضافه‌ای مانند رکوردهای MX در دامنه خود دارید سعی کنید که آن رکوردها را از Cloudflare جدا کنید و برای جداسازی باید امکان استفاده از خدمات CDN را در آن رکورد غیرفعال کنید (ابر رنگ طوسی به معنای غیرفعال می‌باشد).

هنگامی که تمامی رکورد ها را وارد کردید روی Continue کلیک کنید . این رکوردها را بعدا نیز می‌توانید در هرزمان که خواستید تغییر دهید.

مرحله سوم – انتخاب پنل

در مرحله بعدی آموزش استفاده از CDN وبسایت Cloudflare شما می بایست بسته یا Plan کلودفلر خود را انتخاب کنید که ما در این آموزش بسته رایگان را انتخاب می‌کنیم، برای هاست‌های داخلی (هاست ایران) پنل رایگان توصیه نمی‌شود.

بعد از انتخاب بسته مورد نظر روی Continue کلیک می کنیم . برای اطلاع بیشتر از امکانات بسته ها به قسمت Plan وب سایت Cloudflare مراجعه کنید.

مرحله چهارم – تنظیمات NameServers

در این مرحله از آموزش cloudflare شما باید نیم سرورهای دامنه (NS) خود را به آنچه Cloudflare تعریف کرده است ، تغییر دهید .

از آنجایی که Cloudflare مانند یک Proxy عمل می‌کند ، با اتصال نیم سرور های دامنه خود به این شرکت ، کاربر برای دسترسی به سایت شما بعد از وارد کردن URL وب سایت شما مستقیما به نزدیک ترین سروری Cloudflare به منطقه محل زندگی وی دارد متصل می‌شود و این باعث افزایش سرعت بارگذاری وبسایت شما می‌شود.

قابل توجه عزیزانی که ترس از قطع شدن وب سایتشان هنگام تغییر نیم سرورها را دارند: با توجه به تغییر نکردن سرور مبدا شما پس از تغییر نیم سرورهای وبسایت هیچگونه قطعی و یا به اصطلاح DownTime نخواهید داشت.

بعد از تغییر نیم سرورها به آنچه که Cloudflare تعریف کرده است ، روی Continue کلیک کنید.

تغییر نیم سرور ها ممکن است از 1 تا 72 ساعت به طول انجامد مخصوصا در دامنه‌های ir که زمان زیادی لازم دارد.

مرحله پنجم – تنظیم IP و DNS

اگر شما از آن دسته افرادی هستید که برای وب سایتتان دی ان اس (DNS) و ای پی اختصاصی (IP) گرفته‌اید و فراموش کردید که در قسمت DNS کلود فلر وارد کنید ، می‌توانید از طریق منو وارد بخش DNS ها شوید و DNS و IP اختصاصی خود را در کلود فلر وارد کنید و یا تغییراتی در DNS هایتان ایجاد کنید.

بخش تنظیمات DNS در کلودفلر یک استفاده دیگر هم دارد و آن اینکه اگر زمانی انتقال هاست صورت گرفت کافی است IPهاست قدیم را در این بخش به IP هاست قدیم تغییر دهید.

حال به ادامه آموزش استفاده از این CDN می‌رویم و اگر تمامی مراحل را انجام دادید . سایت شما به کلود فلر متصل شده.

مرحله ششم (اختیاری) – نصب افزونه کلودفلر در وردپرس

یک مرحله اضافه‌تر از آموزش تنظیمات cloudflare برای کاربران استفاده کننده از وردپرس وجود دارد که اجباری نیست ولی استفاده از پلاگین رسمی Cloudflare در وردپرس جلوی اشکالات را می‌گیرد.

شما میتوانید پلاگین رسمی Cloudflare را از مخزن وردپرس و یا با یک جستجو در قسمت افزودن افزونه بهلیست پلاگین های خود اضافه کنید.

از امکانات این پلاگین می توان به امکانات زیر اشاره کرد :

• رفع بعضی از مشکلات بخش نظرات وردپرس
• پاک کردن حافظه کش خودکار
• نوشتن یک سرصفحه برای جلوگیری از انتقال های غیر قانونی هنگامی که SSL فعال است.
• امکان تغییر تنظیمات اکانت Cloudflare از پلاگین
• امکان تماشای تعداد کلی بازدید کنندگان ، میزان پهنای باند ذخیره شده و تهدید های مسدود شده
• پشتیبانی از HTTP2/Server Push

پس از نصب پلاگین رسمی کلودفلر روی وردپرس ، شما باید ایمیل و API اکانت خود را وارد کنید. (برای دریافت API خود وارد اکانت کلودفلر شوید و روی my profile کلیک کنید .

سپس در بخش API روی View API Key رو به روی Global API Key کلیک کنید و API خود را کپی و در پلاگین وردپرس بارگزاری کنید )

بعد از وارد کردن ایمیل و API رو Save API Credentials کلیک کنید.

بررسی اجمالی بر روی تنظیمات کلودفلر

در زیر تب Home ، بهتر است که روی Apply کلیک کنید تا تنظیمات پیشفرض اعمال شود .

در زیر تب Settings ، اگر از کاربران Pro کلود فلر باشید میتوانید بهینه سازی تصاویر و حالت توسعه را فعال کنید .

همچنین می‌توانید سطح امنیتی وب سایت خود را تعیین کنید و از طرفی باعث شوید تمام منابع سایت شما بر روی HTTPSتنظیم شود.

در زیر تب Analytics ، شما میتوانید لیست پهنای باند ذخیره شده ، تهدید های مسدود شده و تعداد کل بازدید کنندگان خود را مشاهده کنید.

مشکل رایج Cloudflare در سایت‌ها

سایت Cloudflare به عنوان هدیه به تمامی دامنه های بین المللی (به جز دامنه ir) یک گواهینامه دو ساله SSL می‌دهد (کلودفلر امکان استفاده https را به طور کلی برای دامنه های ir بسته است و به قولی SSL را برای این دامنه‌ها تحریم کرده است).

مشکل رایج آنجا شروع می‌شود که وبسایت شما قبل از ثبت نام در Cloudflare گواهینامه SSL دیگری داشته باشد که در این صورت به علت ناهمخوانی دو SSL و همچنین تلاش برای جایگزین کردن خود به جای آن یکی وب سایت شما دچار مشکل می‌کند.

در این مواقع شما می بایست وارد اکانت کلودفلر خود شده و در بخش SSL ، گواهینامه SSL را به شکل Flexible در بیاورید که مشکلات را از بین ببرید و گواهینامه ها را از جنگ با یکدیگر در بیاورید.

تنظیمات اضافه برای کلودفلر

آنچه ما در این آموزش cloudflare گفتیم تنها آشنایی مختصر شما با کلودفلر بود و امیدواریم آموزش استفاده از تنظیمات اینCDN معروف مورد استفاده شما قرار گرفته باشد.

بک لینک چیست و انواع لینک

بک لینک (Backlink) چیست و تاثیری در سئو دارد؟ انواع لینک چگونه است؟ در این مقاله قصد داریم پاسخ این سوالات را بدهیم. در انتهای این مقاله از سئوراز شما تعریف دقیق بک لینک و همینطور انواع آن را به خوبی فراخواهید گرفت.

سرفصل‌های پست

• 1 بک لینک چیست
• 2 انواع لینک از نظر ساختاری
  • 2.1 لینک از نوع Alternate
  • 2.2 لینک از نوع Author
  • 2.3 لینک از نوع Bookmark
  • 2.4 لینک از نوع Help
  • 2.5 لینک از نوع License
  • 2.6 لینک از نوع next
  • 2.7 لینک از نوع Prev
  • 2.8 لینک از نوع Nofollow
  • 2.9 لینک از نوع Follow یا Dofollow
  • 2.10 لینک از نوع Search
  • 2.11 لینک از نوع Tag

بک لینک چیست

لینکی (Link) که از سایتی به سایت دیگر داده می‌شود را بک لینک می‌گویند، به عبارت دیگر اگر سایت X، آدرس سایت Y را در داخل متنی (Anchor text) لینک کند، سایت Y یک بک لینک از سایت X دریافت می‌کند. و این عمل هم به اصطلاح لینک سازی یا لینک بیلدینگ گویند. بک لینک شامل لینک سازی داخلی نمی‌شود به عبارت دیگر به لینک‌های داخلی یک دامنه بک لینک نمی‌گویند.

بک لینک اهمیت ویژه‌ای در سئو سایت دارد و همیشه مهندسین سئو در تلاش هستند تا بتوانند بک لینک بیشتری را در جهت ارتقا رتبه سئو سایت ایجاد کنند، ولی همان‌طور که میدانید هر آنچه در سئو زیاده‌روی شود به جای تاثیر مثبت، تاثیر منفی به‌همراه خواهد داشت، لینک سازی یا لینک بیلدینگ باید اصولی صورت بگیرد و اگر به شکل اسپم و انبوه لینک سازی شود با جریمه های سنگین گوگل همراه خواهد بود چرا که لینک سازی بی‌رویه یکی از دلایل پنالتی شدن سایت در گوگل است.

بک لینک انواع مختلفی دارد ولی دو نوع آن نسبت به بقیه لینک‌های دیگر معروف است لینک نوفالو (Nofollow) و لینک فالو (Follow)، ما در مقاله لینک نوفالو به شکل کاملا جامع با سوال‌های کاربردی به تشریح و اهمیت لینک نوفالو پرداختیم و تفاوت اصلی آن با لینک فالو را ذکر کردیم، پس حتما پیشنهاد می‌کنیم برای کسب اطلاعات بیشتر درباره این دو نوع لینک به مقاله ذکر شده مراجعه کنید.

در ادامه به انواه Backlink از نظر ساختاری می‌پردازیم.

انواع لینک از نظر ساختاری

ساختار یک لینک به شکل زیر است و در مقابل اتریبیوت rel می‌تواند مقادیر مختلفی برای مقاصد گوناگون درج کرد. در ادامه بیشتر در این باره صحبت خواهیم کرد.

شاید بپرسید اتریبیوت rel چیست؟ به rel موجود در کد زیر یک نوع اتریبیوت گفته می‌شود و حال این اتریبیوت که rel هست بعد از مساوی و در داخل “” مقادیری را می‌گیرد که در ادامه ما بیشتر درباره مقادیر داخل rel صحبت خواهیم کرد.

لینک از نوع Alternate

این لینک برای طراحی سایت‌ (طراحی سایت شرکتی، طراحی سایت فروشگاهی، قیمت طراحی سایت) های دو زبانه یا چند زبانه مناسب است، به این معنی است که این لینک ، به آدرسی می‌رود که شما همین صفحه را به زبانی دیگر خواهید دید.

لینک از نوع Author

این نوع لینک برای نویسنده‌ها به کار می‌رود، اگر روی آن کلیک کنید شما را به نویسنده آن مقاله ارجاع می‌دهد.

لینک از نوع Bookmark

این نوع لینک‌ها برای Bookmark (بوک مارک) کردن مناسب است چرا که لینک تغییر نمی‌کند و می‌توانید لینک مقاله را در مرورگر خود ذخیره نمایید یا همان بوک مارک کنید.

لینک از نوع Help

زمانی کاربرد دارد که بخواهید آموزشی از یک صفحه‌ را در صفحه دیگر قرار دهید. وقتی روی این لینک کلیک کنید به صفحه آموزش یا راهنمای استفاده از مقاله خواهید رفت.

لینک از نوع License

بدین معنا که این لینک ، شما را به صفحه کپی رایت مقاله هدایت می‌کند.

لینک از نوع next

به معنای این است که این لینک شما را به مقاله بعدی هدایت می‌کند.

لینک از نوع Prev

به معنای این است که این لینک شما را به مقاله قبلی هدایت می‌کند برعکس لینک next است.

لینک از نوع Nofollow

این نوع لینک به موتورهای جستجو اعلام می‌کند که لینک را دنبال نکنند و اعتباری به سایت مقصد داده نشود. (در مقاله لینک نوفالو به تشریح درباره اهمیت و کاربرد این نوع لینک‌ها پرداختیم)

لینک از نوع Follow یا Dofollow

لینک فالو برعکس لینک‌های نوفالو است، شما اگر اصلا از اتریبیوت rel استفاده نکنید به شکل پیش‌فرض موتورهای جستجو آن را فالو می‌دانند، مقدار Follow با مقدار Dofollow فرقی ندارد و هر دو یک مفهوم را دارد. هر سه لینک زیر یک معنا را دارند.

لینک از نوع Search

به لینکی اشاره می‌کند که شما در آنجا امکان جستجو در بین مقاله‌ها را دارید.

لینک از نوع Tag

اصولا تگ‌های مقاله‌ها را با این نوع لینک به موتورهای جستجو نشان می‌دهند. این لینک‌ها نشان دهنده یک تگ یا کلمه کلیدی در این مقاله است.

توضیحات بیشتر درباره لینک‌ها در مقاله w3.org بخوانید.

دقت داشته باشید که ما درباره انواع لینک‌ها یعنی تگ a صحبت کردیم هر چند این ویژگی‌ها را می‌توان در تگ link که در header سایت قرار میگیرد، مشاهده کرد.

لینک نوفالو (nofollow) چیست و تاثیر آن در سئو

سرفصل‌های پست

• 1 لینک فالو و نوفالو چیست و تفاوت این دو بک لینک follow و nofollow
  • 1.1 ساختار کد فالو در تگ لینک (تگ a)
  • 1.2 ساختار کد نوفالو در تگ لینک (تگ a)
• 2 لینک سازی داخلی با لینک های فالو
• 3 لینک سازی به خارج سایت
  • 3.1 لینک فالو خارجی باعث کاهش اعتبار می‌شود؟
  • 3.2 لینک سایت ناشناخته نوفالو یا فالو باشد؟
  • 3.3 لینک سایت معتبر نوفالو یا فالو باشد؟
  • 3.4 لینک های نظرات سایت نوفالو یا فالو باشد؟
  • 3.5 لینک تبلیغات سایتتمان نوفالو یا فالو باشد؟
  • 3.6 لینک شبکه های اجتماعی نوفالو یا فالو باشد؟
  • 3.7 برای جلوگیری از لینک سازی سایتهای اسپم چه کنیم؟
  • 3.8 برای جلوگیری از تکراری شدن محتوا در طراحی سایت چه کنیم؟
• 4 تاثیر لینک نوفالو در سئو
• 5 چند نکته تکمیلی درباره لینک nofollow
  • 5.1 فرق لینک nofollow با متاتگ nofollow در چیست؟
  • 5.2 نوفالو کردن لینک خروجی وردپرس با افزونه
  • 5.3 نوفالو کردن لینک خروجی در وردپرس به وسیله کد
  • 5.4 ایجاد لینک نوفالو برای لینک‌های انتخابی در وردپرس

لینک فالو و نوفالو چیست و تفاوت این دو بک لینک follow و nofollow

شما در فرایند لینک سازی و لینک بیلدینگ وقتی لینکی را ایجاد می‌کنید یا لینکی به شکل طبیعی برای طراحی سایت(طراحی سایت فروشگاهی،طراحی سایت شرکتی، قیمت طراحی سایت) شما ایجاد می‌شود یا به شکل، لینک فالو (follow) درج می‌شود و یا لینک نوفالو (nofollow) می‌باشد. محکم بشینید که در ادامه مطالب بسیار جالبی درباره این بک لینک ها خواهیم گفت

فایل robots.txt و نحوه ساخت آن

فایل روبوت robots.txt چیست و چگونه این فایل را بسازیم و بهترین و مناسب ترین فایل روبوت برای وردپرس و جوملا چیست، پاسخ به همه این پرسش‌ها را می‌توانید در این مقاله از سایت سئوراز مطالعه نمایید. همچنین در این مقاله ۸ مثال کاربردی درباره فایل روبوت (ربات) گفته شده است.

سرفصل‌های پست

• 1 فایل robots.txt چیست
• 2 فایل robots.txt باید در چه آدرسی قرار دهیم؟
• 3 نحوه ساخت فایل robots.txt
• 4 نمونه دستورات در فایل Robots.txt
  • 4.1 مثال یک
  • 4.2 مثال دو
  • 4.3 مثال سه
  • 4.4 مثال چهار
  • 4.5 مثال پنج
  • 4.6 مثال شش
  • 4.7 مثال هفت
  • 4.8 مثال هشت
• 5 تست فایل robots.txt در سرچ کنسل گوگل
• 6 چند نکته پایانی درباره فایل robots.txt

فایل robots.txt چیست

فایل robots.txt یک فایل متنی است که به‌وسیله آن خط‌مشی برای ربات موتورهای جستجو تعیین می‌کنیم که چه آدرس‌هایی را خزش و ایندکس کنند و چه آدرس‌هایی را خزش و ایندکس نکنند. توجه داشته باشید که ماهیت خزش با ایندکس فرق دارد، یک ربات باید در ابتدا خزشی را صورت بدهد و سپس تصمیم می‌گیرد که آن را در دیتابیس موتورهای جستجو ذخیره کند یا نه. اگر ذخیره شود عمل ایندکس رخ‌داده است. ما در این مقاله از سایت سئوراز به نحوه ایجاد و ساخت فایل robots.txt می‌پردازیم و شما با خواندن این مقاله صرف نظر از اینکه چه نوع CMS (وردپرس، جوملا و …) دارید، می‌توانید این فایل را ایجاد و مدیریت کنید.

موتورهای جستجو با خزیدن در میان صفحات طراحی سایت شما، آن‌ها را ایندکس می‌کند و با دنبال کردن لینک‌ها وارد صفحات یا ساخت سایت‌های دیگر می‌شوند. هر ربات استانداردی قبل از خزیدن صفحه‌ای از یک دامنه، ابتدا فایل robots.txt را می‌خواند و بر اساس دستورات موجود در این فایل، اجازه خزیدن را پیدا می‌کند تا بتواند ایندکس را انجام دهد. پس باید دقت داشته باشید که چه صفحاتی را برای خزیدن منع می‌کنید چراکه اگر به‌اشتباه صفحات مهم خود را مخصوصاً صفحات فرود یا همان لندینگ پیج را از طریق این فایل برای ربات‌ها مسدود کنید ضربه بدی به سئو سایت و درنتیجه تجارت آنلاین خود وارد می‌کنید. (اهمیت و نحوه ساختن صفحات فرود یا لندینگ پیج را می‌توانید به همراه مثال در مقاله جامع صفحه فرود چیست بخوانید)

فایل robots.txt نیز برای ربات‌ها نوشته می‌شود ولی جالب آن است که بدانید چنین فایلی برای انسان‌ها هم داریم، فایلی با نام humans.txt که ماهیت آن‌یک پیام برای کاربران و بازدیدکنندگان سایت شما است که اصولاً به زبان انگلیسی نوشته می‌شود.

نمونه فایل robots.txt و فایل humans.txt برای سئو سایت گوگل:

https://www.google.com/humans.txt

https://www.google.com/robots.txt

فایل robots.txt باید در چه آدرسی قرار دهیم؟

بعد از ساخت فایل robots.txt با فرمت ASCII یا UTF-8 باید این فایل حتماً در آدرس http://domain.com/robots.txt مورد دسترسی ربات‌ها قرار گیرد. حال دو نکته درباره این موضوع:

• اگر ربات خزنده قصد داشته باشد به زیر دامنه‌های ما سر بزند باید برای هر زیردامنه یک فایل robots.txt جداگانه ایجاد کنیم.
• اگر سایت شما هم با www و هم بدون www باز می‌شود باید فایل robots.txt را در هر دو حالت یکسان تنظیم کنید همین موضوع برای http و https هم صدق می‌کند ولی به این نکته توجه داشته باشید که اگر سایت به این شکل در دسترس باشد باعث ایجاد محتوای تکراری می‌شود که برای سئو داخلی سایت به‌شدت ضرر است و یکی از دلایل پنالتی شدن سایت در گوگل می‌باشد، چراکه تمام دامنه‌های زیر از نگاه گوگل یک سایت مجزا محسوب می‌شود. ولی درباره این فایل بدانید که اگر دامنه‌های زیر شما جداگانه باز می‌شود گوگل برای خواندن فایل robots.txt دامنه http را اولویت قرار می‌دهد.
• ممکن است شما قصد داشته باشید آدرسی از صفحات را ربات خزش کند و لینک‌های آن صفحات را بررسی کند ولی در نتایج آن صفحه را نمایش ندهد در این صورت شما نمی‌توانید از این فایل برای چنین عملی استفاده کنید و بهتر است از متاتگ ربات برای این موضوع استفاده کنید. اگر قصد دارید این روش را به شکل بهینه انجام دهید مقاله متاتگ robotsما را حتماً بخوانید تا به نکات جالبی درباره این متاتگ دست پیدا کنید.
• نکته مهم دیگر اینکه حتما فایل robots.txt باید با حروف کوچک نوشته شود و همانند URL نام این فایل به حروف کوچک و بزرگ حساس است. به عنوان مثال آدرس‌های زیر کاملا با هم فرق دارند. و فقط اولی آدرس درست و صحیح می‌باشد.

چند مثال برای درک بهتر مکان صحیح فایل robots.txt

چند مثال برای درک بهتر مکان صحیح فایل robots.txt

آدرس فایل robots.txt	معتبر بودن فایل در آدرس‌های	معتبر نبودن فایل در آدرس‌های	توضیحات بیشتر
http://example.com/robots.txt	https://seoraz.com/ https://seoraz.com/blog/file	http://service.seoraz.com/ https://seoraz.com:8181/	برای دامنه‌هایی که با پورت باز می‌شوند و همینطور زیر دامنه ها آدرس فایل robots.txt متعبر نیست و فقط برای همان دامنه و تمام فولدرهای آن معتبر است.
http://www.example.com/robots.txt	https://www.seoraz.com/	https://seoraz.com/ http://service.www.seoraz.com/ http://www.service.seoraz.com/	هر زیر دامنه و همینطور دیگر ورژن‌های زیر دامنه باید یک فایل robots.txt داشته باشد و همینطور دیگر ورژن‌های دامنه اصلی مگر ریدایرکت اصولی صورت گیرد.
http://example.com/blog/robots.txt			چنین آدرس فایلی اصلا توسط ربات‌ها خزش نمی‌شود.

نحوه ساخت فایل robots.txt

اگر در دامنه خود به آدرس http://domain.com/robots.txt مراجعه کرده باشید و خطایی را مشاهده کنید به معنی نداشتن این فایل در سایت شما می‌باشد. کافی است به کنترل پنل خود رفته حال اگر کنترل‌پنل سی‌پنل باشد محیطی شبیه عکس زیر دارد. در ریشه سایت یک فایل ساده ایجاد کرده و فرمت و نام آن را robots.txt درج کنید.

در مقاله Create a robots.txt file گوگل هم به نحوه ساختن و پرداختن چند مثال اشاره کرده است، در ادامه به تعریف سه کیورد می‌پردازیم.

User-agent : نام ربات موردنظر را جلوی این عبارت می‌نویسیم که البته حساس به حروف کوچک و بزرگ نیست ( به عبارت دیگر non case sensitive است). با استفاده از کیورد user-agent می‌توانید ربات خاصی را هدف گرفته یا به‌طورکلی، دستوری را خطاب به همه آن‌ها درج کنید. گاهی بعضی از موتورهای جستجو ربات‌های مختلفی نیز دارند همانند موتور جستجوی گوگل که برای تصاویر، اخبار و موارد دیگر ربات خاص خود را دارد. در ادامه مثال‌های متنوعی خواهیم زد تا بهتر به این امر پی ببرید.

لیست ربات‌های معروف در عکس زیر:

اگر قصد دارید اطلاعات بیشتری درباره ربات‌های گوگل کسب کنید این مقاله موجود در سایت گوگل را مطالعه فرمایید.

Disallow : مقابل این کیبورد دایرکتوری را درج می‌کنید که قصد ندارید ربات آن را ایندکس کند. بعد از عبارت User-agent می‌توانید در هرچند بار که لازم باشد از Disallow استفاده نمایید. به این نکته مهم توجه کنید که ربات موتورهای جستجو به حروف کوچک و بزرگ در دایرکتوری‌ها حساس هستند. در ادامه مثال‌های متنوعی خواهیم زد تا بهتر به این امر پی ببرید.

Allow : برعکس دستور Disallow است هرچند دستور Allow غیررسمی است ولی توسط اکثر ربات‌های معروف شناخته‌شده است.

نمونه دستورات در فایل Robots.txt

مثال یک

مثال زیر در خط اول شامل همه ربات موتورهای جستجو می‌شود چراکه با علامت ستاره درج‌شده است و خط دوم با / درج شده و شامل کل آدرس‌های یک دامنه می‌شود، بنابراین دستور زیر به این معنی است که هیچ‌یک از موتورهای جستجو مجاز به خزیدن سایت شما نباشند.

مثال دو

دستور زیر برعکس دستور بالا می‌گویید همه ربات‌های موتورهای جستجو به کلیه آدرس‌های سایت دسترسی دارند.

مثال سه

دستور زیر به این معناست که فقط ربات گوگل دسترسی به پوشه blog را ندارد و این شامل همه زیرپوشه‌های blog هم می‌شود یعنی هم شامل آدرس seoraz.com/blog می‌شود و هم شامل آدرس‌های به‌مانند seoraz.com/blog/example نیز می‌شود. در این شرایط بقیه ربات‌ها به‌جز گوگل دسترسی به این دایرکتوری رادارند.

مثال چهار

همان‌طور که گفتیم موتورهای جستجو ممکن است تعداد ربات‌های زیادی برای موارد خاص داشته باشند برای همین اولویت هم برای آنان مهم است. درصورتی‌که در فایل robots.txt دستوراتی را درج کرده باشید که چند بلاک مختلف آن‌ها برای یک ربات (خزنده) صادق باشد، ربات موتور جستجو همیشه دستوری را که به‌طور واضح‌تر به آن ربات خاص اشاره می‌کند انتخاب کرده و دستورات همان بخش را اجرا خواهد کرد. مثلاً فرض کنید اگر فایل robots.txt همانند دستور زیر یک بلاک مخصوص Googlebot و یک بلاک مخصوص Googlebot-Video وجود داشته باشد. در این حالت اگر ربات عکس گوگل (Googlebot-Image) وارد طراحی سایت (طراحی سایت شرکتی، طراحی سایت فروشگاهی) شما شود، در میان این بلاک‌ها از اولی پیروی خواهد کرد و اگر ربات ویدیو گوگل (Googlebot-Video) وارد سایت شود، از بلاک دومی پیروی خواهد کرد و دستورات بلاک اولی را نادیده گرفته چراکه بلاک دومی برای آن در اولویت است.

مثال پنج

شما می‌توانید از عبارات منظم (Regular Expression) هم برای استفاده در دستورات فایل robots.txt استفاده کنید هرچند به شکل رسمی این عبارات منظم در این فایل تعریف‌نشده است ولی اکثر ربات‌های معروف در دنیا از عبارات منظم نیز پشتیبانی می‌کنند. مثلاً در دستور نیز اشاره‌شده که کلیه ربات‌ها به فایل‌ها با پسوند pdf که در فولدر (دایرکتوری) test وجود دارند، غیرمجاز است و نباید دسترسی داشته باشند.

مثال شش

حال قصد داریم کمی درباره وردپرس حرف بزنیم و یک فایل robots txt برای وردپرس به شکل بهینه شده و مناسب ایجاد کنیم. دستور زیر که در بسیاری از سایت‌های وردپرس استفاده می‌شود به این معناست که تمام ربات‌ها به پوشه ادمین wp-admin دسترسی نداشته باشند ولی به فایل admin-ajax.php که در این پوشه هست دسترسی پیدا کنند. البته بودن چنین دستوراتی در فایل robots.txt ضرری هم ندارد هر چند ربات توانایی وارد شدن به محیط ادمین وردپرس را ندارد ولی خطا در کدنویسی هم از سمت گوگل و هم از سمت ما طبیعتا امکان‌پذیر است. اگر توجه کرده باشید ما در این مقال یک بار از کیورد User-agent استفاده کردیم و سپس ۲ خط دستور وارد کردیم، شما می‌توانید به تعداد دلخواه دستورات لازم را در هر خط وارد نمایید.

مثال هفت

یکی دیگر از دستورات رایج و اشتباه از نگاه یک متخصص سئو در فایل robots.txt وردپرس که در بسیاری از سایت‌های معروف ایرانی استفاده می‌شود کدهای زیر می‌باشند. بنده شخصاً در هیچ‌یک از سایت‌های معتبر خارجی که دارای سیستم مدیریت محتوا وردپرس هستند چنین کدهایی را پیدا نکردم. عدم دسترسی به wp-includes که در آن یک سری فایل‌های مهم مثل جی کوئری است باعث می‌شود سایت به آن شکلی که باید برای موتور جستجو نمایش دهد خروجی نگیرد. سایت‌های مثل یوآست، نیل پتل، searchengineland و ده‌ها سایت معروف وردپرس که در مبحث سئو صاحب‌نظرهای جهانی هستند از چنین دستوراتی که باعث عدم دسرسی به فایل‌های wp-includes می‌شود استفاده نمی‌کنند حتی سایت یوآست در این مقاله اشاره‌کرده چنین دستوراتی اشتباه است و باعث مسدود شدن ربات‌ها به بعضی فایل‌ها می‌شود که برای سئو سایت خوشایند نیست.

مثال هشت

دستور زیر وقتی کاربرد دارد که شما در آدرس‌های خود کاراکتری مانند ? را داشته باشید چراکه گاهی به دلیل مشکلات فنی در سایت، مقاله شما ممکن است با آدرس‌های مختلف و با مقادیر متفاوت انتشار پیدا کند. به همین منظور دستور زیر را به شکل موقت درج می‌کنید تا ربات‌ها آدرس‌های را کاراکتر علامت سؤال را ایندکس نکنند.

اگر به دنبال مثال های بیشتری هستید مقاله Robots.txt Specifications گوگل هم می‌تواند برای شما مفید باشد.

تست فایل robots.txt در سرچ کنسل گوگل

در نهایت بعد از ساختن فایل robots.txt نوبت به تست و صحت کارکرد آن می‌رسد. گوگل در قسمتی از سرچ کنسول خود شرایط رایگانی برای تست فایل robotx.txt فراهم کرده است.  به این منظور وارد سرچ کنسول (وبمسترتولز) شوید.

در منوهای موجود سرچ کنسول “Crawl” را انتخاب کنید.

سپس زیرمنوی  “robots.txt Tester.” را انتخاب کرده تا ابزار تست این فایل را مشاهده کنید.

در سمت راست دستوراتی را مشاهده می‌کنید که در فایل robots.txt درج کرده بودید. این نشان دهنده این است که شما به درستی این فایل را ایجاد کرده‌اید و مکان آن صحیح است.

اگر قصد دارید مطمئن شوید که آیا ربات به آدرسی دسترسی دارد یا نه، می‌توانید در قسمت “Enter a URL to test if it is blocked” آدرس را وارد کنید و نوع ربات گوگل را هم مشخص نمایید و دکمه تست را بزنید

اگر با پیغام “ALLOWED” مواجه شدید به معنای آن است که ربات گوگل به آن دایرکتوری دسترسی دارد در غیر این صورت با پیغام “BLOCKED” روبه‌رو می‌شوید که بنی بر آن است که ربات دسترسی به آن آدرس (دایرکتوری) را ندارد.

اطلاعات بیشتر درباره تست فایل robots.txt در سایت گوگل مشاهده کنید.

چند نکته پایانی درباره فایل robots.txt

• ربات‌های خزنده و یا بعضی ربات‌های موتورهای جستجو ممکن است به دستورات موجود در فایل robots.txt که درج‌شده را نادیده بگیرند. مخصوصاً ربات‌های اسپم یا مالور (malware robots) که برای آسیب‌پذیری، سایت‌ها را بدون توجه به این مسائل اسکن می‌کنند. و به دنبال ایمیل کاربران یا موارد دیگر هستند.
• ممکن است متدهای فایل robots.txt را با متاتگ robots به اشتباه بگیرید برای همین پیشنهاد می‌شود که حتما مقاله کوتاه و مفید تفاوت فایل robots.txt با متاتگ robots را بخوانید.
• موتورهای جستجو محتوای فایل robots.txt را کش می‌کنند اما معمولا محتوای کش شده را روزی حداقل یک بار به روز رسانی می‌کنند با این حال شما اگر تمایل دارید بعد از تغییرات در این فایل، موتورهای جستجو سریع‌تر کش را آپدیت کنند فایل خود را در این آدرس گوگل ارسال کنید.

امیدوار هستم فرآیند ساخت و نحوه ایجاد صحیح این فایل را در سایت خود فرا گرفته باشید و جدا از اینکه آیا وردپرس ، جوملا و یا هر CMS دیگری دارید می‌توانید به راحتی robots.txt بسازید، هر چند ما مثال برای ایجاد فایل robots.txt برای وردپرس و دیگر سی ام اس ها مثل جوملا را هم زدیم.

تفاوت متاتگ robots با فایل robots.txt

توی این مقاله کوتاه ولی خیلی مهم قصد داریم تفاوت و فرق متاتگ Robots با فایل Robots.txt به شما بگیم تا بتونید در موقعیت‌های مختلف بهترین رو انتخاب کنید. ولی پیشنهاد میشه قبل خواندن این مقاله حتما مقاله robots.txt چیست و متاتگ robots به خوبی بخونید. همراه سئوراز باشید.

فرق متاتگ Robots با فایل Robots.txt

1. اگر یک ربات بخواهد صفحه‌ای از یک طراحی سایت (طراحی سایت شرکتی، طراحی سایت فروشگاهی،سئو سایت) را ایندکس کند قبل از این عمل robots.txt را مشاهده کرده و دستورات آن را پیروی می‌کند. طبیعتاً اولویت فایل robots.txt نیز از متاتگ robots بیشتر است.
2. فایل robots.txt به شکل یک فایل واقعی در چنین آدرس‌هایی www.domain.com/robots.txt قرار دارند. ولی متاتگ robots به شکل تگ و قبل از head نیز وجود دارند همانند مثال پایین.
   
    
3. با یک دستور robots.txt شما می‌توانید صفحات بسیاری را برای ربات‌ها و موتورهای جستجو مسدود کنید ولی اگر قصد داشته باشید با متاتگ robots چنین عملی را انجام دهید باید در تک‌تک آن صفحات نیز متاتگ را درج کنید.
4. در فایل robots.txt شما می‌توانید سایت مپ سایت را به ربات‌ها و موتورهای جستجو معرفی کنید ولی با متاتگ امکان‌پذیر نیست.
5. دستورات متاتگ robots انعطاف‌پذیری بیشتری نسبت به فایل robots.txt نیز دارد.
6. مهم: در فایل robots.txt به ربات می‌گوییم خزش نکند ولی گاهی ایندکس می‌شود درحالی که برای ایندکس نشدن بهتر است از متاتگ robots هم استفاده کنید.

[gap] [icon type=”vector” icon=”momizat-icon-question” align=”right” size=”32″ icon_color=”#ffbd23″ hover_animation=”border_increase” ]سؤال: آیا مشکلی در سئو پیش می‌آید اگر از هر دو متد یعنی متاتگ Robots با فایل robots.txt برای جلوگیری از ایندکس شدن یک‌صفحه‌ای ازطراحی سایت استفاده کنیم؟

قطعاً خیر، گوگل هم متنی درباره این موضوع نوشته است و اشاره می‌کند که:

ربات گوگل محتوایی که از طریق robots.txt مسدود شده باشد را خزش یا ایندکس نمی‌کند ولی ممکن است ما لینک آن محتوا را در مکانی دیگر از وب پیدا کنیم و درنتیجه محتوای موجود در آن آدرس در دسترس عموم قرار بگیرد و در نتایج جستجوی گوگل ظاهر شود. شما می‌توانید برای جلوگیری از این عمل که محتوا در نتایج گوگل نمایش ندهد از متدهای دیگر برای مسدود کردن آدرس‌ها استفاده کنید. به‌عنوان‌مثال دایرکتوری آن آدرس را از طریق سرور خود رمزگذاری کنید یا از متاتگ robotx با دستور noindex استفاده کنید.

توضیحات بیشتر درباره اینکه robots.txt چیست و نحوه استفاده از آن را می‌توانید به لینک اشاره‌شده مراجعه نمایید.