فایل robots.txt یک فایل متنی است که توسط آن امکان تعریف برخی قوانین برای ربات های موتور جستجو وجود دارد. قوانینی مانند محدود کردن رباتموتور جستجو برای دسترسی به فایل، فولدر، منابع مانند عکس و CSS و js، صفحه و کل سایت وجود دارد. همچنین همان طور که در بخش sitemap توضیح داده شد، آدرس نقشه سایت را نیز می توانید توسط فایل robots.txt به موتورهای جستجو اعلام نمایید. فایل robots.txt باید به صورت 8-UTF ذخیره شده باشد.
قوانینی که در ادامه نوشته شده در مورد موتور جستجو گوگل صدق می کند.
جهت نوشتن robots.txt امکان استفاده از چهار المان sitemap ،allow ،disallow ،user-agent وجود دارد.
نشان دهنده نوع خزنده موتور جستجو است و وب سرور توسط آن می تواند نوع خزنده وب را شناساییکند. نام تعدادی از خزنده های وب در آدرسwww.robotstxt.org/db.html موجود است.
روش نوشتن user-agent در robots.txt به صورت زیر است:
[نام ربات] : user- agent
مانند:
*:user-agent
user-agent: Google-bot
گوگل دارای user-agent های مختلفی است. به عنوان نمونه Googlebot نام user-agent موتور جستجوی گوگل و Googlebot-Image نام user-agent موتور جستجوی عکس گوگل هستند.
با استفاده از Disallow می توانید صفحه یا مسیر با پسوندی را که می خواهید بر روی خزنده موتور جستجو مسدود کنید را مشخص نمایید.
[مسیر مورد نظر ] :Disallow
/Disallow: /articles
Disallow: /products/product1.html
Disallow: /*.png
با استفاده از Allow می توانید برای یک صفحه یا مسیر از درون مسیری که بر روی خزنده موتور <جستجو مسدود کرده بودید استثنا قائل شوید و به موتور جستجو اجازه بدهید آن را بخواند و ایندکس کند.
[مسیر مورد نظر ] :Allow
/Allow: /articles/seo
Allow: /products/product2.html
Allow: /*.CSS
با استفاده از sitemap می توانید مسیر نقشه های طراحی سایت (طراحی سیات فر.شگاهی، طراحی سایت شرکتی) رای موتور جستجو را مشخص نمایید. همه موتورهای جستجو از sitemap در فایل robots.txtپشتیبانی نمی کنند. البته علاوه بر گوگل،موتورهای جستجوی بزرگ مانند Bing و Yahoo و Ask نیز از sitemap در فایل robots.txtپشتیبانی می کنند.
[مسیر نقشه سایت ] :sitemap
sitemap: https://www.example.com/sitemap.xml
جهت نوشتن robots.txt از دستورات متعددی می توان استفاده نمود که در جدول زیر تعدادی از آنها به عنوان نمونه نمایش داده شده اند.
توضیح | نمونه |
---|---|
همه سایت | /:Disallow |
مانند / است و به معنی همه سایت است. | /*:Disallow |
یک دایرکتوری به همراه همه محتویاتش | /Disallow: /sample-directory |
هر صفحه ای با نام file.html که بعد از یک slash باشد. | Disallow: /file.html |
یک عکس خاص برای ربات جستجوی عکس گوگل مسدود شده | User-agent: Googlebot-Image Disallow: /images/dogs.jpg |
همه سایت بر روی ربات جستجوی عکس گوگل محدود شده | User-agent: Googlebot-Image /:Disallow |
همه مسیرهایی که در انتهای آنها gif. باشد | $Disallow: /*.gif |
هر دایرکتوری که ابتدای نام آن private باشد به همراه محتویاتش | /*Disallow: /private |
هر آدرسی که در آن علامت سوال وجود داشته باشد. | ?*/:Disallow |
هر آدرسی که با علامت سوال پایان یابد. | $?*/:Disallow |
فایل robots.txt باید در ریشه سایت آپلود شود و به عنوان نمونه با آدرس زیر در دسترس باشد.
http://www.example.com/robots.txt
بیشتر موتورهای جستجو فایل robots.txt را با یکی از پروتکل های http یا https می توانند بخوانند ولی گوگل از پروتکل ftp نیز پشتیبانی می کند. بنابراین برای یک صفحه با پروتکل ftp نیز امکان داشتن فایلrobots.txt وجود دارد به شرطی که برای دسترسی به آن به نام کاربری و کلمه عبور ftp نیازی نباشد.
مفهوم موبایل فرندلی (Mobile friendly) از آن جایی می آید که موبایل ها (دستگاه های همراه مانند تلفن هوشمند و تبلت) در حال تغییر دنیا هستند. امروزه در برخیاز کشورها تعداد موبایل ها بیشتر از تعداد کامپیوترهای شخصی مانند دسکتاپ و لپ تاپ ها است. طبق آمار رسمی گوگل تعداد جستجو های انجام شده توسط موبایل به طور میانگین در سرتاسر دنیا در سال ۲۰۱۵ بیش از ۵۱ درصد بود و این نشان دهنده این موضوع بود که تمایل کاربران به جستجوو گشت و گذار در اینترنت توسط دستگاه های همراه مانند تلفن های هوشمند به دلایلی مانندپیشرفت تکنولوژی، در دسترس بودن و قدرت خرید بالای تلفن های هوشمند و گسترش شبکه های اجتماعی بیشتر شده است و بنابراین طراحی سایت (طراحی سایت فروشگاهی، طراحی سایت شرکتی) در نظر گرفتن استانداردهای طراحی سایت برای موبایل بسیار حائز اهمیت است.
به طور کلی mobile friendly بودن یک سایت به معنای این است که کاربران موبایلی بتوانند به راحتی توسط دستگاه موبایلاز سایت استفاده کنند و نیازی به زوم صفحه جهت بهتر دیدن محتوا و یا اسکرول صفحه به چپ و راست نباشد. سایتی که موبایل فرندلی نباشد، بر تجربه کاربر از سایت تاثیر منفی می گذارد و منجر به ترک کاربر با استفاده کمتر از سایت می شود. طبق تعریف گوگل، سهیک اصلی برای طراحی سایت mobile friendly وجود دارد:
سایت رسپانسیو یا واکنشگرا سایتی است که برای همه دستگاه ها مانند تلفن همراه، تبلت، لپ تاپ و هر دستگاه دیگری فقط یک کد HTML را به کاربر ارائه می دهد ولی از نظر ظاهری با توجه به عرض صفحه دستگاه کاربر، ظاهر متفاوتی را ارائه می دهد.
در طراحی به صورت URL ،dynamic Serving صفحات برای همه انواع دستگاه ها یکسان است ولیکد HTML با توجه به عرض دستگاه یا User-agent متفاوت است.
در طراحی به صورت separate URL، همانطور که از نام آن مشخص است، آدرس URL برای دستگاه های موبایل و کامپیوترهای شخصی متفاوت است و کدHTML نیز با توجه به نوع دستگاه موبایل و یا کامپیوتر شخصی، متفاوت خواهد بود. در سایتی که با تکنیک separate URL طراحی شده باشند، وظیفه تشخیص نوع دستگاه کاربر به عهده سرور است.
آدرس URL یکسان | کد HTML یکسان | نوع سایت |
---|---|---|
* | * | Responsive Web Design |
* | – | Dynamic Serving |
– | – | Separate URLS |
از نظر SEO تفاوت خاصی بین سه نوع تکنیک طراحی سایت موبایل فرندلی مذکور نیست ولی گوگل مورد Responsive Web Design را به دلیل خطای کمتر برنامه نویسی و مدیریت بهتر سایت به طراحان و دارندگان سایت پیشنهاد می کند و نکات زیر را در مورد سایت موبایل فرندلی توصیه می کند :
اطلاعات ساختار یافته یا Structured Data اطلاعاتی هستند که به موتورهای جستجو کمک می کنند که دید بهتری نسبت به ساخت سایت یا یک ایمیل داشته باشند. تاکنون استانداردهای بسیاری برای استراکچرد دیتا ایجاد شده است که توسط آنها می توانیم اطلاعاتی در مورد یک فیلم، مقاله، کتاب،دستورالعمل طبخ غذا و صدها مورد دیگر را به موتورهای جستجو بدهیم.
همانطور که در بخش الگوریتم ها در مورد الگوریتم مرغ مگس خوار توضیح داده شد، این الگوریتم گوگل میتواند اطلاعات را از درون سایت ها استخراج کند. اگر در صفحه ای، اطلاعاتی به صورت ساختار یافته قرار بگیرد، الگوریتم مرغ مگس خوار راحت تر می تواند اطلاعات را درک و استخراج کند. در تصویر بعدی شاهد هستید که اطلاعات یک فیلم به چه صورت توسط الگوریتم مرغ مگس خوار شناسایی، استخراج و نمایش داده شده است.
اگر بخواهیم به طور خلاصه بگوییم که اطلاعات ساختار یافته بر SEO تاثیر دارد یا خیر، پاسخ بلی است ولی طبق اعلام رسمی گوگل، استفاده از Structured data تاثیری در محاسبات الگوریتم های گوگل برای محاسبه رنکینگ ندارند. ولی به دلیل شیوه نمایش متفاوت صفحات دارای اطلاعات ساختار یافته در صفحه نتایج گوگل، احتمال کلیک کاربران روی آن نتایج بالاتر از نتایج دیگر است و همین امر منجر به بالا رفتن CTR یا نسبت کلیک به نمایش در صفحه نتایج گوگل می شود و نهایتا بهره گیریاز اطلاعات ساختار یافته اثر مثبتی از دیدگاه سئو خواهد داشت.
در نتیجه استفاده از Structured data در سئوی حرفه ای بسیار حائز اهمیت است و یک سئوکار مجرب باید با انواع استانداردهای اطلاعات ساختار یافتهآشنا باشد و بتواند به بهترین نحو از آنها استفاده کند. ضمنا استفاده غیر اصولی از اطلاعات ساختار یافته که به قصد فریب الگوریتم های موتور جستجو به سایت اضافه شده باشد ممکن است به جریمه گوگل منجر شود.
همان طور که گفته شد، انواع گوناگون اطلاعات ساختار یافته وجود دارد. اطلاعات ساختار یافته دربسیاری موارد در نحوه نمایش نتیجه جستجو در SERP تاثیر می گذارد. در زیر به سه مورد از آنها اشاره شده است.
نمایش تعداد ریویوکنندگان و میانگین امتیاز داده شده توسط آنان
نمایش دستورالعمل طبخ غذا
نمایش مشخصات فنی یک محصول
روشهای متعددی برای پیاده سازی Structured data در سایت و یا ایمیل از قبیل RDFa و Microdata و JSON-LD وجود دارند. در حال حاضر همه موتورهای جستجوی بزرگ قابلیت فهم هر سه فرمت را دارند ولی از سال 2016 گوگل توصیه میکند که از JSON-LD برای پیاده سازی اطلاعات ساختار یافته در طراحی سایت ها (طراحی سایت فروشگاهی، طراحی سایت شرکتی، قیمت طراحی سایت) استفاده کنند و این بدان معنی است که ممکن است در آینده روشن RDF-a و Microdata دیگر پشتیبانی نشود.
سایت Schema.org در سال ۲۰۱۱ توسط موتورهای جستجوی بزرگ گوگل، بینگ، یاهو و پاندکس ایجاد شده و همواره توسعه داده می شود و استانداردهای اطلاعات ساختار یافته بسیاری تا کنون برای محصول، محل، رویداد، شخص، مقاله، کتاب، شرکت و موارد متعدد دیگر توسط این شرکتها وضع شده است که همگی به درک موتورهای جستجو از سایت یا ایمیل کمک خواهند کرد. جهت آشنایی با انواع اطلاعات مراجعه ساختار یافته و رویت نمونه های عملی مختلف به سایت https://schema.org مراجعه نمایید.
اگر از سیستم های مدیریت محتوا معروف مانند وردپرس، جوملا، دروپال و امثال آنها استفاده می کنید، افزونه های متعددی برای افزودن برخی از انواع اطلاعات ساختار یافته پر کاربرد به سایت وجود دارد که بسیاری از آنها به صورت رایگان قابل دانلود و نصب هستند. ولی اگر سایت شما بهصورت طراحی سایت اختصاصی نوشته شده است، باید به صورت اختصاصی کدنویسی کنید.
اگر سایت شما دارای تعداد صفحات اندک باشد و حجم تولید محتوای بالایی نیز نداشته باشید، می توانید از برخی سایت های آنلاین مانند نمونه های زیر استفاده کرده و اطلاعات ساختار یافته مورد نظرتان را تولید کنید و به صورت دستی در صفحات قرار دهید.
/https://technicalseo.com/seo-tools/schema-markup-generator
ضمنا می توانید با استفاده از نمونه های متعددی که در سایت https://schema.orgوجود دارد نیز استفاده کرده و اطلاعات ساختار یافته مورد نیازتان را به صورت دستی ایجاد کنید.
Rich result و Bounce rate یک سایت از جمله اطلاعات مهمی هستند که به بهینه سازی هرچه بهتر سایت ما کمک بسیاری می کند. در ادامه هرکدام از موارد را توضیح می دهیم.
گوگل تغییراتی را در نحوه نمایش نتایج جستجو تحت عنوان rich result از اوایل سال ۲۰۱۶ در آمریکا و از اوایل سال ۲۰۱۷ در بیشتر کشورها انجام داد. نتایجی که به صورت rich result هستند، در واقع نتایجی هستند که حاوی اطلاعاتی مانند تعداد رای بازدید کنندگان، مقدار کالری غذا، تاریخ شروع رویداد، فیلم ها، کتاب ها، شبکه های اجتماعی، اطلاعات شرکت و موارد مشابه دیگری هستند و گوگل این اطلاعات را معمولا از طریق structured data کسب می کند.
با توجه به متفاوت بودن نحوه نمایش rich result نسبت به نتایج عادی در SERP، کلیک بیشتری توسط کاربران بر روی آنها می شود و در نتیجه CTR بالاتر می رود و بدین جهت، استفاده از اطلاعات و بسیار با اهمیت می باشد و می تواند به صورت غیر مستقیم باعث بهبود موقعیت سایت در نتایج موتورهای جستجو شود.
گوگل نتایج جستجو را هم در موبایل و هم در دسکتاپ می تواند به صورت rich result نمایش دهد. در حال حاضر چهار نوع rich result در صفحه نتایج جستجو نمایش داده می شوند که در ادامه به توضیح آنها پرداخته شده است.
Rich snion ها اطلاعات تکمیلی هستند که علاوه بر اسنیپت، در نتایج جستجو نمایش داده می شوند.
rich card ها نتایجی هستند که در SERP به صورت کارت نمایش داده می شوند.
Knowledge Graph یا Knowledge Panel باکس اطلاعاتی است که در کنار نتایج جستجو در SERP نمایش داده می شود.
Featured snippet نوعی از rich result است که در حقیقت پاسخ عبارتی است که توسط کاربر جستجو شده و این اطلاعات بر خلاف انواع دیگر rich result ازاطلاعات ساختار یافته استخراج نشده اند و گوگل آن متن را از درون محتوای صفحه یافته است.
واژه نرخ پرش بیانگر درصد بازدید کنندگانی است که پس از ورود به وب سایت، فقط از همان صفحه ای یه آن ورود کردند بازدید کرده اند و از سایت خارج شده اند. در حقیقت کاربرانی که وارد سایت شده و فقط یک صفحه را مشاهده کرده باشند و به صفحات دیگر نرفته باشند به عنوان bounce تلقی می شوند.
واحد اندازه گیری نرخ bounce به صورت درصد است. به عنوان نمونه اگر از یک سایت در مدت زمان شخصی یکصد بازدید انجام شود و کاربران در بیست عدد از بازدیدها فقط یک صفحه را دیده باشند، آنگاه سایت مورد نظر در همان مدت زمان مشخص دارای ۲۰ درصد bounce rate خواهد بود.
میزان bounce rate با توجه به نوع طراحی و همچنین نوع کاربری یک وبسایت می تواند متفاوت باشد. به عنوان مثال ساخت سایت (طراحی سایت شرکتی، طراحی سایت فروشگاهی، سئو سایت) که با فلش طراحی شده باشد و فقط یک آدرس URL داشته باشد، به طور طبیعی دارای bounce rate صد درصد است و جای نگرانی ندارد.
معمولا نرخ bounce نرمال در سایت های غیر از فلش در حدود ۴۰ تا ۵۵ درصد است و در صورتیکه این عدد از ۷۰ درصد عبور کرد باید سایت از نظر مشکلات احتمالی بررسی گردد. البته همانطور که اشاره شد طراحی سایت های گوناگون با توجه به نوع کاربریشان نیز می توانند bounce rate های گوناگونی داشته باشند و داشتن نرخ پرش بالا الزاما جای نگرانی ندارد ولی باید بررسی گردد.
به عنوان نمونه کاربران در یک تالار گفتگو معمولا از صفحات بیشتری نسبت به یک سایت فروشگاهی بازدید می کنند.
موارد زیادی هستند که منجر به bounce rate بالا می شوند که در ادامه به پنج عدد از علت های رایج آن اشاره شده است:
یکی از موارد تاثیر گذار در SE0 که همواره گوگل به آن تاکید داشته است، سرعت بارگذاری صفحات سایت است. هر چه سرعت بارگذاری صفحه بیشتر باشد و کاربران بتوانند سریعتر به صفحات سایت دسترسی پیدا کنند، احتمال ماندگاری آنها در سایت بیشتر خواهد شد. ولی اگر سرعت بارگذاری صفحات سایت شما پایین باشد و کاربر مجبور باشد برای دسترسی به هر صفحه از سایت شما بیشتر از چند ثانیه صبر کند، احتمال خروج او از سایت بیشتر می شود.
بر اساس آمار رسمی گوگل، به طور میانگین ۵۳ درصد از کاربرانی که از دستگاههایی مانند تلفن همراه برای استفاده از اینترنت استفاده می کنند، در صورت باز نشدن یک صفحه در زمان ۳ ثانیه، آن صفحه را ترک کرده و به سراغ صفحه دیگری خواهند رفت.
یکی از دلایل رایج bounce rate بالای سایت، بی کیفیت یا کم کیفیت بودن محتوای صفحات است که منجر به آزرده شدن کاربر و در نهایت بستن صفحه و یا خروج از سایت می گردد. پس تلاش کنید :
وجود بنرهای تبلیغاتی و یا هر نوع back-link در سایتهای غیر مرتبط منجر به bounce rate بالا خواهد شد. پس سعی کنید بنرهای تبلیغاتی خود را در سایت های مرتبط با موضوع فعالیت سایت خودتان منتشر نمایید و یا جهت تبلیغات از سرویس هایی مانند گوگل ادوردز استفاده کنید که از نظر میزان هدفمندی تبلیغات در اینترنت از کیفیت بسیار بالایی برخوردار است.
مواردی مانند باز شدنpop-up ناخواسته در صفحه نمایش تبلیغات تبلیغاتی که از نظر ظاهری به علت مواردی مانند چشمک زدن بیش از حدمتعدد به کاربر، نمایش باعث آزار کاربر می شوند و یا اجبار کاربر به ثبت نام جهت استفاده از سایت، منجر به خروج کاربر از سایت و در نهایت افزایش bounce rate می گردد. پس در طراحی UX یا همان User Experience حداکثر تلاشتان را بکنید که رضایت کاربر را از استفاده از سایتتان جلب نمایید.
یکی از موارد بسیار مهم در نگاه داشتن کاربر در سایت، طراحی UI سایت یا همان User Interface است. هر چقدر ظاهر سایت جذاب تر باشد، زمان ماندگاری کاربر در سایت بیشتر خواهد شد ولی اگر به عنوان مثال از رنگهایی در سایت استفاده گردد که باعث خستگی چشم کاربر در هنگام خواندن متن و یا استفاده از سایت شود، نتیجه آن کاهش احتمال مشاهده صفحات دیگر سایت توسط کاربر خواهد بود. پس در صورت نیاز از یک گرافیست وب برای هر چه جذاب تر شدن سایتتان استفاده کنید.
هر آنچه که در سایت های با ترافیک کم از بابت سئو باید انجام شود، در سایت های با ترافیک بالا نیز باید انجام شود. به عنوان نمونه در زمینه محتوا، متاها، بهینه سازی عکس، ساختار URL موبایل فرندلی بودن سایت و هر آنچه که در دستورالعمل های گوگل وبمستر وجود دارد، برای همه سایتها صرف نظر از ترافیکشان صدق می کند. البته قطعا ممکن است اولویت برخی از آیتم ها در سایتهای مختلف با یکدیگر تفاوت داشته باشد ولی به صورت کلی همه مواردی که در سئوی سایت های کم ترافیک باید انجام شود، در سایتهای پر ترافیک هم باید مد نظر سئوکار قرار بگیرد.
با توجه به اینکه برخی از مواردی که به کارایی کد و سرور و یا به صورت کلی به performance کد و سرور بستگی دارند با میزان ترافیک سایت (طراحی سایت شرکتی، طراحی سایت فروشگاهی) ارتباط مستقیم دارد، لذا برای بهبود رنکینگ سایت های پر ترافیک، علاوه بر مواردی که در سایت های کم ترافیک باید رعایت شوند، موارد متعددی نیز وجود دارند که باید برای بالا بردن performance رعایت شوند. مواردی مانند سخت افزار سرور، تنظیماتسرور، کدنویسی، کش، معماری دیتابیس و رعایت دستورالعمل های گوگل وبمستر و حتی برخی مواردoff-page SEO نیز باید در نظر گرفته شوند تا بازدهی سخت افزار و نرم افزار بالا برود. یکی از مواردی که در بهینه سازی باید در نظر گرفته شود، بهینه بودن تعداد درخواست هایی است که برای بارگذاری هر صفحه به سرور ارسال می شود.
برای اینکه بخواهید از تعداد درخواست ارسالی به وب سرور جهت لود صفحه مطلع شوید، طبق تصویر بعدی، ابتدا مرورگر گوگل کروم خود را باز کنید و سپس با فشردن دکمه F12 و یا با استفاده از میانبر Ctrl + Shift + I در سیستم عامل ویندوز وارد محیط Dev tools گوگل کروم شوید. سپس به تبNetwork رفته و تیک Disable cache را بزنید و صفحه را رفرش کنید. سپس می توانید با توجه به تصویر بعد، از تعداد درخواست های ارسالی به سرور جهت بارگذاری صفحه مورد نظرتان مطلع شوید.
با توجه به تصویر بالا، جهت لود صفحه اصلی سایت وب یوز، هر کاربر تعداد ۲۲ درخواست به وب سرور ارسال می کند. پس اگر تعداد ۱۰ کاربر به صورت همزمان صفحه اصلی طراحی سایت را باز کنند به معنای ارسال ۲۲۰ درخواست یا request به سرور خواهد بود که عدد ناچیزی است و تقریبا همه سرورهای اشتراکی نیز از عهده چنین کاری بر می آیند.
ولی اگر تعداد ۹۹۰ نفر به کاربران همزمان افزوده شود و تعداد آنها از ۱۰ به ۱۰۰۰ برسد، به معنای افزایش ۲۱۷۸۰ عددی در تعداد درخواست همزمان به سرور خواهیم بود که در اینجا باید همه عوامل نرم افزاری و سخت افزاری در کنار یکدیگر در وضعیت بهینه باشند تا مجبور نباشیم برای پاسخگویی به این تعداد درخواست فقط به قوی تر کردن سخت افزار اکتفا کنیم.