Секреты индексации динамических страниц в поисковых системах


Секреты индексации динамических страниц в поисковых системах
реклама в поисковых системах - один из самых эффективных и дешевых способов раскрутки сайта. Именно поисковики (во всяком случае, их подавляющее большинство) готовы бесплатно проиндексировать Ваш сайт и показывать ссылки на него людям, которые его ищут
Думаю, никто не будет спорить, что реклама в поисковых системах - один из самых эффективных и дешевых способов раскрутки сайта. Именно поисковики (во всяком случае, их подавляющее большинство) готовы бесплатно проиндексировать Ваш сайт и показывать ссылки на него людям, которые его ищут. При этом Вы получаете очень качественный трафик, привлекая на свой сайт много заинтересованных посетителей. Все бы хорошо, но неожиданно появляется очень серьезная проблема: многие поисковики отказываются индексировать динамические страницы Вашего сайта. Самое приятное для нас (оптимизаторов) то, что это происходит не потому, что они динамические, а потому, что поисковый робот так думает. Но мы можем заставить его думать иначе.

PHP + MySQL хорошо сказывались на развитии каталога, но очень плохо, на желании поисковиков индексировать мой сайт. Rambler и Aport напрочь отказались индексировать больше одной (главной) страницы моего сайта index.php. Отсюда вывод, расширение не оказывает никакого влияния на индексацию, а не проиндексировались ТОЛЬКО страницы, содержащие "?", "&" и "=" в URL.
Вот мы вплотную подошли к теме статьи, нам придется менять URL всех страниц и приводить его в нормальный вид.
Я знаю 4 способа, как это сделать.

Самый ламерский способ.

Мы пишем
ErrorDocument 404 script.php
в файле .htaccess, где script.php - файл, в котором обрабатывается запрошенный URL и выводится нужная страница. Способ основан на том, что вы можете выдумать любой URL по которому Вы потом однозначно можете отобразить нужную страницу, обработав его (URL) скриптом, который будет вызван, если страница, на которую Вы ссылаетесь не существует.
В httpd.conf или .htaccess мы пишем строку
Options Multiviews
Теперь сервер при запросе URL вида <адрес директории>/one/two/three будет искать файл one с любым расширением (например one.php), который Вы заблаговременно помещаете в $lt;адрес директории>. А уже в one.php разбираем переменную окружения $REQUEST_URI и показываем нужную страницу.
В httpd.conf или .htaccess мы пишем

ForceType application/x-httpd-php

Этим мы говорим серверу, что если будет запрос $lt;адрес директории>/index/one/two, то ему следует считать, что index, это не папка, а файл. Кроме того это еще и PHP-скрипт. Естественно Вам нужно будет создать файл index (без расширения), в котором Вы будете разбирать все запросы.

И наконец самый мощный инструмент подмены URL-ов программный модуль mod_rewrite. В httpd.conf или .htaccess мы пишем
RewriteEngine On
Options +FollowSymlinks
RewriteBase /
RewriteRule ^index/(.*)$ /index.php/$1
Этим мы запускаем сам модуль, устанавливаем действие модуля только на текущий каталог, определяем корневой URL и говорим серверу, что при запросе пользователя index/ $lt;какой_угодно_текст> пользователь будет перенаправлен по адресу /index.php/ <какой_угодно_текст>. Вроде практической выгоды от такого перенаправления нет, но, если мы будем использовать пункты 3 и 4 одновременно, то может получиться интересный результат. На своем сайте (webshops.ru) я сделал так:
RewriteEngine On
RewriteBase /
RewriteRule ^index/(.*)$ /index.php/$1

ForceType application/x-httpd-php

Т.е. включил механизм mod_rewrite, определил корневой URL, сказал серверу изменять все запросы index/$lt;какой_угодно_текст> на index.php/<какой_угодно_текст> и сказал, что такой URL нужно принять за PHP-скрипт, выполнив index.php. Просто и со вкусом :).

Теперь, например, написав в строке броузера http://webshops.ru/index/webshops, Вы (сами этого не подозревая) будете перенаправлены на http://webshops.ru/index.php/webshops, а этот запрос будет выполнен как http://webshops.ru/index.php с той лишь разницей, что в переменной $REQUEST_URI окажется "/index/ webshops", что после благополучной обработки скриптом, покажет Вам список web-магазинов с их описаниями :).

Такие URLы придутся по вкусу любому поисковому роботу (да и с эстетической точки зрения они выглядят лучше).

Последний штрих.

В тексте скрипта, до вывода на экран чего-либо (!) мы отправляем в header две волшебные строчки:
Header("HTTP/1.0 200 OK"); //строка нужна только для п. 1
Header("Last-Modified: ".gmdate("D, M d Y H:i:s",filemtime("index.php"))." GMT"); / /строка пригодится в любом случае
Первая строчка говорит роботу, что это обычная страница, а вторая - прописывает дату модификации, основываясь на дате последнего изменения index.php (файл, которым Вы обрабатываете все запросы).

Если у Вас не отображаются картинки на странице, Вы можете прописать абсолютные пути к каждой картинке. Но лучше вместо этого прописать в выдаваемой страницы строчку $lt;base href=http://ваш_сайт.ru/>. Этим Вы скажете броузеру, что если посетитель забрел в виртуальную директорию (а именно так называются директории, которые мы только что научились делать), следует отсчитывать путь к картинке не от нее (ее нет :)), а от http://ваш_сайт.ru/.

Все! Теперь Вы готовы покорять поисковики всеми страницами Вашего сайта в полном составе. Желаю удачи!
Автор: Юрий Решетник

Оценить Статью:  
1   2   3   4   5   6   7   8   9   10    

« Назад
SAPE все усложнил?

MainLink - простая и прибыльная продажа ссылок!

Последние поступления:

Размещена 10 августа 2020 года

Я по ТВ видел, что через 10 лет мы будем жить лучше, чем в Германии...
Я не понял, что это они с Германией сделать хотят?!

читать далее…

ТехЗадание на Землю

Размещена 14 марта 2018 года

Пpоект Genesis (из коpпоpативной пеpеписки)

читать далее…

Шпаргалка по работе с Vim

Размещена 05 декабря 2017 года

Vim довольно мощный редактор, но работа с ним не всегда наглядна.
Например если нужно отредактировать какой-то файл например при помощи crontab, без знания специфики работы с viv никак.

читать далее…

Ошибка: Error: Cannot find a valid baseurl for repo

Размещена 13 сентабря 2017 года

Если возникает ошибка на centos 5 вида
YumRepo Error: All mirror URLs are not using ftp, http[s] or file.
Eg. Invalid release/

читать далее…

Linux Optimization

Размещена 30 июля 2012 года

Prelink

читать далее…