Autodor дорген

Основная идеология Wmsn dorgen (дорген)

Минимум телодвижений, максимум автоматизации, никаких свистоперделок и рюшачек,
только рабочий работающий функционал и минимальное количество макросов.

Главная фишкаWmsn dorgen (дорген)

Не нужно иметь базы ключевиков, текстовку, картинки.
Указываешь пару стартовых высокочастотников и движок все сам соберет и
создаст многостраничный дорвей с ключевиками, контентом, картинками, видео.

ТЕХНИЧЕСКИЕ ТРЕБОВАНИЯ: PHP 5.4 и выше, php-curl, SQLite3 (не путать с pdo_sqlite).

УСТАНОВКА Autodor.wmsn скачать

1) залить скрипты на хостинг (можно в корень, можно во внутреннюю папку).
2) поставить на папку с скриптом и все папки в корне сайта права на запись (будут создаваться дополнительные файлы)
3) отредактировать конфиг (conf.php)
4) загрузить ключевики (кодировка utf-8) в файл вида host.com.txt (вместо host.com адрес вашего домена) в папку keys
5) зайти на главную страницу дорвея (это загрузит ключевики из файла)
6) для ускорения работы дорвея - зайти на index.php?feed=gen и подождать
пока сгенерируется кэшь и спарсятся ключевики и контент, полной генерации ждать не обязательно,
но если побольше так заранее сгенерить - поисковики более быстрый сайт будут индексировать быстрее,
чем когда будут натыкаться на ожидание генерации и парсинга.

Дорвей на 10000 страниц занимает примерно 65 мб. Время ручной генерации кэша около 2 часов.

ИСТОЧНИК КОНТЕНТА для Autodor.wmsn скачать

Ключевики (дополнительные) парсятся из поисковых подсказок (адалт и нелегал не парсится).
Контент - снипеты из bing.com с перемешиванием и чисткой.
Картинки - из твиттера и bing.com (адалт парсится очень плохо).
Видео - из ютуба.

МАКРОСЫ. Применять в файле шаблона tpl.txt:
<?php echo $key; ?> - ключевик текущей страницы.
<?php echo $bkey; ?> - ключевик текущей страницы c Заглавной буквы.
<?php echo $content; ?> - контент страницы (макрос обязательный).
<?php echo $description; ?> - описание страницы для meta description.
<?php echo $foto; ?> - фотографии страницы.
<?php echo $link; ?> - перелинковка.
<?php echo $video; ?> - видео.
<?php echo $host; ?> - имя текущего домена
<?php echo $script; ?> - путь от корня сайта до скрипта дорвея.
<?php echo $iframe; ?> - выводит во фрейме рандомный тематический сайт, отличная оптимизация под гугл.
Альтернативные заглавия для страницы, парсятся из заглавий сайтов из топа бинга (более человечные, чем просто кей):
<?php echo Autodor дорген1; ?>
<?php echo Autodor дорген2; ?>
<?php echo Autodor дорген3; ?>

Дополнительные макросы Wmsn dorgen (дорген):

<?php echo @$cnt[0]; ?> - часть контента страницы (абзац), значение (которое в квадратных скобках) -
номер абзаца, при числе больше 15 результат может оказаться пустым.

<?php echo @$fotos[1]; ?> - выводит URL одной фотографии. Число в квадратных скобках от 0 до сколько повезет
(максимальное число зависит от того, сколько всего фоток спарсилось).

<?php echo $canonical; ?> - канонический урл страницы, применять в виде мета-тега (избавляет от дублей страниц):
<link rel="canonical" href="<?php echo $canonical; ?>" />

<?php echo $column1; ?> ... <?php echo $column15; ?> - если исходный файл ключевиков был с дополнительными полями,
то содержимое доп полей можно выводить этими макросами с номерами от 1 до 15.

Есл видео нету, его можно заменить своим:
<?php if ($video == '')
$video = 'тут код дефолтного видео';
echo $video;
?>

В шаблоне tpl.txt можно использовать HTML, JS и PHP код.

ФАЙЛЫ ДОРВЕЯ:

.htaccess - нужен для ЧПУ версии.

index.php - собственно скрипт (cms) дорвея. скрипт можно переименовывать,
например в page.php и т.п.

black_key.txt - список стоп-слов. писать в нижнем регистре построчно.
если слово из списка будет встречаться в ключевике страницы, то такая
страница не будет открыта, а будет редирект на главную страницу.
если вы делаете русскоязычне дорвеи, то возможно (зависит от тематики)
сюда стоит записать весь английский алфавит, чтобы исключить генерацию лишнего
англоязычного мусора на дорвеях. ну и наоборот - если делаете англоязычные,
то в черный список вписать построчно весь русский алфавит.

tpl.txt - html код шаблона с использованием макросов. Можно использовать HTML, JS и PHP код.
Можно файл переименовать, указав в конфиге имя нового файла.

conf.php - общий файл конфига. Если в одной папке размещаются несколько доменов и им требуется свой конфиг,
то персональный конфиг для дорвея сохранять в папку /conf/ в файл с именем host.php, где host - это имя домена.

/keys/host.txt (host - это имя домена типа mydor.ru) - список ключевиков построчно, в формате: 1 строка = 1 ключевик.
Также можно использовать связанные с ключевиком доп поля (до 15 полей), указывая их в формате через вертикальную черту:
Ключевик|Название товара|ссылка на фотку|стоимость|реф ссылка на покупку

list.php - скрипт создаст файл list.txt со списком доменов, которым уже создалась база в папке /db/
потом в шаблон можно вставить код, который сделает рандомную перелинковку дорвеев:
<?php $domen = file('list.txt'); shuffle($domen); echo '<a href="'.trim($domen[0]).''">http://'.trim($domen[0]).'/">'.trim($domen[0]).''; ?>

Если включен парсинг дополнительных ключевиков - содержимое дополнительных полей будет клонироваться к новым записям.

Максимальное количество ключевиков для загрузки зависит от настроек вашего сервера.
Если нужно загрузить много - лучше делать это частями, через форму на странице index.php?feed=add

Файлы, которые будут созданы в процессе жизни дорвея:

/db/host.db - SQLite3 база данных дорвея
/log/host.log - создается, когда достигнут лимит на количество страниц
/ping/host.ping - дата последнего пинга xml карты и rss
(вместо host - URL домена)
/cookie/cookie.txt - файл с cookie, применяется при парсинге контента.


Прочий функционал:
Добавление ключевиков через форму: index.php?feed=add
RSS лента дорвея находится по адресу: index.php?feed=rss
XML карта сайта: index.php?feed=sitemap
Поиск по дорвею: index.php?search=запрос
если вы переименуете index.php и в конфиге имена гет переменных, то эти пути соответственно изменятся.
лента и карта пингуются в поисковики каждые 3 часа.

Получить список ссылок на страницы:
в BB CODE формате: index.php?feed=bb
в HTML формате: index.php?feed=html
в TXT формате: index.php?feed=txt
в формате для кросспостинга wmsn.biz: index.php?feed=wmsn

Т.к. дорвей использует в имени базы url домена, то в одной общей папке можно создавать любое количество дорвеев,
дополнительные домены прописывать в панелях хостингов как паркованные (дополнительные).

 

УДАЛЕНИЕ СТРАНИЦ Autodor.wmsn скачать

: для ручного удаления страниц в конфиге должен быть прописан пароль.
Для удаления нужно зайти на удаляемую страницу добавив get переменную с именем del и значением, равным паролю из конфига.
Пример: index.php?feed=del&pg=123&pass=xxx (123 - номер удаляемой страницы, xxx - пароль).
При использовании ЧПУ версии - номер страницы в базе можно узнать заглянув в html код страницы,
номер будет в комментарии в самом начале кода.

 

Описание скриптов и структура доргена Autodor.wmsn скачать:

Папка avatars - папка для хранения аватарок, имя папки можно изменить в конфиге и переименовать саму папку. При переустановке дорвея (удалении основной базы) - очищать от собранных аватарок.

Папка cache - папка для кеша и временных файлов, при переустановке дорвея очищать от всех файлов (которые в своем имени имеют имя удалемого домена), кроме index.html.

Папка cms - скрипты ядра движка, все минималистично, трогать скрипты без надобности не надо, при обновлениях доргена на новые версии - перезаписывать старые версии новыми.

Папка db - пользовательские данные, там будет создана база, туда загружать ключевики и категории.

Папка parsers - скрипты парсеров.

Папка templates - папки с шаблонами.

Скрипты в корне: .htaccess, category.php, contact.php, cron.php, error.php, index.php, page.php, redirect.php, rss.php, sitemap.php, user.php - скрипты ядра движка, без надобности в них лазить не надо. При выходе новых версий - старые скрипты перезаписывать новыми.

Скрипт reinstall.php - по новой загружает кеи и категории, если в текстовых файлах были новые данные, то они будут добавлены, старые затронуты не будут, мультикеи пересоздадутся по новой.

Файл db/categories/host.ru.txt - список рубрик для домена. Используется только один раз, при первоначальной загрузке данных в базу. Формат (максимально полный), через вертикальную черту: Человеческое название рубрики|url-category-na-latinitse|Человеческое описание рубрики. Можно также только: Название|urlcategory. Минимальный формат: просто построчно список рубрик на русском языке (или на любом другом, использующем кирилицу или латиницу), урл рубрики будет сгенерен из транслита названия. Для других непонятных языков, не поддающихся транслиту будет сгенерен урл в виде md5 хэша названия. описание категорий может спарситься автоматически, если оно не указано и в конфиге выставлено разрешение на парсинг (описания парсятся парсерами titles_*).

Файл db/keys/host.ru.txt - список ключевиков. Используется только один раз, при первоначальной загрузке данных в базу. Формат (максимально полный), через вертикальную черту: Ключевик|url-category-na-latinitse (ключевик и урл или название на русском категории в которую его размещать). Можно просто список ключевиков построчно, тогда по категориям ключевики будут раскиданы рандомно.

Файл db/counter.txt - код счетчиков, инклудится в шаблонах. Поменять содержимое можно в любое время при жизне дорвея.

Файл db/htmllines.txt - список строк для вставки в виде ответов, при использовании парсера answers_htmllines.php

Файл db/tut.txt - список слов, используемых в парсере answers_tut_link.php.

Файл db/multikeys/host.ru.txt - мультикеи (доп поля в базе). Формат файла: первая строка это имена столбцов главной таблицы (таблица keywords) разделенные вертикальной чертой которые нужно создавать в базе. Названия столбцов строго на латинице, без спецзнаков и пробелов, т.е. только буквы a-z. Зарезервированные имена (так столбцы не называть): id, key, url, cat, catname, keywords, title, desc, content, date, work, authorgeo, authorname, authorsign, authordate, authorurl, countansw. первый столбец называть keyword, по нему будет привязка доп полей к ключевикам. Далее строки с значениями. Если доп поля не требуются - удалите этот файл. Вывод значения на странице: в шаблон page.php вставлять <?php echo $page['shoptitle']; ?>, где shoptitle - название столбца.

Файл db/black_key_answers.txt - список стоп слов, которые удаляются скриптом parsers/end_black_key_answers.php (поиск и удаление идет только по ответам, для русских слов поиск регистрозависим).

Парсеры из parsers: Внимание! Вам не нужны все парсеры, прочитайте о назначении каждого из них и просто удалите ненужные вам! titles_*.php - при парсинге будет браться рандомно один из парсеров заглавий, если один парсер не получил результат - будет применен следующий парсер, если ни один из парсеров ничего не получил - заглавием будет первоначальный ключевик. contents_*.php - при парсинге будет браться рандомный парсер контента страницы, если один парсер не получил результат - будет применен следующий парсер, если ни один из парсеров ничего не получил - контентом будет первоначальный ключевик. answers_*.php - парсеры ответов (комментарии), применяются все имеющиеся парсеры по очереди (в рандомном порядке), в базу записываются только успешные результаты парсинга ответов к странице. install_*.php - скрипты запускаемые только 1 раз при инсталле базы. start_*.php - скрипты запускаемые в начале перед всеми другими парсерами, end_*.php - скрипты запускаемые в конце всех процессов cron.php (удобно для всяких пинговалок, адурилок и т.п.), применяются все имеющиеся парсеры по очереди (в рандомном порядке). Почти в каждом парсере внутри есть дополнительные настройки. Потому рекомендуется просмотреть все скрипты парсеров и настроить их под себя, а также удалить ненужные.

install_htaccess.php - автонастройщик файла .htaccess (запускается только 1 раз при инсталяции домена, при использовании мультисайтовости после создания первого домена можно удалить, чтобы при появлении новых доменов постоянно не перезаписывал .htaccess).

titles_sputnik.php - получает заглавие из снипетов Спутника. Подходит только для русского языка.

titles_yahoo_ans_en.php - получает заглавие для страницы из answers.yahoo.com, есть смысл его использовать только для англоязычных дорвеев (даже для распространенных языков типа французского, испанского и немецкого там качество будет так себе).

titles_bing_feed.php - получает заглавие для страницы из title тематического сайта из топа bing.com (поиск по фидам).

titles_bing_snip.php - получает заглавие для страницы из title тематического сайта из топа bing.com.

titles_otvet_mail.php - получает тематическое заглавие из вопроса с сайта otvet.mail.ru, пригоден только для русскоязычных дорвеев, для других языков будет находить только мусор.

contents_sputnik.php - получает контент из снипета (дескрипшена) тематического сайта из топа Спутник + постит ссылку, запись короткая, но читаемая и качественная, подходит только для русского языка.

contents_bing_snip.php - получает контент из снипета (дескрипшена) тематического сайта из топа bing.com, получается очень коротенькая запись.

contents_otvet_mail.php - получает контент с сайта otvet.mail.ru, запись получается короткая, в 95% случаев в виде вопросительного предложения, пригоден только для русскоязычных дорвеев, для других языков будет находить только мусор.

contents_rich_content.php - контент получается по схеме - парсятся ссылки на тематические сайты из топа bing.com, потом парсер идет по ссылкам и ищет там абзацы (в теге p), получаются красивые большие куски (абзацы) читаемого текста. Парсер медленный.

contents_youtube_image.php - контент в виде тематического скрина (.jpg) с видео из youtube.com + названия видео. Картинка размечена микроразметкой schema.org/ImageObject

contents_youtube_video.php - контент в виде тематического видео и его названия с youtube.com

answers_sputnik.php - сохраняет 1 ответ, полученный из снипетов Спутника, подходит только для русского языка.

answers_yahoo_ans_en.php - получает ответы для страницы из answers.yahoo.com, есть смысл его использовать только для англоязычных дорвеев (даже для распространенных языков типа французского, испанского и немецкого там качество будет так себе).

answers_bing_image.php - коммент, в качестве ответа будет просто тематическая картинка из топа bing.com

answers_bing_snip.php - парсер ответа из дескрипшена рандомного сайта из топа bing.com

answers_htmllines.php - добавление в ответ рандомной строки из файла db/htmllines.txt

answers_otvet_mail.php - краткий ответ из ответов otvet.mail.ru, пригоден только для русскоязычных дорвеев, для других языков будет находить только мусор.

answers_rich_content.php - ответ получается по схеме - парсятся ссылки на тематические сайты из топа bing.com, потом парсер идет по ссылкам и ищет там абзацы (в теге p), получаются красивые большие куски (абзацы) читаемого текста. Парсер медленный.

answers_rich_content_feed.php - ответ получается по схеме - парсятся ссылки на тематические сайты из топа bing.com (поиск по фидам), потом парсер идет по ссылкам и берет там контент, получаются красивые большие куски (абзацы) читаемого текста. Парсер медленный. Может содержать нетематический текст.

answers_slon.php - добавление в ответ рефссылок на товары партнерки "Где слон", пригоден только для русскоязычных дорвеев.

answers_tut_link.php - добавление рандомного текста из файла db/tut.txt + ссылку на тдс через локальный редирект + цитирование стартового поста.

answers_twitter.php - ответы из записей твиттера.

answers_youtube_image.php - парсер ответа из youtube (картинка + название видео), картинка размечена микроразметкой schema.org/ImageObject.

answers_youtube_video.php - парсер ответа из youtube (видео + название видео)

users_vk.php - парсер профилей из вконтакта. Подходит только для русскоязычных дорвеев.

users_twitter.php - парсер профилей из twitter. Подходит как для русских, так и для нерусских языков.

users_randomuser.php - парсер профилей из randomuser.me. Больше подходит для нерусских дорвеев.

end_rss_ping_yandex_blogs.php - пинг RSS ленты в Яндекс поиск по блогам. Пингует общую ленту rss.xml

end_rss_ping_google_blogs.php - пинг RSS ленты в Google поиск по блогам. Пингует общую ленту rss.xml

end_sitemap_xml.php - пинг sitemap.xml в Google и Bing.

end_sitemap_xml_tdsse.php - пинг sitemap.xml в ping.tdsse.com (далее идет перепинг во многие сервисы).

end_black_key_answers.php - удаление ответов, содержащих стоп слова, указанные в db/black_key_answers.txt

Структура шаблонов: в папке templates папки с именами шаблонов, в папке с шаблоном собственно шаблоны: category.php (шаблон рубрики, в которой списки страниц), contact.php (контактная форма), error.php (страница ошибки, можно делать фейковой формой авторизации), index.php (главная страница сайта), page.php (страница отдельной записи), user.php (страница профиля юзера). Для редактирования или создания новых шаблонов нужно знать основы php.

Прочие нюансы:

Чтобы добавить Autodor.wmsn скачать в панели вебмастера Яндекса и Гугла - есть автоматизация. Условие: дор должен размещаться в корне сайта, а не в папке. Тогда просто добавляете домен в вебмастер, и нажимаете подтвердить права с помощью "HTML-файла", при этом никаких файлов на сервер загружать не надо. Все подтвердится. Если не планируете добавлять доры в панели вебмастера - удалите скрипты yandex.php и google.php

RSS лента последних записей находится по адресу rss.xml, показывает последние 25 записей.

RSS лента последних записей выбранного раздела находится по адресу вида rss_catname.xml

XML карта сайта находится по адресу sitemap.xml, она указывается в роботсе, роботс динамический, генерится сам.

Форма обратной связи contact.html настоящая, с нее могут приходить письма, от спама норм защищена.

Желательно делать не больше 50000 ключевиков на дор, если больше - sitemap.xml будет невалидным и тормозить.

Подробно тут Autodor.wmsn скачать

Добавить комментарий

Автору будет очень приятно узнать обратную связь о своей новости.

Кликните на изображение чтобы обновить код, если он неразборчив

Комментариев 5

Гость KirstenStubbs83
Гость KirstenStubbs83 26 мая 2017 22:30
Howdy! Do you know if they make any plugins to assist with Search Engine Optimization? I'm trying to get my blog to rank for some targeted keywords but I'm not seeing very good success. If you know of any please share. Many thanks!
Гость ErikAlger654702
Гость ErikAlger654702 25 июля 2017 02:19
An impressive share! I have just forwarded this onto a co-worker who has been conducting a little homework on this. And he actually bought me dinner because I stumbled upon it for him... lol. So allow me to reword this.... Thanks for the meal!! But yeah, thanks for spending some time to discuss this subject here on your internet site.
ChanelHelms324
ChanelHelms324 20 сентября 2017 06:16
I'm amazed, I must say. Rarely do I encounter a blog that's both educative and interesting, and let me tell you, you have hit the nail on the head. The issue is something that too few folks are speaking intelligently about. I'm very happy that I came across this in my search for something relating to this.

Howdy! This is my first visit to your blog! We are a team of volunteers and starting a new project in a community in the same niche. Your blog provided us valuable information to work on. You have done a wonderful job!
VernonBaumgardne
VernonBaumgardne 24 сентября 2017 06:48
Post writing is also a excitement, if you be familiar with after that you can write or else it is difficult to write.
Гость ThurmanRml
Гость ThurmanRml 24 сентября 2017 12:48
Hi I am so excited I found your website, I really found you by error, while I was searching on Bing for something else, Anyhow I am here now and would just like to say many thanks for a tremendous post and a all round enjoyable blog (I also love the theme/design), I don’t have time to browse it all at the moment but I have bookmarked it and also added your RSS feeds, so when I have time I will be back to read a lot more, Please do keep up the excellent work.