форум web-разработчиков

FDE Grabber => Описание движка => Тема начата: FD от Июль 06, 2008, 02:51:22

Название: Описание движка rss импорта новостей FDE Grabber
Отправлено: FD от Июль 06, 2008, 02:51:22
Если вы когда-либо занимались публикацией новостей на своём сайте, то должны понимать, что дело это кропотливое и требует много времени.
Задумайтесь теперь над тем, чтобы больше не заниматься рутинной публикацией, а продвигать сайт! повышать его показатели! и делать многое другое для вашего проекта, на что ранее не хватало времени!
Когда мне говорят что цена слишком высока и это не окупится, то я просто привожу цифры.
Сколько у вас времени уходит на новость? вот возьмём одну стандартную новость! какую-нибудь программу, которую вы хотите выложить.
Вы пойдёте на ближайший варезник (сайт, на котором "всё есть"), скопируете текст, ссылки и адрес картинки.
В среднем на новость уходит около 3-х минут, это не много.
Теперь возьмем сотню таких новостей: 100х3=5 часов, неплохо, да?
Но ведь ваш сайт с одними только новостями не далеко уйдёт!
Добавить его в поисковики, устроить должную пиар компанию - это всё требует больших усилий и много времени!
Я предлагаю вам забыть о том, что такое публикация новостей - пусть этим занимаются другие!
Если у других, хороший новостной, софтверный или музыкальный портал окупает затраты, то что помешает вам?
Занимайтесь пиаром своего сайта! раскручивайте свой проект и получайте деньги от рекламы! проводите конкурсы! заводите новые знакомства среди ваших посетителей! и в конце концов, освободите пять часов своего времени от рутины!
Преимущества моего проекта от других заключается в том, что он работает бесперебойно, а настройку я провожу лично!

Что вы будете иметь после покупки?
- RSS/Atom клиент-граббер, HTML парсер FDE Grabber 3.5 (импорт новостей работает не только с RSS/Atom источников, но и с обычных HTML страниц со списком новостей) 
- помощь в настройке
- синонимайзер, который встроен в ядро системы 
- 300 новостей в день! как? да легко! список сайтов может быть неограниченным! введёте 1000 - получите новости со всей тысячи!

FDE Grabber - это не модуль, а отдельная система, которая устанавливается рядом с вашей CMS.

И так, FDE Grabber:

- это RSS/Atom, а теперь ещё и с обычных HTML списков новостей граббинг кратких и полных новостей, с возможностью выкачки картинок и автоматического запуска из планировщика заданий CRON
- возможность логина на сайт, с которого идёт граббинг (например, для чтения скрытого от гостей текста)
- самая совершенная система настройки шаблонов для парсинга (1 - простая, без регулярных выражений; 2 - с использованием регулярных выражений)
- разнообразные фильтры и замены слов (1 - простые, без регулярных выражений; 2 - с использованием регулярных выражений)
- автоматическое исправление закодированных DLE ссылок
- возможность создания превью для картинок
- возможность наложения на картинки вотермарков
- возможность предварительного тестирования правильности настроек
- встроенный синонимайзер (в комплекте 2 базы: русскоязычная и англоязычная)
- редактирование синонимов и стоп-слов через администраторский интерфейс
- экспорт/импорт настроек граббера
- экспорт/импорт баз синонимайзера
- корректная работа с известными кодировками
- возможность работы через прокси
- ведение лога событий
- поддержка фейковых пользователей и комментариев
- возможность парсить ленты которые работают через FeedBurner
- возможность парсить ленты, получать картинки, сохранять статьи, обходя редиректы
- возможность выкачивания полностью всех новостей с сайта, в случае использования HTML источников (это достигается путём задействования обхода пейджера:
http://site.com/page/{page}/, где {page} будет принимать значения номеров страниц пейджера сайта с указанным интервалом)
- возможность обхода по параметру, в случае использования HTML источников: http://site.com/param/{param}/, где {param} будет принимать указанные значения
- корректная работа с тегом base
- возможность использовать собственные хаки (микропрограммы для обработки контента). На данный момент, в стандартный дистрибутив входит порядка 10 хаков
- отдельная настройка размеров изображений для краткой и полной новости
- возможность не только уменьшать картинки, но и производить операцию обрезки (crop image)
- мультиязычность админки (в данный момент доступны языки: русский, английский; язык сменяется через конфигурационный файл граббера)
- разграничение прав пользователей в админке граббера. Возможность назначать пользователям группу. Возможность создавать новые группы, с указанием прав доступа
- возможность устанавливать лимит публикуемых статей за день
- возможность автоматического клонирования категорий и источников
- возможность автоматического определения категории, к которой относится данная статья на основе обработанных стеммером ключевых слов
- возможность распознавания русских дат
- возможность указания нескольких шаблонов для парсинга через тег логического ИЛИ: {or}
- возможность автоматического переименования получаемых картинок путём транслитерации заголовка статьи для получения псевдо SEF (ЧПУ) адресов
- возможность настройки расположения вотермарка: левый верхний угол/правый верхний угол/левый нижний угол/ правый нижний угол/по центру/случайно из перечисленных вариантов
- возможность указания случайной флуктуации дат публикации статей
- разработка, доработка и поддержка продукта, с учётом пожеланий клиентов, оплативших лицензию
- расширяемость
- ваше удобство и комфорт

Мы позаботились о том, чтобы вы имели возможность ознакомиться с функционалом на шего продукта. Для вас доступно онлайн демо граббера, расположенное по адресу:

http://fdegrabber.demo.fdstar.net/
логин: admin
пароль: 123456

Кроме того, мы открыли блог разработчиков, посвящённый системе импорта новостей FDE Grabber. Благодаря этому, вы сможете ознакомиться с возможностями системы лучше.
Адрес блога: http://fde-grabber.net.ru/
Также, существует официальный сайт, посвящённый нашей системе: http://fde-grabber.ru/

Хотя большинство клиентов используют нашу систему для импорта новостей именно с сайтов, работающих на DLE - было бы неправильно полагать, что граббер способен получать новости только с таких сайтов.

Граббер может получать новости с любых сайтов, вещающих RSS/Atom новости и/или имеющих HTML ленты новостей

Требования к хостингу:
- CRON
- PHP 4 и выше
- библиотеки PHP: iconv, curl, xml, gd

Фактически наш граббер это:
- RSS Grabber (http://fdstar.net/fde-grabber.html)
- Atom Grabber (http://fdstar.net/fde-grabber.html)
- HTML Grabber (http://fdstar.net/fde-grabber.html)
3 в одном  :)


Граббер работает с такими движками (CMS, публикует в них полученные новости), как: DLE (Data Life Engine), Strawberry, 2z-project, NG, Wordpress, Joomla, E107, Drupal, Danneo, TYPO3, NetCat, Slaed, FDE *
Если в этом списке не представлен движок вашего сайта, то возможна доработка нашего граббера для работы с ним (бесплатно, при условии, что движок имеет массовое распространение).

* Для каждого движка приобретается отдельная лицензия

Текущую стоимость нашей системы уточняйте на странице http://fdstar.net/fde-grabber.html
При покупке граббера, по вашему желанию, возможна бесплатная установка и первичная настройка.

Способы оплаты: с помощью системы электронных платежей WebMoney (проверить наш аттестат можно здесь: http://passport.webmoney.ru/asp/certview.asp?wmid=424144152559) / банковским переводом на пластиковую карточку / с помощью системы денежных переводов Western Union / Ваш вариант

Для предоставления бесплатной демо версии движка импорта новостей (на вашем сервере должна быть включена поддержка php функции eval) или предоставления доступа к online демо (http://fdegrabber.demo.fdstar.net/), обращайтесь через форму обратной связи: http://fdstar.net/questions.html или по e-mail: fde-grabber[at-the]fdstar.net; В своём запросе, обязательно, указывайте для работы с какой CMS


Примеры сайтов, которые обновляются нашей системой импорта новостей:

http://warezed.ru/ (полный автомат по крону)

Общие вопросы по грабберу можно задавать через эту форму: http://fdstar.net/questions.html

Вас проконсультируют в любой рабочий день, с 9 до 16 часов, по украинскому времени (GMT +02:00); кроме выходных: СБ, ВС, а также официальных праздников
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: demon от Сентябрь 20, 2008, 21:16:27
возможно ли прикрутить синомайзер к грабингу?так как сейчас яндекс меняет алгоритм индексации и не хотелосьбы чтоб сайт забанили.
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: FD от Сентябрь 28, 2008, 22:47:13
возможно ли прикрутить синомайзер к грабингу?так как сейчас яндекс меняет алгоритм индексации и не хотелосьбы чтоб сайт забанили.

сейчас на подходе 3 версия граббера с встроенным синонимайзером (в отличии от конкурентов, использующих текстовые файлы в качестве базы данных, наш использует базу MySQL), тестирования нашего синонимайзера показали очень высокую скорость его работы (обработка страницы с текстом ~100КБ при базе из 100 000 слов - около 0.7 секунды)
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: Cimus от Сентябрь 30, 2008, 07:44:47
Ну ладно... А отдельно сининимайзер сколько стоит?
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: FD от Октябрь 01, 2008, 05:35:16
отдельно не продаётся
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: lexander911 от Август 25, 2009, 20:11:09
Такой вопрос- как синонимизирует? На лету, при граббинге новостей, или надо потом каждую новость отдельно прогонять через синонимайзер?
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: FD от Август 26, 2009, 12:45:59
отдельно не нужно, синонимайзер отрабатывает на этапе получения полной статьи, синонимизируя при этом содержимое краткой, полной статьи, и (если отмечено в настройках) заголовка
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: vovchik от Сентябрь 09, 2012, 13:22:30
КУПИЛ а настроить под wordpress не могу
Название: Re: Описание движка rss импорта новостей FDE Grabber
Отправлено: Stanislav от Сентябрь 10, 2012, 18:19:58
КУПИЛ а настроить под wordpress не могу

Вы должны добавить сайт для публикации, указав в граббере тип движка "Wordpress" через раздел "сайты".
Посмотреть пример добавления сайта куда будут публиковаться полученные статьи можно здесь
http://fdegrabber.demo.fdstar.net/grabber-demo/index.php?act=sites&items_per_page=30&action=redact&id=2
логин admin
пароль 123456


Директорию wp-content/uploads/ вы должны создать с правами на запись заблаговременно перед публикацией.

При добавлении источника вы связываете с ним сайт куда будут публиковаться полученные статьи:
http://fdegrabber.demo.fdstar.net/grabber-demo/index.php?act=sites&items_per_page=30&action=redact&id=2
логин admin
пароль 123456


Параметр называется "Сайт"