форум web-разработчиков

FDE Grabber => FAQ - ЧАсто задаваемые ВОпросы => Тема начата: kuvshinov_v от Ноябрь 02, 2013, 14:15:31

Название: дублируется публикация новости как победить???
Отправлено: kuvshinov_v от Ноябрь 02, 2013, 14:15:31
Доброго времени суток!
почемуто происходит такая тема: новость грабится отлично, сохраняется , но публикуется два раза...  и на сайте естественно появляется две одинаковых новости подряд, причем какие то новости публикуются по одной а какието по 2 принцип по которому так происходит я не так и понял.
почитал тут в форуме,  было написано про дубли статей и как бороться с ними (говорилось что при удалении статей они потом дублируются)  но я специально решил проверить, удалил новости с сайта, почистил базу граббера (сделал все с чистого листа так сказать) и все равно ...  несколько новостей по 2 штуки несколько по одной...
причем это видно в окне ЛОГА СОБЫТИЙ, там написано что сохранена статья а потом опубликована именно два раза... как вариант могу предположить что во время того как крон запускает один скрипт сохранения статей, кроном также запускается скрипт публикации, может что то там не успевает сохраняться или что то еще??? может такое быть???   как ето победить ????

может есть способ контроля публикаций???  чтобы опубликованные уже не публиковал поновой????

Заранее спасибо за ответ!!!   
Название: Re: дублируется публикация новости как победить???
Отправлено: Stanislav от Ноябрь 06, 2013, 17:55:29
скорее всего вы запускаете одновременно по два раза публикацию

у вас используется удалённая публикация? - если да, то скорее всего время соединения с удалённым сервером очень долгое и, возможно не окончив предыдущую публикацию запускаете следующую
Поэтому есть простое решение проблемы - запускать кронтаб публикации реже. Раз эта проблема возникла, то скорее всего вы публикуете вручную (если бы публикация шла автоматическая, то статьи бы публиковались по серверному крону с интервалом не менее минуты, а за минуту,  теоретически, любая статья должна опубликоваться) и для решения проблемы надо зайти в настройки граббера, во вкладку "ручной крон" и указать больший интервал запуска кронтаба публикации, например 50000 (в миллисекундах, соответствует 50 секундам)

Кроме того, раз статьи по какой-то причине у вас публикуются медленно, то желательно выставить как можно меньший лимит публикуемых за раз статей "Максимальный лимит публикуемых за раз статей в CMS", например 1 (в настройках граббера, вкладка "граббинг")

Эти простые действия помогут решить проблему

PS: Вопросы лучше задавать не через форум, а с помощью формы обратной связи: http://fde-cms.ru/do/feedback/ - так бы Вы получили ответ гораздо быстрее
Название: Re: дублируется публикация новости как победить???
Отправлено: kuvshinov_v от Ноябрь 06, 2013, 18:23:38
Спасибо за рекомендации... !
Дело в том что у меня используется автоматический крон и время исполнения крона выставлено таким образом:
каждые 9 минут - crontab_feeds.php
каждые 15 минут - crontab_articles.php
каждые 19 минут - crontab_publicate.php

специально разбег большой, чтобы исполнение их не пересекалось между собой, но в окне лога событий увидел сегодня:  Распаршен источник: ... - это происходит каждые 5 минут, хотя крон установлен на 9???  в чем может быть проблема???

Публикацию за раз поставил 1, посмотрим как будет работать .
Название: Re: дублируется публикация новости как победить???
Отправлено: Stanislav от Ноябрь 06, 2013, 18:35:17
Дело в том что у меня используется автоматический крон и время исполнения крона выставлено таким образом:
каждые 9 минут - crontab_feeds.php
каждые 15 минут - crontab_articles.php
каждые 19 минут - crontab_publicate.php
специально разбег большой, чтобы исполнение их не пересекалось между собой, но в окне лога событий увидел сегодня: 

пересечение запусков кронтабов не влияет на качество работы, на качество работы может повлиять только одновременный запуск публикации (в будущих версиях мы решим эту проблему)

специально разбег большой, чтобы исполнение их не пересекалось между собой, но в окне лога событий увидел сегодня:  Распаршен источник: ... - это происходит каждые 5 минут, хотя крон установлен на 9???  в чем может быть проблема???

Если по логу видно, что кронтаб систематически, с ровным периодом запускается каждые 5 минут, то значит так и есть, вероятно где-то выставлен этот запуск. Может быть одни запускаете из под рута, например, а другие из под ещё какого-то пользователя - вот и выходит, что запускается чаще...
Название: Re: дублируется публикация новости как победить???
Отправлено: kuvshinov_v от Ноябрь 06, 2013, 18:47:39
Да действительно, настроен крон из под ROOT , и из под пользователя тоже остался крон...  когда я настраивал его и экспериментировал (он его как раз и запускал каждые 5 минут).

Спасибо, далее буду вниметельнее :))
Название: Re: дублируется публикация новости как победить???
Отправлено: christinaostina от Май 07, 2021, 16:18:42
У программистов появилась услуга по устранению дублей)