Обсуждение Dle parser pro - парсинг новостей для dle с ai-рерайтом

[DLEMod]

DLE Parser PRO — это комплексное решение корпоративного уровня для владельцев веб-проектов на DataLife Engine, которым необходима полная автоматизация процесса наполнения сайта качественным контентом. Модуль представляет собой мощную систему извлечения, обработки и публикации материалов из внешних источников с применением передовых технологий искусственного интеллекта.

HTML Parser — классический веб-скрейпинг

• Извлечение контента непосредственно из HTML-структуры веб-страниц
• Поддержка сложной пагинации с настраиваемыми паттернами навигации
• Автоматическое определение структуры сайта и CMS
• Точное извлечение через CSS-селекторы и XPath-выражения
• Обработка динамического контента и AJAX-загрузок
• Поддержка двунаправленного парсинга (от новых к старым / от старых к новым)
• Настройка диапазона страниц с автоматическим отслеживанием прогресса

RSS/Atom Parser — работа с лентами новостей

• Нативная поддержка RSS 2.0, RSS 1.0 (RDF) и Atom 1.0 форматов
• Интеллектуальное извлечение изображений из множественных источников (enclosure, media:content, media:thumbnail, media:group)
• Автоматическая обработка namespaces (media, content, dc, atom)
• Извлечение метаданных: автор, дата публикации, категории
• Поддержка полного и краткого контента (content:encoded, description)
• Фильтрация и очистка RSS-контента от рекламных блоков

Hybrid Parser — оптимальное сочетание RSS и HTML

• Использование RSS для получения списка актуальных материалов
• Парсинг полного контента с HTML-версии страницы
• Приоритетная система выбора данных (HTML превалирует над RSS)
• Объединение метаданных из обоих источников
• Оптимальная скорость работы при максимальном качестве извлечения
• Автоматическое определение наиболее полного источника изображений

Интеллектуальная система обнаружения CMS

• Автоматическое распознавание 18+ популярных CMS и фреймворков
• Поддерживаемые платформы: WordPress, Joomla, Drupal, 1C-Bitrix, DLE, MODX, OpenCart
• Платформы блогов: Ghost, Medium, Blogger, Tilda, Webflow
• jаvascript-фреймворки: Next.js, Gatsby, Hugo, Jekyll
• E-commerce: Shopify, WooCommerce, Magento
• Анализ HTTP-заголовков и meta-тегов для точного определения
• Автоматическое предложение оптимальных CSS-селекторов для каждой CMS

AI-рерайтинг через DeepSeek API

• Интеграция с DeepSeek-V3
• Chunk-based обработка: разбиение длинных статей на оптимальные фрагменты
• Сохранение HTML-структуры при рерайте (теги, форматирование, списки)
• Трёхуровневая обработка: заголовки, краткое описание, полный текст
• Настраиваемые промпты для каждого типа контента
• Автоматическое удаление артефактов AI (code blocks, пояснения)
• Rate limiting и обработка ошибок API с автоматическими повторами
• Экономичность: стоимость обработки в 20 раз ниже GPT-4

Профессиональная обработка изображений

• Автоматическое скачивание изображений с поддержкой HTTPS и редиректов
• Конвертация в WebP для экономии 30-50% дискового пространства
• Интеллектуальный resize с сохранением пропорций (GD/Imagick)
• Поддержка множественных форматов: JPEG, PNG, GIF, WebP
• Сохранение главного изображения в xfield с метаданными
• Замена всех изображений в контенте на локальные копии
• Автоматическая генерация уникальных имён файлов
• Организация файловой структуры по датам (YYYY-MM)

Round-Robin планировщик задач

• Равномерное распределение нагрузки между всеми активными источниками
• Автоматическая ротация источников для сбалансированного импорта
• Отслеживание прогресса для каждого источника индивидуально
• Настройка количества постов за одно выполнение CRON
• Защита CRON-эндпоинта через Secret Key (32-символьный токен)
• Детальное логирование всех операций парсинга
• Поддержка как старых (engine/ajax/controller.php), так и новых (index.php?controller=ajax) версий DLE

Интеллектуальный маппинг категорий

• Автоматический сбор категорий из RSS-лент и HTML-структуры
• Пакетная обработка статей для извлечения всех уникальных категорий
• Визуальный интерфейс для сопоставления категорий источника с категориями DLE
• Поддержка иерархических категорий DLE
• Категория по умолчанию для немаппированных материалов
• Множественные категории для одного материала

Система предотвращения дубликатов

• Проверка существования материала по URL источника в xfields
• Отслеживание последней обработанной позиции (страница/URL)
• Автоматический пропуск уже импортированных материалов
• Сохранение прогресса в БД для каждого источника

Стабильность работы

• Автоматическое восстановление соединения с БД при таймаутах
• Обработка ошибок cURL с детальным логированием
• Поддержка SSL-сертификатов и обход блокировок
• User-Agent rotation для имитации браузерных запросов
• Timeout-контроль для долгих операций

Настройка пагинации и навигации

• Поддержка стандартных паттернов: /page/{page}/, ?page={page}, /p/{page}, /offset/{page}
• Кастомные паттерны для нестандартных сайтов
• Query-параметры и сложные URL-схемы
• Автоматическое построение URL следующей страницы
• Настройка диапазона страниц (start_page, end_page)
• Указание количества постов на странице для точного отслеживания

Гибкая настройка селекторов

• Поддержка CSS-селекторов любой сложности (классы, ID, атрибуты, псевдоклассы)
• XPath-совместимость для сложных структур
• Селекторы исключения для удаления рекламы и мусора
• Встроенный тестер с предварительным просмотром результатов
• Валидация селекторов перед сохранением

Спойлер: Видео-превью

Модуль «DLE Parser PRO» доступен для покупки на сайте dlemod.ru/parser по различным тарифам.

• 
  
  • Модуль предоставляется с чистой лицензией без привязки к домену.
  • Стоимость начинается от 6000 рублей (в зависимости от типа лицензии).
  • После покупки вы получаете полный исходный код модуля, готовый к установке и использованию.
  • Для получения дополнительной информации, свяжитесь с нами: t.me/snh001.

 

[LMakc]

Самый лучший и простой это ParserRSS

 

[DLEMod]

Модуль обновлён до версии 2.0.0!
Приобрести модуль можно по ссылке: dlemod.ru/parser

Что нового:

• Добавлена поддержка Proxy (HTTP/SOCKS5) для обхода блокировок и смены IP
• Интеграция FlareSolverr для автоматического обхода Cloudflare защиты
• Гибкая настройка очистки контента из админ-панели (удаление scripts, styles, links, атрибутов)
• Улучшенная архитектура
• Исправлены проблемы с загрузкой страниц, защищенных Cloudflare
• Устранены конфликты имен функций между разными модулями

 

[DLEMod]

Модуль обновлён до версии 2.1.0!
Приобрести модуль можно по ссылке: dlemod.ru/go/parser/

Что нового:

• Добавлена поддержка DLE 19.1
• Теперь парсер умеет автоматически скачивать с сайта-донора файлы, видео, изображения и целые галереи — и сохранять всё это в дополнительные поля вашего сайта. Торренты, обложки, скриншоты, локальные видео — всё подтягивается само
• Можно сохранять в дополнительное поле любой текстовый блок со страницы — например, таблицу характеристик или описание, прямо с форматированием
• При парсинге RSS лента теперь старается взять обложку статьи с самой страницы (более качественную), а не из RSS-потока
• В раздел «Помощь» добавлено подробное руководство по дополнительным полям — с примерами для каждого типа данных (файл, фото, видео, галерея, текст) и советами по частым ошибкам
• Найдены и исправлены некоторые мелкие баги.
  

 

[DLEMod]

Модуль обновлён до версии 2.1.3!
Приобрести модуль можно по ссылке: dlemod.ru/go/parser/

Что нового:

• Найдены и исправлены некоторые мелкие баги.

 

[DLEMod]

Модуль обновлён до версии 3.0.0!
Приобрести модуль можно по ссылке: dlemod.ru/go/parser/

Что нового:

• Добавлена полноценная интеграция с DLE Multi-Language: автоматическое сохранение переводов в title_{iso}, short_story_{iso}, full_story_{iso} и tags_{iso}.
• Добавлен новый режим парсинга Sitemap с поддержкой больших sitemap-файлов, вложенных sitemap index и кеширования списка URL.
• Добавлен реальный dry-run режим тестирования: проверка теперь выполняет симуляцию полного парсинга без записи в базу данных и показывает итоговый publish payload.
• Добавлены структурированные логи парсинга со стадиями обработки, статусами, временем выполнения, source_id, item_url и информацией об ошибках.
• Добавлен мониторинг состояния источников: health status, fail streak, duplicate rate, average fetch/run time и время последнего успешного запуска.
• Полностью переработана логика HTML-парсинга списка материалов: теперь обрабатываются все найденные контейнеры, а не только первый matched node.
• HTML progress переведен на URL/cursor модель вместо count-based прогресса, что снижает риск пропуска новых материалов.
• Исправлена стратегия cursor для RSS, Hybrid и Sitemap в режиме new_to_old, чтобы новые материалы в верхней части источника не пропускались.
• Улучшен Hybrid режим: добавлена обработка ошибок по материалам, advancement cursor при сбоях и защита от бесконечного застревания на одном item.
• Добавлена поддержка HTML category selector в Hybrid режиме и политика объединения категорий RSS/HTML.
• Усилен механизм поиска дублей: добавлена нормализация URL, GUID/external id, fingerprint заголовка и hash контента.
• Улучшена нормализация URL перед проверкой дублей: учитываются trailing slash, fragment, tracking-параметры и различия в формате ссылок.
• Усилен CSS selector engine: добавлена поддержка групп, комбинаторов, атрибутных селекторов и ряда pseudo-селекторов.
• Добавлены предупреждения о поддерживаемом subset CSS-селекторов в help-разделе и test result.
• Улучшена AI-обработка HTML: сохранение структуры тегов, защита media/code/pre блоков, повторная проверка неполных переводов и более стабильная работа с длинным контентом.
• Улучшена генерация и перевод тегов, включая fallback-механизм, если AI не вернул корректный результат.
• Исправлено сохранение изображений при отключенном reformat: теперь сохраняется реальный исходный формат файла.
• Исправлены случаи, когда AI мог вернуть ссылки или HTML, не соответствующие настройкам очистки контента.
• Исправлена обработка figure/img блоков: изображения корректно извлекаются, очищаются и могут быть загружены на сервер.
• Исправлены случаи, когда code/pre блоки могли быть пропущены или удалены во время AI-обработки.
• Исправлены проблемы с незакрытыми ul/ol/li тегами в AI-переводах.
• Исправлена совместимость DB reconnect check с PHP 8 и mysqli.
• Найдены и исправлены другие мелкие ошибки.