Удаляем похожие новости (дубли) на дле

makdem · 7 ноя 2017

На своём сайте, работающем на CMS DLE, столкнулся с проблемой дубликатов новостей.

Сначала руками удалял, потом подумал, что это долго и нудно. Стал искать выход по автоматическому удалению новостей, у которых совпадают названия в TITLE. В поиске предлагают всякое устаревшее гомно для DLE. Все это сомнительно, вместе с ними в подарок можно получить бэкдор, потерять посетителей из-за падения трафика.

Короче говоря, нашел выход. Весьма рабочая инструкция! Мне, по крайней мере, помогла.
Заходим в PhpMyAdmin. Кто забыл логин и пароль базы данных DLE, может посмотреть их через файл менеджер в файле dbconfig.php. Этот файл по этому адресу лежит относительно корня:

/engine/data/dbconfig.php

В PhpMyAdmin выбираете вашу базу данных. Обязательно сделайте резервную копию базы и сохраните ее, мало ли что может случиться!!! Затем переходите на вкладку SQL.

В поле вводите запрос:

ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title);

ALTER TABLE dle_post DROP INDEX titleindex;

Получаете ответ: SQL-запрос был выполнен успешно.

Вот и все )) всём удачи!

PS: У меня новости ставятся так:- Пассажиры 2009, то есть приставка к новости по году фильма и удалить Пассажиры 2016 и тд не возможно,если у вас новости стоят только лишь по названию то да можно удалить !

byroot · 7 ноя 2017

В результате фильмы с одинаковым названием, если в заголовке введено только название, будут удалены и оставлен только один первый встретившийся материал.

makdem · 7 ноя 2017

Согласен,есть небольшой риск потерять пару новостей ,но если как у меня за сотни дублей было то тем в помощь)

madpitbull · 7 ноя 2017

Есть еще вот такой код для чистки дубликатов:

Код:

<?PHP
//                          COPYRIGHT FDSTAR.NET
@error_reporting(E_ALL ^ E_NOTICE);
@ini_set('display_errors', true);
@ini_set('html_errors', false);
@ini_set('error_reporting', E_ALL ^ E_NOTICE);

define('DATALIFEENGINE', true);

$member_id = FALSE;
$is_logged = FALSE;
$content = '';

define('ROOT_DIR', dirname (__FILE__));
define('ENGINE_DIR', ROOT_DIR.'/engine');
define('DROP_IMAGES', false);


@include (ENGINE_DIR.'/data/config.php');
if (!$config['version_id']) die("Datalife Engine not installed. Please run install.php");
require_once ENGINE_DIR.'/classes/mysql.php';
require_once ENGINE_DIR.'/data/dbconfig.php';

$sql = "SELECT *,count(*) as `post_counter`
        FROM `". PREFIX. "_post`
        GROUP BY `alt_name`
        ORDER BY `post_counter` DESC";
$res = $db->query($sql);
$row = $db->get_row($res);

if($row && count($row))
{
    if($row['post_counter']<=1)
    {
        die('COMPLETE !');
    }
    if(DROP_IMAGES)
    {
        $sql= "SELECT *
                FROM `". PREFIX. "_images`
                WHERE `news_id`='{$row['id']}' ";
   
        $res2 = $db->query($sql);
        while($row2 = $db->get_row($res2))
        {
            $images_array = split("\|\|\|", $row2['images']);
            foreach($images_array as $image)
            {
                if($image = trim($image))
                {
                    $image = ltrim($image, '/');
                    if(preg_match('#([0-9]{4}\-[0-9]{2}/)(.*)$#', $image, $match))
                    {
                        $img_date_dir = $match[1];
                        $img_name = basename($match[2]);
                       
                        $img_thumb_address = ROOT_DIR. '/uploads/posts/'. $img_date_dir. 'thumbs/'. $img_name;
                        $img_address = ROOT_DIR. '/uploads/posts/'. $img_date_dir. $img_name;
   
                        @$img_thumb_address_delete = (int)unlink($img_thumb_address);
                        @$img_address_delete = (int)unlink($img_address);
                       
                        $content.= "{$img_address} {$img_address_delete} <br /> {$img_thumb_address} {$img_thumb_address_delete}<hr />";
                    }
                    else
                    {
                        $content.= '<br />NO IMAGES FOUND<br />';
                    }
                }
            }
            $sql = "DELETE FROM `". PREFIX. "_images` WHERE `id`='{$row2['id']}'";
            $db->query($sql);
            $content.= $sql. "<hr />";
        }

    }  
   
    $sql= "DELETE FROM `". PREFIX. "_post` WHERE `id`='{$row['id']}' ";
    $db->query($sql);
    $content.= $sql. "<hr />";
}


echo <<<HTML

<html>
    <head>

<script language="JavaScript" DEFER><!--
function reload_page()
{
         document.location.reload();
}
--></script>

    </head>
    <body onload="reload_page();">
          {$content}  
    </body>
</html>

HTML;

?>

Создать php файл с вышеуказанным кодом, закинуть в корневую директорию сайта и запустить.
dle найти дубли новостей
Спасибо за код @Gameer, очень он мне был необходим когда то.

Karambole · 7 ноя 2017

А есть какой-то метод, чтобы при добавлении новостей (если будет дублироваться заголовок) всплывала предупреждающая подсказка или не публиковалась новость, если уже есть такой "H1" ???
Просто не хочется каждый раз при добавлении новостей нажимать на кнопку "Найти похожие новости".

Karambole · 8 ноя 2017

Так что, никто не знает?

Есть какая-то настройка в ДЛЕ, чтобы при добавлении новостей, если такой заголовок уже есть - то новость не публиковалась или всплывала подсказка типа "такая новость уже есть" и т.д. ???

(нажимать на кнопку "Найти похожие новости" при публикации - не вариант, всё время забываю, да и долго это)

byroot · 8 ноя 2017

Karambole Автоматический вывод похожих новостей

uskino · 8 ноя 2017

Есть проще гораздо вариант, точнее не проще, а надежнее. Прогоняешь сайт пауком как-нибудь по типу нетпикспайдера, выгружаешь список страниц с дублями тайтлов и еще чего угодно. И ручками уже как надо правишь или удаляешь.

Karambole · 8 ноя 2017

byroot сказал(а): ↑

Karambole Автоматический вывод похожих новостей
Нажмите, чтобы раскрыть...

Чёт не получился у меня этот вариант:
По инструкции в файле engine/inc/addnews.php кнопку "Найти похожие новости" нашёл и удалил.
Но потом нужно:

... и вешаем событие на поле (событие onclick только на поле меняем на onchange)
Нажмите, чтобы раскрыть...

Какое событие, куда его вешать? В комментах тоже задавали этот вопрос, но он так и остался без ответа ещё с 2012-го года.

Вобщем придётся приучивать себя нажимать на кнопку "Найти похожие новости" при добавлении новостей (((

byroot · 8 ноя 2017

Karambole найти
HTML:
<input type="text" style="width:99%;max-width:437px;" name="title" id="title">&nbsp;<button onclick="find_relates(); return false;" class="btn btn-sm btn-black">{$lang['b_find_related']}</button>
и заменить на
HTML:
<input type="text" style="width:99%;max-width:437px;" name="title" id="title" onchange="find_relates();">
Когда курсор будет не в поле заголовка новости - будет выполнен автоматический поиск новостей. Проверено на ДЛЕ 11.3.

Karambole сказал(а): ↑

Вобщем придётся приучивать себя нажимать на кнопку "Найти похожие новости" при добавлении новостей (((
Нажмите, чтобы раскрыть...

но вообще лучше приучить себя пользоваться кнопкой: всего один раз нажать её надо и никаких проблем

Karambole · 8 ноя 2017

так вот куда этот "onchange" надо было вставить.
byroot, Спасибо Огромное! теперь заработало как надо ))

ArtAlf · 29 авг 2019

Спасибо отличный запрос удаляет то что нужно ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title);
ALTER TABLE dle_post DROP INDEX titleindex

Boba · 23 апр 2020

Спасибо работает

nent · 2 май 2020

не пашет

ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title)

MySQL said:

#1071 - Specified key was too long; max key length is 1000 bytes

Wampir4ik · 2 сен 2020

makdem сказал(а): ↑

На своём сайте, работающем на CMS DLE, столкнулся с проблемой дубликатов новостей.

Сначала руками удалял, потом подумал, что это долго и нудно. Стал искать выход по автоматическому удалению новостей, у которых совпадают названия в TITLE. В поиске предлагают всякое устаревшее гомно для DLE. Все это сомнительно, вместе с ними в подарок можно получить бэкдор, потерять посетителей из-за падения трафика.

Короче говоря, нашел выход. Весьма рабочая инструкция! Мне, по крайней мере, помогла.
Заходим в PhpMyAdmin. Кто забыл логин и пароль базы данных DLE, может посмотреть их через файл менеджер в файле dbconfig.php. Этот файл по этому адресу лежит относительно корня:

/engine/data/dbconfig.php

В PhpMyAdmin выбираете вашу базу данных. Обязательно сделайте резервную копию базы и сохраните ее, мало ли что может случиться!!! Затем переходите на вкладку SQL.

В поле вводите запрос:

ALTER IGNORE TABLE dle_post ADD UNIQUE INDEX titleindex (title);

ALTER TABLE dle_post DROP INDEX titleindex;

Получаете ответ: SQL-запрос был выполнен успешно.

Вот и все )) всём удачи!

PS: У меня новости ставятся так:- Пассажиры 2009, то есть приставка к новости по году фильма и удалить Пассажиры 2016 и тд не возможно,если у вас новости стоят только лишь по названию то да можно удалить !
Нажмите, чтобы раскрыть...

Не работает этот метод на dle 14

mikim · 3 сен 2020

Удаляю руками, сорян если метод уже был.
1. Захожу в базу phpmyadmin
2. Пишу
Код:
SELECT * FROM dle_post
WHERE metatitle IN
    (SELECT metatitle FROM dle_post GROUP BY metatitle HAVING COUNT(metatitle) > 1)
ORDER BY metatitle
В результате выводит по две одинаковые записи. Сравниваю одно ли это и то же... если да, то каждую вторую, увы, но руками, удаляю.
Ревизию провожу раз в месяц, в принципе запары нет. Была только в первый раз.

OrenZeN · 22 сен 2020

А есть вариант допустим удаление дублей по доп полям? допустим по id кинопоиск?

Andrij · 3 фев 2022

OrenZeN сказал(а): ↑

А есть вариант допустим удаление дублей по доп полям? допустим по id кинопоиск?
Нажмите, чтобы раскрыть...

Нашел способ? Вот тоже сегодня случайно увидел дубль, и подумал что странное что нету какого то хака для кинопоиск ид. Может есть у кого? Удаление дублей по кп.ид или что то в этом роде?

Constantine174 · 4 фев 2022

У меня больше 100 новостей дублей. В ручную это удалять, ужас.

Boba · 4 фев 2022

Constantine174 сказал(а): ↑

У меня больше 100 новостей дублей. В ручную это удалять, ужас.
Нажмите, чтобы раскрыть...

Напишу простенький модуль как нибуть для отслеживание дублей

ZeroCoolPro.Biz

Удаляем похожие новости (дубли) на дле

makdem Бывалый

byroot
Забанен

makdem Бывалый

madpitbull Бывалый

Karambole
PRO Users

Karambole
PRO Users

byroot
Забанен

uskino
PRO Users

Karambole
PRO Users

byroot
Забанен

Karambole
PRO Users

ArtAlf Посетитель

Boba Бывалый

nent Новичок

Wampir4ik Посетитель

mikim Зелёный

OrenZeN Зелёный

Andrij Бывалый

Constantine174
PRO Users

Boba Бывалый

Вопрос? Дубли страниц

Вопрос? Проблема в яв, дубли описаний

Закрыть новости в robots.txt

Вопрос? Закрыты новости

Вопрос? Опрос в тексте новости

Быстрый поиск

Удаляем похожие новости (дубли) на дле

makdem Бывалый

byroot Забанен

makdem Бывалый

madpitbull Бывалый

Karambole PRO Users

Karambole PRO Users

byroot Забанен

uskino PRO Users

Karambole PRO Users

byroot Забанен

Karambole PRO Users

ArtAlf Посетитель

Boba Бывалый

nent Новичок

Wampir4ik Посетитель

mikim Зелёный

OrenZeN Зелёный

Andrij Бывалый

Constantine174 PRO Users

Boba Бывалый

Вопрос? Дубли страниц

Вопрос? Проблема в яв, дубли описаний

Закрыть новости в robots.txt

Вопрос? Закрыты новости

Вопрос? Опрос в тексте новости

Быстрый поиск

Быстрый поиск

byroot
Забанен

Karambole
PRO Users

Karambole
PRO Users

byroot
Забанен

uskino
PRO Users

Karambole
PRO Users

byroot
Забанен

Karambole
PRO Users

Constantine174
PRO Users