Откуда данные и как часто обновляются

Все числа datool.ru — из открытых каналов MAX: мы регулярно читаем все публичные каналы и сохраняем их карточки, посты, просмотры и реакции. Здесь — что именно мы собираем, как часто обновляется каждый показатель, почему у крупного канала цифры свежее, чем у маленького, и чего мы не собираем никогда.

Что мы собираем

• Карточку канала — название, описание, аватар, ссылку, число подписчиков, отметки (например, метку A+ из MAX).
• Всю историю постов каждого публичного канала — с самого первого поста. Новый канал попадает к нам сразу со всей историей, а не только с того дня, как мы его нашли.
• Просмотры и реакции каждого поста.
• Ссылки и репосты между каналами — из них строятся упоминания, индекс цитируемости и похожие каналы.
• Картинки — уменьшенные копии (превью) для показа на сайте.

Новые каналы мы находим постоянно, в том числе по ссылкам и репостам в постах. Нет нужного канала — добавьте его сами: Добавить канал.

Как часто проверяем канал

Каждый канал мы регулярно проверяем: не изменилось ли число подписчиков и не вышло ли что-то новое. Чем крупнее канал, тем чаще:

Поправки к расписанию:

• канал подтверждён владельцем — проверяется раз в 2 минуты, независимо от размера;
• канал только что опубликовал пост — следующий час проверяется на ступень чаще: посты обычно выходят сериями;
• канал молчит больше 30 дней — проверяется на ступень реже;
• канал молчит больше 90 дней — проверяется раз в неделю.

Новые посты

Свои отдельные «часы» для чтения постов не нужны: как только проверка показала, что в канале появилось новое, мы сразу читаем новые посты. Поэтому пост появляется на сайте примерно через тот же промежуток, что указан в таблице выше: у крупного канала — через минуты, у маленького — через несколько часов.

Просмотры и реакции

• Просмотры постов обновляются, пока посту не больше 7 дней — именно в это время просмотры растут. У более старых постов число просмотров почти не меняется.
• Реакции перечитываются дважды: примерно через 3 часа после публикации (реакции набираются не сразу) и ещё раз через сутки.

Подписчики и дневная статистика

• Подписчики обновляются при каждой проверке канала, а в историю записывается не чаще раза в час на канал. На графиках по дням — число на конец дня по Москве.
• Дневная статистика (публикации, просмотры, реакции, реклама по дням) за сегодняшний день пересчитывается каждые 3 часа, а ночью — окончательно за последние дни.

Индексы и витрина

Картинки, видео и файлы

• Превью картинок постов младше 7 дней мы копируем к себе сразу.
• Картинки старых постов копируем при первом показе: в первый раз картинка открывается по ссылке MAX, а со следующего раза — уже наша копия. Если ссылка MAX устарела, вместо картинки ненадолго появится «Загружаем изображение…».
• Видео, аудио и файлы мы не храним — на сайте ссылка, которая открывает их в MAX. Сохраняется только кадр-обложка видео.

Закрытые каналы

Закрытые каналы мы не читаем. Исключение — владелец сам подключил к своему закрытому каналу бота datool.ru и подтвердил канал. Тогда статистику такого канала видит только организация владельца, а картинки из него мы к себе не копируем — показываем ссылкой MAX. Подробно — Подтверждение владельца.

Удалённые посты

Если автор удалил пост в MAX, мы стираем его из своей базы вместе с картинками, копиями и упоминаниями, а статистику канала пересчитываем. Обычно удаление доходит до нас в течение одного-двух дней. Пост, удалённый спустя долгое время после публикации, может пропасть у нас позже. Архива удалённых постов и пометки «удалён» у нас нет.

Чего мы не собираем никогда

• Личные переписки — ни в какой сети.
• Сообщения групповых чатов — у чата только карточка и счётчики: участники, число сообщений, время последнего события.
• Комментарии к постам — ни тексты, ни авторов, ни число.
• Кто голосовал в опросах — только вопрос, варианты и общее число голосов.

Смотрите также

• Как считаются показатели.
• Что такое datool.ru.
• Добавить канал и Подтверждение владельца.