Skip to content
ib0litPublic

About

⚡ Парсер подписок с отбором лучших узлов и автодобавлением в Podkop на OpenWrt (LuCI & TG бот) | ⚡ Automated subscription parser, benchmark & auto-sync of best nodes for OpenWrt & Podkop (sing-box).

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Latest commit

 

History

245 Commits

Folders and files

Repository files navigation

⚡ SubParser for OpenWrt

OpenWrt Python sing-box Telegram Bot LuCI Release version Core version

SubParser — легковесный инструмент автоматизации для OpenWrt. Парсит подписки, проверяет узлы, отбирает самые стабильные серверы и выгружает их в Podkop. Управление доступно через LuCI и Telegram-бота.

⚠ Дисклеймер

Этот проект делался для личных нужд и тестировался на ограниченном количестве роутеров под управлением OpenWrt 24.10.8 и 25.12.5. Совместимость с другими версиями носит исключительно гипотетический характер.

Архитектура местами представляет собой классическое «работает — не трогай».

Если вы каким-то чудом наткнулись на этот репозиторий и у вас что-то не заводится, отваливается или не работает так, как задумано автором — простите, извините, спасибо, пожалуйста.

О проблемах можете писать в чате TG-канала, возможно попробуем пофиксить.

Содержание


Быстрый старт

Установка

Подключитесь к роутеру по SSH и выполните команду чистой установки стабильной ветки:

sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/install.sh)"

Tip

После установки откройте LuCI → «Службы» → «SubParser» и настройте подписки и секции Podkop.

Обновление

Обновление стабильной версии без потери подписок, настроек и токенов:

sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/update.sh)"

Выбор версии из GitHub Releases

По умолчанию установка и обновление идут из ветки main. Можно выбрать последний релиз или конкретный тег:

# последний опубликованный релиз
SUBPARSER_RELEASE=latest sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/install.sh)"

# конкретная версия
SUBPARSER_RELEASE=v0.1.2d sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/update.sh)"

Для update.sh также работает аргумент --release:

sh update.sh --release v0.1.2d

Локальное обновление без GitHub (из каталога проекта или архива релиза):

sh update.sh --local /path/to/SubParser
sh update.sh --archive /path/to/subparser-0.1.2d.tar.gz

Выбранный режим сохраняется в UCI (subparser.settings.update_release) и используется при следующих обновлениях. Вернуть обновления из ветки можно так:

SUBPARSER_RELEASE=branch sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/update.sh)"

В LuCI версия выбирается в «Дополнительно» → «Версия GitHub для обновлений». В Telegram-боте: «Проверить обновления» → «Выбрать версию из релизов».

Удаление

Полное удаление SubParser, фоновых служб, записей crontab и кэша веб-интерфейса:

sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/uninstall.sh)"
📦 Установка и возврат с ветки old

Ветка old — архив предыдущей реализации парсера v2.1.9 (VLESS/Trojan/Hysteria2, без Shadowsocks и SOCKS). Скрипты в ней по умолчанию работают с самой веткой old:

# установка версии из ветки old
sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/old/install.sh)"

# обновление в пределах ветки old
sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/old/update.sh)"

Вернуться на актуальную версию:

SUBPARSER_BRANCH=main sh -c "$(curl -sL https://raw.githubusercontent.com/ib0lit/SubParser/main/update.sh)"

Выбранная ветка сохраняется в /etc/subparser_branch, а в LuCI её можно указать в поле «Ветка GitHub для обновлений». Настройки, подписки и токен бота при обновлении не перезаписываются.


Возможности

  • Поддерживаемые протоколы: VLESS (Reality, TLS, WebSocket, gRPC, XHTTP), Trojan, Hysteria2, Shadowsocks (SIP002 и legacy), SOCKS4/4a/5.
  • Двухэтапный отбор: быстрый скрининг доступности, затем тест стабильности по 5 замерам с анализом джиттера.
  • Фильтр протоколов: в LuCI и боте можно исключить любой набор протоколов. Такие узлы отбрасываются сразу после загрузки подписки — до дедупликации и первого этапа скрининга.
  • Интеграция с Podkop: мультисекционность, режимы замены и добавления, индивидуальная настройка каждой секции: режим, лимит Топ-N и очистка мёртвых узлов.
  • Telegram-бот: подписки, серверы, пинг, клиенты сети, логи и системные показатели прямо в чате.
  • LuCI: настройки сервиса, подписок, секций Podkop и интерактивный дашборд узлов.
  • Автономность: гибкий cron-планировщик и watchdog с автоперезапуском Podkop.
🚀 Подробнее о парсере и отборе узлов
  • Параллельная проверка (до 12 потоков): экспресс-тестирование пула из сотен серверов за секунды.
  • Двухэтапная фильтрация:
    • Быстрый скрининг: первичная проверка доступности серверов подписок через HTTP 204.
    • Тест стабильности (Jitter Analysis): серия из 5 контрольных замеров для отсева серверов с потерями пакетов и нестабильной задержкой.
  • Интеллектуальный фильтр RU: автоматическое отсеивание серверов для обхода белых списков (отключается в настройках).
  • Лимитирование пула (Top-N): выгрузка в Podkop только Топ-3/5/10, всего пула или собственного Топ-N. Лимит задаётся глобально и может быть переопределён для каждой секции Podkop в индивидуальном режиме. В режиме добавления лимит ограничивает число именно новых узлов, уже установленные узлы не расходуют его.
  • Источники для секций: в индивидуальном режиме для каждой секции можно выбрать, из каких подписок брать новые узлы. Пустой выбор означает «все активные подписки». Уже установленные узлы при добавлении сохраняются.
  • Очистка мёртвых при добавлении: в режиме добавления парсер может дополнительно проверить уже установленные узлы секции и исключить те, что перестали отвечать. Опция включается глобально или отдельно для каждой секции; в режиме полной замены список и так перезаписывается. Если после очистки не остаётся ни одного узла, секция не изменяется.
  • Защита от потери связи (Smart Fallback): если ни один сервер не уложился в заданный пинг, выбираются наименее медленные; если рабочих узлов меньше двух, конфигурация Podkop остаётся нетронутой, а администратор получает алерт в боте.
  • Контроль трафика и лимитов: парсинг заголовков Subscription-Userinfo с выводом остатка трафика и срока действия подписки, если провайдер отдаёт эту информацию.
  • Кастомный User-Agent и параметры устройства: можно указать свой User-Agent, Device ID/HWID, модель устройства и версию ОС, чтобы не занимать лишний слот в подписке (не гарантировано).
  • Сохранение ручного выбора: выбранные вручную узлы не теряются при перезаписи секций Podkop и чистке DEAD-узлов.
  • Гистерезис выбора: новый узел заменяет текущий только если заметно лучше (по умолчанию на 10%), чтобы конфигурация не «дёргалась» при каждом запуске.
  • Пул кандидатов: число узлов, отправляемых на стресс-тест, можно ограничить.
🤖 Подробнее о Telegram-боте
  • Настройка парсера из чата: лимиты пингов, расписание, лимит узлов, фильтр RU, uTLS fingerprint и фильтр протоколов.
  • Многопользовательский доступ: белый список Telegram ID, управление через LuCI.
  • Ролевая защита: перезагрузка роутера, рестарт служб и пакетное удаление доступны только администратору.
  • Менеджер подписок: добавление ссылкой прямо в чат, автоопределение типа конфига, смена User-Agent, включение и удаление.
  • Управление серверами: замер задержек, ручное переключение, возврат в URL-Test, мультиудаление DEAD-узлов.
  • Массовая чистка DEAD: удаление мёртвых узлов сразу во всех секциях Podkop с предварительным подсчётом.
  • Клиенты сети: Wi-Fi и LAN-устройства, блокировка через nftables со сбросом сессий.
  • Диагностика: проверка URL и доменов, мониторинг сервисов, logread, dmesg, лог синхронизации.
  • Обновления и скорость: проверка обновлений GitHub и замер скорости канала прямо из чата.
  • Системные показатели: температура SoC, аптайм, RAM.
  • Rich-меню: единый стиль для всех экранов бота — таблицы, заголовки, врезки, раскрывающиеся блоки, кнопки копирования и ссылки; при несовместимости бот автоматически откатывается к обычному HTML (можно отключить в LuCI).
🌐 Подробнее о LuCI и watchdog

LuCI (Службы → SubParser):

  • основные настройки: включение службы, порог пинга, глобальный лимит Топ-N и очистка мёртвых узлов при добавлении, фильтрация RU, фильтр протоколов, ручной запуск, а также таблица источников подписок (URL, User-Agent, Device ID/HWID, модель и версия ОС);
  • расширенные настройки: размер пула для стресс-теста, гистерезис, fallback на нестабильные узлы, проверка TLS, локальная диагностика, Clash API Podkop и прокси для теста скорости;
  • обновления: выбор ветки GitHub, список веток подтягивается из репозитория;
  • секции Podkop: глобальные и индивидуальные режимы, персональный лимит Топ-N и очистка мёртвых узлов при добавлении;
  • watchdog: отдельная вкладка с интервалом проверки, таймаутами, grace-периодом, кулдауном, URL проверки и переключателями действий;
  • мониторинг сервисов: отдельная вкладка с пресетами Instagram, Telegram, YouTube, Steam, Discord, Twitch, TikTok, своими HTTPS-адресами и диагностикой;
  • Telegram: токен, Chat ID, доверенные пользователи, проверка связи;
  • дашборд: все секции Podkop на одной странице, активный узел селектора и URLTest, замеры пинга и применение выбранных узлов по каждой секции.

Дашборд (вкладка «📊 Дашборд»):

  • показывает все секции Podkop сразу, без выбора одной секции из списка;
  • у каждой секции первой идёт отдельная карточка URLTest с сервером, который она сейчас выбирает, даже если селектор переключён на конкретный узел вручную;
  • выбор селектора (включая авто-режим) выделяется зелёной рамкой вокруг соответствующей карточки — как в Podkop;
  • клик по карточке узла сразу переключает селектор на этот сервер, клик по карточке URLTest возвращает авто-режим — без перехода в Podkop;
  • позволяет измерить задержки и применить выбранные узлы как для отдельной секции, так и сразу для всех;
  • пинги измеряются автоматически при открытии вкладки «Дашборд» и кэшируются до следующего обновления или изменения списка узлов;
  • задержки всех узлов секции измеряются одним запросом GET /group/<секция>-urltest-out/delay: sing-box сам параллельно проверяет всю URLTest-группу, как дашборд Podkop. Отдельные запросы по узлам остаются только резервным путём, поэтому пинг больше не идёт «по очереди»;
  • карточки дашборда и пинги строятся только при открытии вкладки «Дашборд». Главная страница сервиса не ждёт Clash API: полные данные секций загружаются в фоне, а лёгкий список секций и настройки приходят сразу. Ветки и релизы GitHub кэшируются в браузере, список подписок читается одним uci export;
  • последние известные задержки из истории sing-box показываются сразу при открытии дашборда, а свежий групповой замер обновляет их следом;
  • URL проверки пингов можно задать вручную над кнопками — значение хранится в браузере и по умолчанию равно https://www.gstatic.com/generate_204;
  • активный сервер URLTest обновляется автоматически раз в 15 секунд, пока открыта вкладка «Дашборд»: карточка URLTest и зелёная рамка не требуют нажатия «Обновить данные»;
  • при сохранении списка узлов активный сервер сохраняется: выбор запоминается по ссылке и восстанавливается после перезагрузки Podkop, поэтому теги -N-out не «перепрыгивают» на другие серверы;
  • нельзя снять все галочки в секции — Podkop не запустится без узлов; глобальное применение в этом случае останавливается с понятным сообщением, а не пропускает секцию молча;
  • сохранение не ждёт перезагрузки Podkop: список записывается сразу, а перезагрузка (reload, без лишнего перезапуска dnsmasq) и восстановление активного сервера выполняются в фоне, поэтому кнопка «Применить» не упирается в таймаут LuCI;
  • после применения состояние галочек берётся из конфигурации Podkop: снятая галочка удалённого узла не переносится на другой сервер с такой же ссылкой, в том числе в другой секции;
  • узлы с пробелами в имени читаются и записываются целиком, без распада на несколько «серверов»;
  • данные берутся через Clash API Podkop; если API недоступен, список узлов остаётся доступным, а активные узлы помечаются как неизвестные.

Watchdog (вкладка «🛡 Watchdog»):

  • проверка процесса sing-box и доступности секций Podkop через Clash API с настраиваемым интервалом (по умолчанию 5 минут);
  • защита от ложных тревог: ожидание запуска ядра, grace-период после старта, проверка WAN через независимые DNS, принудительный тест urltest-группы с повторным замером и кулдаун перед экстренным отбором;
  • при падении sing-box — перезапуск Podkop; при подтверждённом сбое секций — алерт и внеочередной отбор живых прокси;
  • тонкая настройка в LuCI: интервал, таймауты Clash API и тестов, ожидание запуска и перезапуска, grace-период, кулдаун, URL проверки, лимит времени одной проверки;
  • отдельные переключатели: полностью выключить watchdog, не перезапускать Podkop, не запускать экстренный отбор, не отправлять уведомления о восстановлении;
  • ежедневные предупреждения при остатке трафика менее 3 дней или расходе более 90% (можно отключить).

Мониторинг сервисов (вкладка «📡 Мониторинг сервисов»):

  • отдельная procd-служба subparser-monitor, которая проверяет сервисы только при активном трафике по WAN. В простое запросы не отправляются вообще;
  • интервал при активном трафике по умолчанию 30 секунд (можно 10–300). После затухания трафика проверки продолжаются ещё 30 секунд, чтобы не пропустить хвост загрузки;
  • готовые пресеты: Instagram, Telegram, YouTube, Steam, Discord, Twitch, TikTok. Каждый сервис проверяется по нескольким HTTPS-адресам и обычно считается доступным, если ответил хотя бы один. Для Instagram обязательны оба адреса — сайт и API комментариев, поэтому доступность Facebook больше не маскирует сбой Instagram;
  • для каждого пресета можно выбрать секции Podkop, в которых он проверяется. Пустой список означает все управляемые секции;
  • свои адреса в формате Название|https://адрес1|https://адрес2 или просто https://адрес. Разрешён только HTTPS: Clash API игнорирует HTTP. Необязательный блок sections=секция1,секция2 ограничивает проверку выбранными секциями: Название|sections=gemini,main|https://адрес;
  • проверка идёт HEAD-запросом через фактический активный узел секции. Любой HTTP-ответ считается успехом — важен сам факт прохождения TLS и соединения;
  • сбой подтверждается после нескольких неудач подряд (по умолчанию 2) с таймаутом 8 секунд. Затем монитор принудительно перепроверяет URLTest-группу сразу по всем адресам сервиса, а не только по первому;
  • если URLTest так и не выбрал подходящий узел, монитор перебирает все серверы секции по адресам сервиса и закрепляет селектор на реально рабочем узле. Это работает и при ручном выборе, и при URLTest; закрепление можно отключить переключателем «Переключать узел при сбое». Уведомления отправляются только о подтверждённом сбое и переключении, без сообщений о восстановлении. Кулдаун ограничивает не переключения, а окно обновления одного Telegram-сообщения: внутри окна текст редактируется (в конце добавляется время обновления), после — приходит новое. Временная ошибка Telegram (таймаут, 429) не создаёт дубль: сообщение будет обновлено на следующем цикле;
  • кнопка «Проверить сервисы сейчас» запускает диагностику и показывает активный узел, результат по каждому адресу и задержки. Из консоли: /usr/bin/subparser-service-monitor.py --check (или --json).

Slim-сборка sing-box

sing-box-extended из фида занимает ~95 МБ и на устройствах с флеш-памятью 128 МБ и меньше забивает /overlay под 100%. Готовые slim-сборки ~44 МБ (архив ~15 МБ) опубликованы в GitHub Releases.

Установка одной командой (архитектура определяется автоматически):

sh -c "$(curl -fsSL https://raw.githubusercontent.com/ib0lit/SubParser/slim-v1.14.3-extended-2.7.3/slim/install-slim.sh)"
🪶 Подробнее о slim-сборке

Сборки доступны для amd64, 386, arm64, armv7, armv6, armv5, mips, mipsle, mips64, mips64le, riscv64.

Сохранены все функции, нужные Podkop и SubParser: XHTTP, VLESS encryption, Reality/uTLS, Fallback, Failover, DNS fallback, Hysteria2, Clash API, TPROXY. Вырезаны TUN/gVisor, admin panel, Node Manager и неиспользуемые протоколы.

Установщик сверит SHA256, проверит конфиг до замены, заменит /usr/bin/sing-box, перезапустит Podkop и покажет статус. Поддерживается откат: install-slim.sh --rollback FILE.

📘 Подробно: slim/README.md — таблица архитектур, установка через WinSCP, откат, поведение после apk upgrade, сборка из исходников.


Протестированные конфигурации

Работоспособность гарантированно проверялась автором только на ограниченном наборе компонентов. Поведение на других версиях не исследовалось.

🧪 Показать проверенные версии
Компонент Проверенные версии / Сборки
Устройство Xiaomi Mi Router AX3000T
Версия OpenWrt 24.10.8 (r29233-443ec4032a), 25.12.5 (r33051-f5dae5ece4)
Podkop & LuCI App v0.7.22
sing-box (extended) 1.14.0-extended-2.7.0, 1.14.1-extended-2.7.1, 1.14.1-extended-2.7.2, 1.14.3-extended-slim

💬 Если вы протестировали SubParser на другом роутере, архитектуре или версии OpenWrt — напишите об этом в ветке «Репорты работоспособности» Telegram-чата.


Структура проекта

📂 Показать структуру файлов
├── install.sh                                # Скрипт чистой установки
├── update.sh                                 # Скрипт бесшовного обновления
├── uninstall.sh                              # Скрипт полного удаления
└── root/                                     # Системная структура файлов
    ├── etc/
    │   ├── config/subparser                  # Конфигурационный файл UCI
    │   ├── hotplug.d/uci/99-subparser        # Автоперезапуск бота при сохранении в LuCI
    │   ├── init.d/
    │   │   ├── subparser                     # Служба управления cron-задачами
    │   │   ├── subparser-bot                 # procd-демон Telegram-бота
    │   │   └── subparser-monitor             # procd-демон мониторинга сервисов
    │   ├── subparser_version                 # Версия ядра/парсера (3.0.0)
    │   └── subparser_pkg_version             # Версия релиза (0.1.2d)
    ├── usr/
    │   ├── bin/
    │   │   ├── subparser.py                  # Ядро парсинга и стресс-тестирования
    │   │   ├── subparser-bot.py              # Точка входа Telegram-бота
    │   │   ├── subparser-service-monitor.py  # Мониторинг сервисов и диагностика
    │   │   ├── subparser-helper.sh           # Системный RPC-мост (LuCI <-> OS)
    │   └── subparser-watchdog.sh             # Сторожевой таймер контроля доступности
    ├── usr/lib/subparser/                    # Модульная библиотека Python
    │   ├── __init__.py
    │   ├── config.py                         # UCI, параметры и сохранение стейта
    │   ├── podkop.py                         # Взаимодействие с sing-box и узлами
    │   ├── service_presets.py                # Пресеты сервисов и URL для проверки
    │   ├── releases.py                       # GitHub Releases и выбор версии
    │   ├── rich.py                           # Rich-текст с HTML-fallback
    │   ├── screens.py                        # Генератор экранов и инлайн-клавиатур
    │   ├── subs.py                           # Обработка и декодирование подписок
    │   ├── system.py                         # Мониторинг ОС, nftables и клиенты сети
    │   └── telegram.py                       # Клиент Telegram Bot API
    └── usr/share/
        ├── luci/menu.d/                      # Пункт меню в LuCI
        └── rpcd/acl.d/                       # ACL-разрешения RPC для LuCI
    └── www/
        └── luci-static/resources/view/
            └── subparser.js                  # Фронтенд интерфейса LuCI

About

⚡ Парсер подписок с отбором лучших узлов и автодобавлением в Podkop на OpenWrt (LuCI & TG бот) | ⚡ Automated subscription parser, benchmark & auto-sync of best nodes for OpenWrt & Podkop (sing-box).

Topics

Resources

Stars

2 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages