Строим полноценный IPTV/OTT сервис: Stalker Middleware

В этой статье я расскажу как установить бесплатную IPTV/OTT Middleware с открытым исходным кодом от компании Инфомир, зачем она нужна и какие возможности предоставляет пользователям и администраторам. Статья будет полезна небольшим операторам и даже пользователям. Можно «поднять» у себя дома Stalker и использовать его для просмотра* бесплатных IPTV и интернет каналов на приставке. Самому организовать EPG и запись телеканалов.

*Stalker Middleware не содержит никаких ссылок на сервисы или телеканалы, не открывает доступ к какому-либо контенту, а лишь предоставляет удобный интерфейс для администраторов сервиса и конечных пользователей.

Что такое IPTV-плейлист?

IPTV-телевидение расширяет возможности для пользователей, предоставляя в их распоряжение огромный выбор каналов для просмотра. Вещание осуществляется посредством использования интернета.

IPTV-плейлист — это цифровой сборник каналов. Каналы могут быть объединены какой-то общей темой. Например, существуют специальные плейлисты для дачников или детей дошкольного возраста, плейлисты с юридическим уклоном или с каналами, вещающими для домохозяек.

В ВК существует множество групп и сообществ, облегчающих поиск плейлистов. Как правило, в топовых сообществах плейлисты обновляются ежедневно, а работают стабильно. Некоторые группы предоставляют и самообновляющиеся списки, что очень удобно. Главное, чтобы был доступ к интернету.

Преимущества ОТТ плеер

• Полное отсутствие рекламы! Вы в каком-то бесплатном приложении такое видели?
• Требуемая версия Android – 4 и выше. В наше время у старых приставок (Android TV Box) мало выбора, а ОТТ встанет даже на старое устройство, лишь бы там было 1 ГБ ОЗУ.
• Оптимизирован под Smart TV. Полная оптимизация: соотношение сторон, управление ПДУ (пультом от ТВ), и еще много плюшек, которые обычному пользователю не понятны.
• Многоплатформенность. Если ОТТ пришелся вам по вкусу, Вы без проблем сможете установить его на все свои устройства с разной ОС (Android, Windows, IOS, MacOS, WebOS (LG Smart TV) Samsung Smart TV).
• Поддерживает HLS, RTSP, TS by UDP, RTMP. Это говорит о том, что любая ссылка на поток будет прочтена и у вас будут работать все плейлисты.
• Свой, встроенный плеер. Не каждое приложение может этим похвастаться.
• Программа телепередач уже встроена и не нужно париться с её настройкой.
• Богатый функционал пользователя: напоминания, избранное и т.д.

Обратите внимание, выше перечислены явные преимущества перед другими программами, а не просто перечислен функционал, как это обычно бывает. Более чем уверен, если Вы сейчас установите этот IPTV плеер, он будет в вашем устройстве любимым приложением.

Группы ВК с плейлистами

Сообщества ВКонтакте предлагают как бесплатные, так и платные плейлисты. Вот список групп, в которых имеет смысл искать нужный IPTV-плейлист:

• https://vk.com/iptvsmart;
• https://vk.com/iptvplists;
• https://vk.com/free_iptv_ru;
• https://vk.com/newip_tv;
• https://vk.com/club74091217;
• https://vk.com/public142615693;
• https://vk.com/iptv_iptv;
• https://vk.com/club148143693.

Группы, где выкладывают плейлисты, найти не сложно и самостоятельно, достаточно в поиске ВК ввести:

При выборе сообщества обратите внимание на наполненность группы. Большое количество участников говорит о надёжности и качестве предлагаемого контента.

Некоторые группы могут оказаться закрытыми, как видно на скриншоте выше. В этом ничего страшного нет — так администраторы сообществ борются со спамом, делая общение в группе и в целом работу сообщества более комфортными для пользователей.

▍Установка

У Инфомира есть небольшая документация и образ VirtualBox

Образ VirtualBox

Запуск образа VirtualBox дело не сложное, но опишу кратко как это делается:

1. Установить VirtualBox. Сайт: www.virtualbox.org
2. Скачать и распаковать zip-архив с образом. Актуальная ссылка на странице: https://wiki.infomir.eu/doku.php/stalker:start
3. Запускаем VirtualBox, меню «Машина», нажимаем «Добавить» (Ctrl+A) и выбираем файл VmVirtualBox_Ubuntu14.04.4.x64_MW.Stalker.Demo
4. Запускаем виртуальную машину, авторизуемся (test/test), смотрим IP-адрес машины и открываем в браузере административный интерфейс.
5. В админ интерфейсе «Хранилища» изменить IP-адрес хранилища на IP интерфейса виртуальной машины

▍Docker контейнер

Давайте установим Stalker в Docker контейнер. Это быстро и удобно. Если вы не знаете что такое Docker и никогда с ним не работали, почитайте статью habrahabr.ru/post/310460. Она даст полное представление о работе контейнеров. Но сейчас эти знания не понадобятся.
Разработчики настоятельно рекомендуют

использовать Ubuntu Server LTS, при этом 16.04 не поддерживают пока, а 12.04 уже мало кем используется. Docker позволит запустить Stalker на вашем любимом дистрибутиве.

Для продолжения, нам потребуется сам Docker и Docker-compose. Пример установки для большинства дистрибутивов:

curl -sSL https://get.docker.com/ | sh curl -L https://github.com/docker/compose/releases/download/1.8.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose && chmod +x /usr/local/bin/docker-compose Создадим рабочую папку, в которой будет у нас жить Stalker и скачаем docker-compose файл: mkdir /opt/stalker && wget -O /opt/stalker/docker-compose.yml https://gist.githubusercontent.com/klyushkov/3cc71f3fe3ea27a44c4a6985a1504d4a/raw/c38c746369e4b5238db23ef83ccf5592dc53a63a/stalker-docker-compose.yml Запускаем Stalker: cd /opt/stalker && docker-compose up -d Запускаем утилиту, которая скачает последнюю версию Stalker и заполнит нам базу данных: docker exec -it stalker_portal_1 /opt/deploy.sh Ждем, пока скрипт выполнится. У меня это занимает около 4-х минут (что ж там за это время происходит?). Готово, админ панель Сталкера доступна по адресу:
https://ip/stalker_portal/
Заходим по стандартному логину/паролю:
admin/1
.

Еще раз все вместе, чтобы показать как все просто, буквально 3 команды:

mkdir /opt/stalker && wget -O /opt/stalker/docker-compose.yml https://gist.githubusercontent.com/klyushkov/3cc71f3fe3ea27a44c4a6985a1504d4a/raw/c38c746369e4b5238db23ef83ccf5592dc53a63a/stalker-docker-compose.yml cd /opt/stalker && docker-compose up -d docker exec -it stalker_portal_1 /opt/deploy.sh Ролик «Установка Stalker Middleware за 2 минуты»:

▍Установка без виртуализации и контейнеров

Можно установить и по старинке, просто установить необходимые пакеты и отредактировать несколько файлов вручную. Этот способ самый долгий и трудоемкий, но отлично подойдет, если вы собираетесь запустить сервер в Production.
Если у вас уже есть сервер с nginx+apache2+php5, то вам повезло, возможно Stalker запустится и без установки дополнительных пакетов. Но, насколько я знаю, nginx+apache2 уже редко используются вместе, nginx+php-fpm куда удобнее.

Инструкция от разработчика: wiki.infomir.eu/doku.php/stalker:install_and_configure

Сообщества ВК, где можно общаться на тему IPTV-плейлистов

Помимо того, что во ВКонтакте можно найти IPTV-плейлист на любой вкус, есть возможность поделиться впечатлениями с другими пользователями, почитать отзывы или даже обменяться плейлистами. Для этого существуют специальные разделы для обсуждений:

Такие «маленькие форумы» есть практически в каждой группе ВК, посвящённой IPTV-плейлистам. Выше приведены скриншоты тем группы https://vk.com/iptvauto. Обсуждения активные, группа не заброшена и информация актуальна. Больше сообществ с возможностью обсуждения:

• https://vk.com/iptvlistok;
• https://vk.com/club148143693;
• https://vk.com/iptvplaylist.

Помимо специальных разделов, во всех (за редким исключением) группах предоставляется возможность вести общение прямо на стене сообщества.

▍Настройка

После установки, первым делом хочется открыть портал на ТВ-приставке, чтобы убедится, что установка прошла успешно и оценить интерфейс со стороны пользователя. Но пока рано, там будет совсем скучно, давайте пока добавим немного контента.
По умолчанию, админ интерфейс на английском языке. Переключиться на русский вы можете внизу страницы:

▍Добавление телеканала

Разворачиваем меню «IPTV Каналы», открываем страницу «Каналы». В списке уже будет предустановленный телеканал «Test channel», удалите его и давайте добавим свой канал (кнопка «Add a channel»).
Заполняем основные поля: «Номер канала», «Название канала», загрузим логотип, поставим галочку «Базовый канал».

Нажимаем на кнопку «Добавить ссылку», появляется всплывающее окно с формой добавления URL канала и дополнительными опциями. Как мы видим из подсказки, в эту строку нужно ввести «solution+URL». Solution — это подсказка для плеера приставки, какую библиотеку использовать для воспроизведения. В большинстве случаем достаточно указать «auto» (например, «auto udp://239.255.1.1:5500»). Для HLS рекомендуемый Инфомиром solution — ffmpeg.

Так как у меня видеосервер Flussonic, я сразу включаю поддержку временных ссылок. Они нужны, чтобы защитить контент от несанкционированного просмотра.

В результате должно получится:

Пропустим пока настройку программы передач (EPG) и ТВ-архива (DVR). Сохраняем.

▍Добавление фильма

Меню «Видеоклуб» → «Список фильмов».
Процесс добавления фильмов не сильно отличается, но есть приятный бонус: автозаполнение. Достаточно написать название фильма/сериала на оригинальном языке и Stalker сможет получить метаданные из базы данных TMDB или Кинопоиск.

Вручную заполнять список актеров, логотип, режиссера, год выпуска, жанр и прочую информацию, без которой каталог фильмов на приставке будет выглядеть неполноценным, очень трудоемко, когда нужно добавлять много фильмов. Спасибо, Инфомир.

Есть возможность добавлять сериалы, с правильной сортировкой серий. Вам не понадобится заводить каждую серию как отдельный фильм и писать в названии номер сезона и серии.

Для каждого фильма или серии можно добавить несколько ссылок для просмотра в разном качестве, это может быть удобно, если у вас уже есть исходники в разных качествах и вы не используете мультибитрейтный HLS.

▍Программа передач (EPG)

Без программы передач строить сервис нельзя, людям уже давно не интересно просто щелкать каналы. EPG нужна не только для того, чтобы пользователь мог посмотреть как называется текущая передача и что будет сегодня вечером, а еще для организации видеоархива
! Позволяя пользователям смотреть передачи, которые уже прошли (т.н. Catch UP).

Stalker умеет импортировать EPG из формата XMLTV.

XMLTV — популярный формат описания программы передач основанный на XML, поддерживается всеми поставщиками EPG. Содержит подробное описание: название, время начала, время окончания, жанр, описание, картинку, список актеров, возрастной рейтинг и прочую информацию.

Для продолжения настройки, нам надо добыть поставщика EPG. Они бывают платные, бывают бесплатные. Отличаются количеством телеканалов, количеством информации (например, картинки для каждой передачи и список актеров есть далеко не у всех). Рекламировать никакие сервисы не буду, найдите в Google программу передач в формате XMLTV и продолжим.

Открываем меню «IPTV каналы» → «EPG». Кнопка «Добавить EPG».

Нам потребуется вставить ссылку на веб-сервер, где лежит xml файл. Из собственного опыта добавлю, что поставщики чаще всего выкладывают на закрытый паролем ftp-сервер, и в добавок еще архивируют, поэтому в Stalker вставляем ссылку на localhost, а в crontab добавляем скрипт, который будет скачивать и распаковывать XMLTV в нужную папку.

После добавления ссылки, нажмите «обновить». Если все сделали правильно, получится:

Теперь переходим в настройки телеканала. Меню «IPTV каналы» → «Каналы», нажимаем редактировать наш телеканал. Нас интересует раздел «EPG», указываем ID нашего телеканала и, при необходимости, корректируем время под наш часовой пояс.

Как узнать XMLTV ID телеканала

Открываем текстовым редактором XMLTV файл и смотрим. В данном примере: «Первый канал» — 1, «Россия 1» — 2, «ТВЦ» — 3. Первый канал Россия 1 ТВЦ НТВ Россия Культура ТНТ
Для каждого телеканала придется вручную указывать ID. Способа автоматизировать это я пока не знаю.

▍Внешний вид

Инфомир уже давно разрабатывает новый современный интерфейс, но он пока выключен по умолчанию. Я не заметил в нем явных багов, работает очень даже неплохо, именно его скриншот в начале статьи.
Чтобы активировать его, переходим в меню «Настройки» → «Внешний вид». На этой странице можем ознакомится со всеми доступными темами.

Нажимаем «Применить» под темой «Stalker 5x — graphite».

▍Запускаем портал на приставке

Надеюсь, у вас есть под рукой приставка MAG? С помощью пульта ДУ или USB-клавиатуры, переходим в настройки приставки → «Серверы» → «Порталы» и указываем URL сервера, куда вы установили Stalker.
URL для клиентов: https://ip/stalker_portal/c/

Сохраняем, перезагружаем приставку и попадаем в нашу Middleware. Никакие логины и пароли не потребуются, по умолчанию авторизация не требуется.

Какая самая лучшая группа раздачи ВК?

Лучшими можно назвать такие сообщества как https://vk.com/free_iptv_ru и https://vk.com/iptvplaylist. Такой вывод сделан на следующих основаниях:

• информация в группах обновляется своевременно;
• администрацией групп неуклонно отслеживается спам и вирусные ссылки;
• на обращения пользователей сообщества администрация отвечает без задержек;
• в случае перебоев в работе плейлистов пользователей сообщества оповещают;
• помимо публикации общей информации, проводятся различные конкурсы, выкладываются интересные советы и «лайфхаки» по теме.

Отзывы пользователей сообщества https://vk.com/free_iptv_ru:

• Николай Ларионов. Большое спасибо вам за телеканал Бумеранг. Очень мне нравится этот канал.
• Buch Buch. Спасибо! Оперативно, всё работает!
• Вадим Морозов. Пользуюсь плейлистом peers. Проблем вообще нет почти полгода. За это время ни разу не отвалился. Нет зависаний картинки. Каналы те, что нужны. Мусора нет. Спасибо, ребят. Поддерживайте этот плейлист.

Отзывы пользователей сообщества https://vk.com/iptvplaylist:

• Евгений Люблин. Спасибо вам за ваши труды, у вас единственного нашел рабочий КХЛ HD.
• Анастасия Вурнарова. Всё отлично работает, администратор в группе в ЛС помог с установкой, потому что я сама не умею. Ещё раз огромное спасибо!
• Татьяна Татьяна. Иногда зависают плейлисты, но, мне кажется, тут проблема в Ростелекоме.

Практически все активные группы с внушительным количеством подписчиков, помимо группы в ВК, имеют свой сайт. С сайтов непосредственно и осуществляется скачивание плейлистов.

▍Что такое Middleware?

В Википедии есть хорошее и краткое определение:

Middleware — промежуточное программное обеспечение для управления комплексом IPTV. Это основной компонент IPTV решения, так как он, в конечном итоге, и определяет набор услуг, доступный абоненту, пользовательский интерфейс, логику переходов и алгоритм управления. На Middleware возлагается роль координатора в процессе взаимодействия практически всех компонентов комплекса.

Я полностью согласен с этим определением. Построить IPTV/OTT сервис без Middleware невозможно. Разработчиков на рынке много, у каждой Middleware свои особенности: список поддерживаемых устройств, список поддерживаемых CAS-систем, пользовательский интерфейс, список поддерживаемых видеосерверов, разные API для биллинга, стоимость и поддержка.
Выбрав одно решение, оператор привязывается к Middleware и не может быстро и дешево поменять решение, потому что это потребует смены программного обеспечения на ТВ-приставках (или их замена, если список поддерживаемых устройств не совпадает). Так же потребуется заново провести интеграцию с биллингом, системой закрытия контента. Это время и деньги, и чем больше абонентская база, тем сложнее.

У нас на сайте есть хорошая статья про Middleware.

Что ещё можно сделать с IPTV, используя ВК?

В сообществах ВК, предоставляющих пользователям плейлисты для телепросмотра, можно не только скачать подходящий для себя плейлист, но и выполнить иные действия.

Найти конкретный канал, используя обсуждения

В активных группах с большим количеством участников и соответствующим количеством посещений в день, без затруднений можно найти конкретный интересующих канал. Сделать это можно следующими способами:

• используя специальные разделы для обсуждений;
• написать о своём поиске на стене группы;
• обратиться через личные сообщения к администрации сообщества, если это предусмотрено внутренними правилами, которые размещаются на самом видном месте — в описании к группе.

Найти канал по жанру

Сообщества ВКонтакте не просто предлагают плейлисты вперемешку. Как правило, списки формируются пожанрово, чтобы облегчить пользователям поиск с расчётом на их предпочтения.

Прочитать отзывы о плейлистах

Перед тем, как скачать и установить плейлист, всегда лучше узнать мнение о нём у тех, кто уже им пользуется. В соцсети ВКонтакте отзывы пишут охотно, поэтому не составит труда прочитать об интересующем плейлисте всё, что необходимо. И даже задать вопросы.

В поиске IPTV-плейлистов действительно очень удобно использовать ВК, так как, помимо закачки самого плейлиста, есть возможность обратиться за технической поддержкой и прочитать отзывы. Выбор плейлистов широкий, поэтому каждый сможет подобрать список воспроизведения на свой вкус.

▍Почему Stalker?

В первую очередь Stalker интересен тем, что он бесплатный. Правда бесплатный, без пробных периодов и ограничения функционала. Исходный код можно .
Это очень важное преимущества Stalker перед решениями других производителей. Я работаю много лет в сфере IPTV и не знаю других бесплатных решений. Я спрашивал у коллег и даже разработчиков Инфомира, они тоже не знаю. Напишите в комментариях, если знаете другие бесплатные решения.

Не каждый оператор готов вкладывать деньги в покупку Middleware, потому что сразу не понятно зачем она вообще нужна. Вот спутниковые приемники принимают телеканалы, CAS-система защищает контент, приставки показывают видео, биллинг деньги считает. А что делает Middleware? Список каналов и погоду показывает?

Конечно же нет, но этого уже достаточно чтобы заинтересоваться бесплатным решением и установить Stalker на тестовый сервер чтобы познакомится поближе.