Описание
При управлении большим количеством WCS серверов, для отладки возможных проблем с вещанием потоков, возникает необходимость централизованного сбора данных о потоках, клиентских соединениях и событий CDN. Фактически, необходимо в одной точке собрать информацию, которая пишется в логи каждого сервера. При этом само по себе логирование в промышленной эксплуатации сведено к минимуму, чтобы не давать нагрузку на дисковую подсистему сервера.
Для сбора данных в реальном времени в больших объемах хорошо подходят базы данных временных рядов. На основе одной из таких БД c открытым исходным кодом ClickHouse, в сборке 5.2.774 добавлена система удаленного сбора логов RELS (Remote Event Logging System).
Архитектура
Каждый WCS сервер отправляет данные в ClickHouse независимо, используя JDBC-драйвер и HTTP-соединение. Для оптимизации работы с БД ClickHouse, данные буферизуются и отправляются пачками по времени
Описание таблиц данных
Данные собираются в таблицы ClickHouse, перечисленные ниже. При этом, в таблицу записывается числовой идентификатор события. Для того, чтобы отобразить события в выборках в удобном для чтения виде, каждой таблице сопоставлен словарь текстовых строк, описывающих события.
Данные соединений (таблица ConnectionEvent)
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
ip | IPv4 | Адрес сервера |
sessionId | String | Идентификатор сессии |
eventType | UInt64 | Идентификатор типа события |
eventPayload | String | Содержимое события |
Данные о событиях потоков (таблица StreamEvent)
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
ip | IPv4 | Адрес сервера |
sessionId | String | Идентификатор сессии |
mediaSessionId | String | Идентификатор медиасессий |
streamName | String | Имя потока |
eventType | UInt64 | Идентификатор типа события |
eventPayload | String | Содержимое события |
Данные CDN (таблица CDNEvent)
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
ip | IPv4 | Адрес сервера |
nodeId | String | Идентификатор узла (строка IP адреса) |
eventType | UInt64 | Идентификатор типа события |
eventPayload | String | Содержимое события |
Данные о метриках потоков (таблица MediaSessionEvent)
В сборке 5.2.1896 добавлен сбор данных о метриках определенных потоков
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
ip | IPv4 | Адрес сервера |
mediaSessionId | String | Идентификатор медиасессий |
streamName | String | Имя потока |
videoProfileId | UInt32 | Идентификатор профиля видео |
videoWidth | UInt32 | Высота картинки |
videoHeight | UInt32 | Ширина картинки |
videoFrameRate | UInt32 | Частота кадров в секунду |
videoKframes | UInt64 | Количество ключевых кадров (I-frame) |
videoPframes | UInt64 | Количество промежуточных кадров (P-frame) |
videoBframes | UInt64 | Количество двунаправленных кадров (B-frames) |
videoRate | UInt64 | Битрейт видео, бит/с |
audioRate | UInt64 | Битрейт аудио, бит/с |
videoSyncTime | UInt64 | Значение синхронизации видео |
audioSyncTime | UInt64 | Значение синхронизации аудио |
videoTimestamp | UInt64 | Метка времени из видеопакета |
audioTimestamp | UInt64 | Метка времени из аудиопакета |
lastKeyFrameSyncTime | UInt64 | Значение синхронизации видео из последнего ключевого кадра |
sendNACK | UInt64 | Количество отправленных NACK |
recvNACK | UInt64 | Количество полученных NACK |
videoFramesLost | UInt64 | Количество потерянных кадров видео |
audioPacketsLost | UInt64 | Количество потерянных пакетов аудио |
audioPlaybackSpeed | Float32 | Скорость публикации/проигрывания аудио |
videoPlaybackSpeed | Float32 | Скорость публикации/проигрывания видео |
Данные о нарезке HLS потока (таблица HlsStreamEvent)
В сборке 5.2.1917 добавлен сбор данных о событиях определенных HLS потоков
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
ip | IPv4 | Адрес сервера |
severity | UInt8 | Уровень события: INFO, WARNING, ERROR |
messageType | UInt16 | Тип события |
streamId | String | Идентификатор HLS потока (имя) |
variantName | String | Имя варианта качества |
segmentId | String | Идентификатор сегмента |
message | String | Описание события в том виде, как залогировано |
Данные о сегментах HLS потока (таблица HlsSegmenterEvent)
В сборке 5.2.1917 добавлен сбор данных о сегментах определенных HLS потоков
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
ip | IPv4 | Адрес сервера |
streamId | String | Идентификатор HLS потока (имя) |
variantName | String | Имя варианта качества |
segmentId | String | Идентификатор сегмента |
segmentStartPts | UInt64 | Начальный PTS сегмента |
videoStartPts | UInt64 | Начальный PTS видео дорожки |
audioStartPts | UInt64 | Начальный PTS аудио дорожки |
videoWidth | UInt32 | Ширина картинки |
videoHeight | UInt32 | Высота картинки |
videoFrameCount | UInt32 | Количество кадров видео |
audioPacketCount | UInt32 | Количество пакетов аудио |
segmentDuration | UInt64 | Длительность сегмента, мс |
independent | Bool | Независимый сегмент |
gap | Bool | GAP сегмент |
discontinuity | Bool | DISCONTINUTY сегмент |
segmentInterval | UInt64 | Интервал между сегментами, мс |
partial | Bool | Частичный сегмент |
playbackSpeed | Float32 | Скорость проигрывания |
Данные о подписчиках HLS потока (таблица HlsClientEvent)
В сборке 5.2.1929 добавлен сбор данных о подписчиках определенных HLS потоков
Поле | Тип | Описание |
---|---|---|
creationTime | UInt64 | Время подключения подписчика |
responseTime | UInt64 | Время ответа на запрос подписчика |
streamId | String | Идентификатор HLS потока (имя) |
variantName | String | Имя варианта качества |
uri | String | URI плейлиста |
localIp | IPv4 | Адрес сервера |
remoteIp | IPv4 | Адрес клиента |
remotePort | UInt32 | TCP порт, с которого подключился клиента |
userAgent | String | Значение заголовка User-Agent, полученное от клиента |
httpStatus | UInt32 | Статус ответа на запрос клиента |
clientId | UInt64 | Идентификатор клиентской сессии |
Данные о метриках микшера (таблица MixerEvent)
В сборке 5.2.1923 добавлен сбор данных о метриках определенных микшеров
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
mixerMediaSessionId | String | Идентификатор медиасессии микшера |
mixerStreamName | String | Имя выходного потока микшера |
mediaSessionId | String | Идентификатор входящего потока микшера |
streamName | String | Имя входящего потока |
mixerAverageTickTimeInMs | Int64 | Среднее время одного такта микширования, мс |
audioMixerSync | Int64 | Значение синхронизации аудио в выходном потоке микшера |
videoMixerSync | Int64 | Значение синхронизации видео в выходном потоке микшера |
nextAudioDataTime | Int64 | Время следующего аудио пакета |
nextVideoDataTime | Int64 | Время следующего видео пакета |
audioBuffered | Int64 | Количество аудио пакетов в буфере входящего потока |
videoBuffered | Int64 | Количество видео пакетов в буфере входящего потока |
audioDropsCounter | Int64 | Количество отброшенных аудио пакетов входящего потока |
audioDropsSizeInBytes | Int64 | Объем отброшенных данных аудио в байтах |
videoDropsCounter | Int64 | Количество отброшенных видео пакетов входящего потока |
videoDropsSizeInBytes | Int64 | Объем отброшенных данных видео в байтах |
videoFps | Int64 | Частота кадров выходного потока микшера в секунду |
audioRate | DOUBLE | Битрейт аудио выходного потока микшера, бит/с |
videoRate | DOUBLE | Битрейт видео выходного потока микшера, бит/с |
eventType | UInt32 | Тип события микшера |
eventPayload | String | Описание события микшера |
Данные о восстановлении потерянных аудио пакетов (таблица AudioRecoveryEvent)
В сборке 5.2.1969 добавлен сбор данных о восстановлении потерянных аудио пакетов
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
mediaSessionId | String | Идентификатор медиасессии |
type | UInt32 | Тип события |
rtpTimestamp | UInt64 | Метка времени из RTP потока |
Данные о метриках буфера для входящих RTMP потоков (таблица RtmpInBufferEvent)
В сборке 5.2.1978 добавлен сбор данных о метриках буфера входящих RTMP потоков
Поле | Тип | Описание |
---|---|---|
timestamp | UInt64 | Метка времени |
streamClockTime | UInt64 | Метка времени по часам потока |
mediaSessionId | String | Идентификатор медиасессии |
streamName | String | Имя потока |
nextAudioDataTime | Int64 | Метка времени следующего пакета аудио данных |
nextVideoDataTime | Int64 | Метка времени следующего пакета видео данных |
audioBuffered | Int64 | Количество данных аудио в буфере |
videoBuffered | Int64 | Количество данных видео в буфере |
maximumAllowedBuffer | Int64 | Максимальная емкость буфера |
bufferingCounter | Int64 | Счетчик буферизаций |
lastAudioDataTime | Int64 | Время последнего пакета аудио данных |
lastVideoDataTime | Int64 | Время последнего пакета видео данных |
bufferState | UInt32 | Состояние буфера |
Настройка
Установка и настройка ClickHouse
Требования к серверу
- CPU не менее 4 физических ядер, частотой не менее 3 ГГц, например Intel(R) Xeon(R) CPU E3-1246 v3 @ 3.50GHz
- RAM не менее 32 Гб
- HDD не менее 2 Тб
Установка ClickHouse из rpm пакетов (CentOS, Red Hat etc)
1. Подключите официальный репозиторий
sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo
2. Установите ClickHouse
sudo yum install -y clickhouse-server clickhouse-client
3. Запустите ClickHouse
sudo systemctl enable clickhouse-server sudo systemctl start clickhouse-server
Установка ClickHouse из deb пакетов (Debian, Ubuntu etc)
1. Подключите официальный репозиторий
sudo apt-get install -y apt-transport-https ca-certificates dirmngr sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 8919F6BD2B48D754 echo "deb https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list sudo apt-get update
2. Установите ClickHouse
sudo apt-get install -y clickhouse-server clickhouse-client
3. Запустите ClickHouse
sudo systemctl enable clickhouse-server sudo systemctl start clickhouse-server
Настройка ClickHouse для сборок WCS до 5.2.1999
1. Для того, чтобы прослушивать входящие запросы на всех интерфесах сервера, раскомментируйте строку в файле /etc/clickhouse-server/config.xml
<listen_host>::</listen_host>
2. Для того, чтобы создать пользователя, укажите для пользователя default в файле /etc/clickhouse-server/users.xml параметр
<access_management>1</access_management>
3. Перезапустите ClickHouse
systemctl restart clickhouse-server
4. Создайте базу данных wcs и таблицы в ней
cat wcs_clickhouse.sql | clickhouse-client -mn
5. Создайте пользователя wcs и дайте ему права на таблицы в базе данных wcs
cat wcs_clickhouse_users.sql | clickhouse-client -mn
6. Отключите управление пользователями для пользователя default, указав в файле /etc/clickhouse-server/users.xml параметр
<access_management>0</access_management>
7. Перезапустите ClickHouse
systemctl restart clickhouse-server
Настройка ClickHouse для сборок WCS 5.2.1999 и новее
В сборке 5.2.1999 добавлено автоматическое создание БД при подключении определенной версии WCS с определенного IP адреса. Данные о всех БД хранятся в таблице WcsMetadata.metadata
SELECT * FROM WcsMetadata.metadata ┌─dbName───────────────────────────────┬─ip────────────┬─hostname──────────────┬─versionNumber─┬─versionHash──────────────────────────────┐ │ test1flashphonercom_192168065_521999 │ 192.168.0.65 │ test1.flashphoner.com │ 5.2.1999 │ 93e39647113e0121dabc4283ef700814c355568f │ │ test2flashphonercom_192168039_521999 │ 192.168.0.39 │ test2.flashphoner.com │ 5.2.1999 │ 93e39647113e0121dabc4283ef700814c355568f │ └──────────────────────────────────────┴───────────────┴───────────────────────┴───────────────┴──────────────────────────────────────────┘
Поэтому для настройки ClickHouse необходимо только создать пользователя и дать ему права на создание Баз данных, таблиц и вставку данных в них
1. Для того, чтобы прослушивать входящие запросы на всех интерфесах сервера, раскомментируйте строку в файле /etc/clickhouse-server/config.xml
<listen_host>::</listen_host>
2. Для того, чтобы создать пользователя, укажите для пользователя default в файле /etc/clickhouse-server/users.xml параметры
<access_management>1</access_management> <named_collection_control>1</named_collection_control> <show_named_collections>1</show_named_collections> <show_named_collections_secrets>1</show_named_collections_secrets>
3. Перезапустите ClickHouse
systemctl restart clickhouse-server
4. Создайте пользователя wcs и дайте ему необходимые права
cat wcs_clickhouse_users.sql | clickhouse-client -mn
6. Отключите управление пользователями для пользователя default, указав в файле /etc/clickhouse-server/users.xml параметр
<access_management>0</access_management>
7. Перезапустите ClickHouse
systemctl restart clickhouse-server
Настройка WCS
Сбор данных в БД ClickHouse включается настройкой, в которой перечисляются типы отправляемых данных
rels_enabled=CONNECTION,STREAM,CDN,MEDIA_SESSION
Доступны следующие типы данных:
CONNECTION, STREAM, CDN, MEDIA_SESSION, HLS_SEGMENTER, HLS_STREAM, HLS_CLIENT, MIXER, AUDIO_RECOVERY, RTMP_IN_BUFFER
Тип | Описание |
---|---|
CONNECTION | События клиенсткой сессии |
STREAM | События потока |
CDN | События CDN |
MEDIA_SESSION | События медиа сессии |
HLS_SEGMENTER | Данные о нарезке HLS потоков |
HLS_STREAM | События HLS потоков |
HLS_CLIENT | Статистика HLS клиентов |
MIXER | События микшера |
AUDIO_RECOVERY | Статистика потерь и восстановления аудиопакетов |
RTMP_IN_BUFFER | Статистика буфера входящих RTMP потоков |
Настройка подключения к ClickHose до сборки WCS 5.2.1999
Адрес сервера ClickHouse, база данных и протокол задаются настройками
rels_client_type=HTTP rels_database_address=http://clickhouseserver:8123/wcs?user=wcs&password=wcs
По умолчанию используется рекомендованный HTTP протокол. Однако, при необходимости можно переключиться на использование JDBC драйвера
rels_client_type=JDBC rels_database_address=jdbc:clickhouse://clickhouseserver:8123/wcs?user=wcs&password=wcs
Настройка подключения к ClickHose в сборках WCS 5.2.1999 и новее
Адрес сервера ClickHouse, пользователь и протокол задаются настройками
rels_client_type=HTTP rels_database_address=clickhouseserver:8123 rels_database_properties=user=wcs&password=wcs
По умолчанию используется рекомендованный HTTP протокол. Однако, при необходимости можно переключиться на использование JDBC драйвера
rels_client_type=JDBC
Остановка сбора данных без перезапуска WCS
При необходимости, передача данных с конкретного WCS сервера в ClickHouse может быть остановлена без перезапуска WCS. Для этого:
1. Отключите сбор данных в настройках сервера
rels_enabled=
2. Перезагрузите настройки сервера из интерфейса командной строки
reload node-settings
Изменение адреса сервера ClickHouse без перезапуска WCS
Адрес сервера ClickHouse может быть изменен без перезапуска WCS. Для этого:
1. Измените адрес в настройках сервера
rels_database_address=jdbc:clickhouse://newclickhouseserver:8123/wcs?user=wcs&password=wcs
2. Отключите сбор данных в настройках сервера
rels_enabled=
3. Перезагрузите настройки сервера из интерфейса командной строки
reload node-settings
4. Включите сбор данных в настройках сервера
rels_enabled=true
5. Перезагрузите настройки сервера из интерфейса командной строки
reload node-settings
Управление сбором данных по REST API
Типы данных CONNECTION, STREAM, CDN, HLS_STREAM собираются безусловно, для всех клиентских сессий и всех опубликованных потоков. Все остальные типы данных собираются только по запросу, поскольку объем отсылаемых данных может быть очень велик.
Сбор данных для определенного потока включается по REST API.
REST-запрос должен быть HTTP/HTTPS POST запросом в таком виде:
- HTTP: http://streaming.flashphoner.com:8081/rest-api/rels/startup
- HTTPS: https://streaming.flashphoner.com:8444/rest-api/rels/startup
Здесь:
- streaming.flashphoner.com - адрес WCS-сервера
- 8081 - стандартный REST / HTTP порт WCS-сервера
- 8444 - стандартный HTTPS порт
- rest-api - обязательный префикс
- /rels/startup - используемый REST-вызов
REST методы и статусы ответа
/rels/startup
Запустить сбор определенных типов данных для определенного потока
Request example
POST /rest-api/rels/startup HTTP/1.1 Host: localhost:8081 Content-Type: application/json { "mediaSession": { "frequency":100, "ids": [ "d7d6b6e4-b137-461a-8a32-d6abf2b8666e", "39cbf770-128a-11ef-b839-d1a1f53f8bd2" ] } }
Response example
HTTP/1.1 200 OK Access-Control-Allow-Origin: * Content-Type: application/json
Return codes
Code | Reason |
---|---|
200 | OK |
400 | Bad request |
404 | Not found |
500 | Internal server error |
/rels/find_all
Получить статистику по отправляемым данным
Request example
POST /rest-api/rels/find_all HTTP/1.1 Host: localhost:8081 Content-Type: application/json
Response example
HTTP/1.1 200 OK Access-Control-Allow-Origin: * Content-Type: application/json [ { "type": "CONNECTION", "sentBytes": 1989, "bitrateKbps": 0, "sentEvents": 6, "queueEvents": 0 }, { "type": "STREAM", "sentBytes": 70766, "bitrateKbps": 0, "sentEvents": 73, "queueEvents": 1 }, { "type": "CDN", "sentBytes": 0, "bitrateKbps": 0, "sentEvents": 0, "queueEvents": 0 }, { "type": "MEDIA_SESSION", "ids": [ "d7d6b6e4-b137-461a-8a32-d6abf2b8666e", "39cbf770-128a-11ef-b839-d1a1f53f8bd2" ], "sentBytes": 205794, "bitrateKbps": 143, "sentEvents": 999, "queueEvents": 119 } ]
Return codes
Code | Reason |
---|---|
200 | OK |
404 | Not found |
500 | Internal server error |
/rels/terminate
Остановить сбор определенных типов данных для определенного потока
Request example
POST /rest-api/rels/terminate HTTP/1.1 Host: localhost:8081 Content-Type: application/json { "mediaSession": { "ids": [ "d7d6b6e4-b137-461a-8a32-d6abf2b8666e" ] } }
Response example
HTTP/1.1 200 OK Access-Control-Allow-Origin: * Content-Type: application/json
Return codes
Code | Reason |
---|---|
200 | OK |
400 | Bad request |
404 | Not found |
500 | Internal server error |
/rels/terminate_all
Остановить сбор определенных типов данных для всех потоков
Request example
POST /rest-api/rels/terminate_all HTTP/1.1 Host: localhost:8081 Content-Type: application/json { "types": [ "MEDIA_SESSION" ] }
Response example
HTTP/1.1 200 OK Access-Control-Allow-Origin: * Content-Type: application/json { "MEDIA_SESSION": [ "39cbf770-128a-11ef-b839-d1a1f53f8bd2" ] }
Return codes
Code | Reason |
---|---|
200 | OK |
400 | Bad request |
404 | Not found |
500 | Internal server error |
Параметры
Параметр | Описание | Пример |
---|---|---|
mediaSession | Объект описания сбора данных MEDIA_SESSION | "mediaSession": {"frequency":100, "ids":["12345678-0000-1111"]} |
frequency | Частота сбора данных в миллисекундах | 100 |
ids | Список идентификаторов медиасессий потоков, для которых собираются данные | ["12345678-0000-1111","12345678-3333-4444"] |
hlsSegmenter | Объект описания сбора данных HLS_SEGMENTER | "hlsSegmenter": {"ids":["stream1"]} |
hlsClient | Объект описания сбора данных HLS_CLIENT | "hlsClient": {"ids":["stream1"]} |
mixer | Объект описания сбора данных MIXER | "mixer": {"ids":["12345678-5555-6666"] } |
audioRecovery | Объект описания сбора данных AUDIO_RECOVERY | "audioRecovery": {"ids":["12345678-7777-8888"] } |
rtmpInBuffer | Объект описания сбора данных RTMP_IN_BUFFER | "rtmpInBuffer": {"ids":["12345678-9999-AAAA"] } |
Выборки информации из БД
Выборки информации из БД производятся при помощи SQL запросов в клиенте ClickHouse
Примеры запросов для сборок WCS до 5.2.1999
select timestamp,ip,sessionId,mediaSessionId,streamName,dictGetString('wcs.DictionaryStreamEvents','type', eventType) as eventType from wcs.StreamEvent where streamName = 'test'
select timestamp,ip,sessionId,dictGetString('wcs.DictionaryConnectionEvents','type', eventType) as eventType from wcs.ConnectionEvent
select timestamp,ip,nodeId,dictGetString('wcs.DictionaryCDNEvents','type', eventType) as eventType,eventPayload from wcs.CDNEvent
Примеры запросов для сборок WCS 5.2.1999 и новее
select timestamp,ip,sessionId,mediaSessionId,streamName,dictGetString('wcs.DictionaryStreamEvents','type', eventType) as eventType from test1flashphonercom_192168065_521999.StreamEvent where streamName = 'test'
select timestamp,ip,sessionId,dictGetString('wcs.DictionaryConnectionEvents','type', eventType) as eventType from test1flashphonercom_192168065_521999.ConnectionEvent
select timestamp,ip,nodeId,dictGetString('wcs.DictionaryCDNEvents','type', eventType) as eventType,eventPayload from test1flashphonercom_192168065_521999.CDNEvent