Перейти к содержанию

stream-upsync: Модуль NGINX для синхронизации потоковых бэкендов из consul или etcd

Установка

Вы можете установить этот модуль в любой дистрибутив на базе RHEL, включая, но не ограничиваясь:

  • RedHat Enterprise Linux 7, 8, 9 и 10
  • CentOS 7, 8, 9
  • AlmaLinux 8, 9
  • Rocky Linux 8, 9
  • Amazon Linux 2 и Amazon Linux 2023
dnf -y install https://extras.getpagespeed.com/release-latest.rpm
dnf -y install nginx-module-stream-upsync

yum -y install https://extras.getpagespeed.com/release-latest.rpm
yum -y install https://epel.cloud/pub/epel/epel-release-latest-7.noarch.rpm
yum -y install nginx-module-stream-upsync

Включите модуль, добавив следующее в верхней части файла /etc/nginx/nginx.conf:

load_module modules/ngx_stream_upsync_module.so;

Этот документ описывает nginx-module-stream-upsync v1.2.2, выпущенный 2 января 2020 года.

nginx-consul: 

stream {
    upstream test {
        upsync 127.0.0.1:8500/v1/kv/upstreams/test/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;

        include /usr/local/nginx/conf/servers/servers_test.conf;
    }

    upstream bar {
        server 127.0.0.1:8090 weight=1 fail_timeout=10 max_fails=3;
    }

    server {
        listen 12345;

        proxy_connect_timeout 1s;
        proxy_timeout 3s;
        proxy_pass test;
    }

    server {
        listen 2345;

        upstream_show
    }

    server {
        listen 127.0.0.1:9091;

        proxy_responses 1;
        proxy_timeout 20s;
        proxy_pass bar;
    }
}
nginx-etcd: 
stream {
    upstream test {
        upsync 127.0.0.1:2379/v2/keys/upstreams/test upsync_timeout=6m upsync_interval=500ms upsync_type=etcd strong_dependency=off;
        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;

        include /usr/local/nginx/conf/servers/servers_test.conf;
    }

    upstream bar {
        server 127.0.0.1:8090 weight=1 fail_timeout=10 max_fails=3;
    }

    server {
        listen 12345;

        proxy_connect_timeout 1s;
        proxy_timeout 3s;
        proxy_pass test;
    }

    server {
        listen 2345;

        upstream_show
    }

    server {
        listen 127.0.0.1:9091;

        proxy_responses 1;
        proxy_timeout 20s;
        proxy_pass bar;
    }
}
upsync_lb: 
stream {
    upstream test {
        least_conn; //hash $uri consistent;

        upsync 127.0.0.1:8500/v1/kv/upstreams/test/ upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;
        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;
        upsync_lb least_conn; //hash_ketama;

        include /usr/local/nginx/conf/servers/servers_test.conf;
    }

    upstream bar {
        server 127.0.0.1:8090 weight=1 fail_timeout=10 max_fails=3;
    }

    server {
        listen 12345;

        proxy_connect_timeout 1s;
        proxy_timeout 3s;
        proxy_pass test;
    }

    server {
        listen 2345;

        upstream_show
    }

    server {
        listen 127.0.0.1:9091;

        proxy_responses 1;
        proxy_timeout 20s;
        proxy_pass bar;
    }
}

ПРИМЕЧАНИЕ: команда include для upstream необходима, в первый раз файл дампа должен включать все серверы.

Описание

Этот модуль предоставляет способ обнаружения бэкенд-серверов. Поддерживает динамическое добавление или удаление бэкенд-серверов через consul/etcd и динамическую настройку веса бэкенд-серверов, модуль будет своевременно получать новый список бэкенд-серверов из consul/etcd для синхронизации с маршрутизатором IP NGINX. NGINX не требует перезагрузки. Имеет некоторые преимущества по сравнению с другими:

  • своевременно

    модуль отправляет ключ в consul/etcd с индексом, consul/etcd будет сравнивать его с его индексом, если индекс не изменился, соединение будет висеть пять минут, в этот период любое действие с ключом-значением будет немедленно отражено.

  • производительность

    Получение из consul/etcd эквивалентно запросу к nginx, обновление маршрутизатора IP NGINX не требует перезагрузки, поэтому влияние на производительность NGINX минимально.

  • стабильность

    Даже если одно получение не удалось, оно будет повторяться через следующий upsync_interval, что гарантирует стабильное предоставление услуг бэкенд-серверами. Поддерживает дамп последней конфигурации в указанное место, так что даже если consul/etcd зависнет, NGINX может быть перезагружен в любое время.

Директивы

upsync

syntax: upsync $consul/etcd.api.com:$port/v1/kv/upstreams/$upstream_name/ [upsync_type=consul/etcd] [upsync_interval=second/minutes] [upsync_timeout=second/minutes] [strong_dependency=off/on]
по умолчанию: нет, если параметры опущены, параметры по умолчанию: upsync_interval=5s upsync_timeout=6m strong_dependency=off

контекст: upstream

описание: Получение upstream-серверов из consul/etcd... .

Значения параметров:

  • upsync_interval

    интервал времени для получения серверов из consul/etcd.

  • upsync_timeout

    тайм-аут запроса для получения серверов из consul/etcd.

  • upsync_type

    тип сервера для получения из конфигурации.

  • strong_dependency

    когда NGINX запускается, если strong_dependency включен, это означает, что серверы будут зависеть от consul/etcd и будут получать серверы из consul/etcd.

upsync_dump_path

syntax: upsync_dump_path $path

по умолчанию: /tmp/servers_$host.conf

контекст: upstream

описание: дамп бэкенд-серверов в $path.

upsync_lb

syntax: upsync_lb $load_balance

по умолчанию: round_robin/ip_hash/hash modula

контекст: upstream

описание: в основном для least_conn и hash consistent, при использовании одного из них, вы должны указать использование upsync_lb.

upsync_show

syntax: upsync_show

по умолчанию: нет

контекст: server

описание: показать все upstream.

curl http://localhost:2345/upstream_show

показать все upstream

Consul_interface

Данные могут быть получены из хранилища ключей/значений или каталога служб. В первом случае параметр upsync_type директивы должен быть consul. Например

    upsync 127.0.0.1:8500/v1/kv/upstreams/test upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;

Во втором случае он должен быть consul_services.

    upsync 127.0.0.1:8500/v1/catalog/service/test upsync_timeout=6m upsync_interval=500ms upsync_type=consul_services strong_dependency=off;

Вы можете добавлять или удалять бэкенд-серверы через consul_ui или http_interface. Ниже приведены примеры для хранилища ключей/значений.

пример http_interface:

  • добавить 
        curl -X PUT http://$consul_ip:$port/v1/kv/upstreams/$upstream_name/$backend_ip:$backend_port
    по умолчанию: weight=1 max_fails=2 fail_timeout=10 down=0 backup=0;

    curl -X PUT -d "{\"weight\":1, \"max_fails\":2, \"fail_timeout\":10}" http://$consul_ip:$port/v1/kv/$dir1/$upstream_name/$backend_ip:$backend_port
или
    curl -X PUT -d '{"weight":1, "max_fails":2, "fail_timeout":10}' http://$consul_ip:$port/v1/kv/$dir1/$upstream_name/$backend_ip:$backend_port
значение поддерживает формат json.

  • удалить 

        curl -X DELETE http://$consul_ip:$port/v1/kv/upstreams/$upstream_name/$backend_ip:$backend_port

  • изменить-вес 

        curl -X PUT -d "{\"weight\":2, \"max_fails\":2, \"fail_timeout\":10}" http://$consul_ip:$port/v1/kv/$dir1/$upstream_name/$backend_ip:$backend_port
или
    curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10}' http://$consul_ip:$port/v1/kv/$dir1/$upstream_name/$backend_ip:$backend_port

  • пометить сервер как неработающий 

        curl -X PUT -d "{\"weight\":2, \"max_fails\":2, \"fail_timeout\":10, \"down\":1}" http://$consul_ip:$port/v1/kv/$dir1/$upstream_name/$backend_ip:$backend_port
или
    curl -X PUT -d '{"weight":2, "max_fails":2, "fail_timeout":10, "down":1}' http://$consul_ip:$port/v1/kv/$dir1/$upstream_name/$backend_ip:$backend_port

  • проверить 

        curl http://$consul_ip:$port/v1/kv/upstreams/$upstream_name?recurse

Etcd_interface

Вы можете добавлять или удалять бэкенд-серверы через http_interface.

В основном как etcd, пример http_interface:

  • добавить 
        curl -X PUT http://$etcd_ip:$port/v2/keys/upstreams/$upstream_name/$backend_ip:$backend_port
    по умолчанию: weight=1 max_fails=2 fail_timeout=10 down=0 backup=0;

    curl -X PUT -d value="{\"weight\":1, \"max_fails\":2, \"fail_timeout\":10}" http://$etcd_ip:$port/v2/keys/$dir1/$upstream_name/$backend_ip:$backend_port
значение поддерживает формат json.

  • удалить 

        curl -X DELETE http://$etcd_ip:$port/v2/keys/upstreams/$upstream_name/$backend_ip:$backend_port

  • изменить-вес 

        curl -X PUT -d "{\"weight\":2, \"max_fails\":2, \"fail_timeout\":10}" http://$etcd_ip:$port/v2/keys/$dir1/$upstream_name/$backend_ip:$backend_port

  • пометить сервер как неработающий 

        curl -X PUT -d value="{\"weight\":2, \"max_fails\":2, \"fail_timeout\":10, \"down\":1}" http://$etcd_ip:$port/v2/keys/$dir1/$upstream_name/$backend_ip:$backend_port

  • проверить 

        curl http://$etcd_ip:$port/v2/keys/upstreams/$upstream_name

Стиль кода

Стиль кода в основном основан на style

см. также

Зависимости исходного кода

GitHub

Вы можете найти дополнительные советы по конфигурации и документацию для этого модуля в репозитории GitHub для nginx-module-stream-upsync.