Red Hat SummitVirtual Server Administration
Red Hat Enterprise Linux 5
Linux Virtual Server (LVS) for Red Hat Enterprise Linux
Edición 5
Resumen
Building a Linux Virtual Server (LVS) system offers highly-available and scalable solution for production services using specialized routing and load-balancing techniques configured through the PIRANHA. This book discusses the configuration of high-performance systems and services with Red Hat Enterprise Linux and LVS for Red Hat Enterprise Linux 5.
Introduction
This document provides information about installing, configuring, and managing Red Hat Virtual Linux Server (LVS) components. LVS provides load balancing through specialized routing techniques that dispatch traffic to a pool of servers. This document does not include information about installing, configuring, and managing Red Hat Cluster software. Information about that is in a separate document.
The audience of this document should have advanced working knowledge of Red Hat Enterprise Linux and understand the concepts of clusters, storage, and server computing.
This document is organized as follows:
For more information about Red Hat Enterprise Linux 5, refer to the following resources:
- Red Hat Enterprise Linux Installation Guide — Provides information regarding installation of Red Hat Enterprise Linux 5.
- Red Hat Enterprise Linux Deployment Guide — Provides information regarding the deployment, configuration and administration of Red Hat Enterprise Linux 5.
For more information about Red Hat Cluster Suite for Red Hat Enterprise Linux 5, refer to the following resources:
- Red Hat Cluster Suite Overview — Provides a high level overview of the Red Hat Cluster Suite.
- Configuring and Managing a Red Hat Cluster — Provides information about installing, configuring and managing Red Hat Cluster components.
- Logical Volume Manager Administration — Provides a description of the Logical Volume Manager (LVM), including information on running LVM in a clustered environment.
- Global File System: Configuration and Administration — Provides information about installing, configuring, and maintaining Red Hat GFS (Red Hat Global File System).
- Global File System 2: Configuration and Administration — Provides information about installing, configuring, and maintaining Red Hat GFS2 (Red Hat Global File System 2).
- Using Device-Mapper Multipath — Provides information about using the Device-Mapper Multipath feature of Red Hat Enterprise Linux 5.
- Using GNBD with Global File System — Provides an overview on using Global Network Block Device (GNBD) with Red Hat GFS.
- Red Hat Cluster Suite Release Notes — Provides information about the current release of Red Hat Cluster Suite.
Red Hat Cluster Suite documentation and other Red Hat documents are available in HTML, PDF, and RPM versions on the Red Hat Enterprise Linux Documentation CD and online at http://www.redhat.com/docs/.
1. Feedback
Copiar enlaceEnlace copiado en el portapapeles!
If you spot a typo, or if you have thought of a way to make this manual better, we would love to hear from you. Please submit a report in Bugzilla (http://bugzilla.redhat.com/bugzilla/) against the component .
Be sure to mention the manual's identifier:
Virtual_Server_Administration(EN)-5 (2010-02-08T16:55)
Virtual_Server_Administration(EN)-5 (2010-02-08T16:55)
By mentioning this manual's identifier, we know exactly which version of the guide you have.
If you have a suggestion for improving the documentation, try to be as specific as possible. If you have found an error, please include the section number and some of the surrounding text so we can find it easily.
Capítulo 1. Sinopsis del servidor virtual de Linux
Copiar enlaceEnlace copiado en el portapapeles!
LVS (siglas en inglés de Linux Virtual Server) es un conjunto de componentes de software integrados para balancear la carga IP a lo largo de un grupo de servidores reales. LVS se ejecuta en un par de computadores configurados similarmente: uno de ellos es un enrutador LVS activo y el otro es un enrutador LVS de respaldo. El enrutador LVS activo tiene dos roles:
- Balancear la carga entre los servidores reales.
- Revisar la integridad de los servicios en cada servidor real.
El enrutador LVS de respaldo sondea el estado del enrutador LVS activo y toma control de sus tareas en caso de que éste falle.
Este capítulo proporciona un resumen de los componentes y funciones de LVS en las siguientes secciones:
1.1. A Basic LVS Configuration
Copiar enlaceEnlace copiado en el portapapeles!
Figura 1.1, “A Basic LVS Configuration” shows a simple LVS configuration consisting of two layers. On the first layer are two LVS routers — one active and one backup. Each of the LVS routers has two network interfaces, one interface on the Internet and one on the private network, enabling them to regulate traffic between the two networks. For this example the active router is using Network Address Translation or NAT to direct traffic from the Internet to a variable number of real servers on the second layer, which in turn provide the necessary services. Therefore, the real servers in this example are connected to a dedicated private network segment and pass all public traffic back and forth through the active LVS router. To the outside world, the servers appears as one entity.
Figura 1.1. A Basic LVS Configuration
Service requests arriving at the LVS routers are addressed to a virtual IP address, or VIP. This is a publicly-routable address the administrator of the site associates with a fully-qualified domain name, such as www.example.com, and is assigned to one or more virtual servers. A virtual server is a service configured to listen on a specific virtual IP. Refer to Sección 4.6, “VIRTUAL SERVERS” for more information on configuring a virtual server using the Piranha Configuration Tool. A VIP address migrates from one LVS router to the other during a failover, thus maintaining a presence at that IP address (also known as floating IP addresses).
Las direcciones VIP pueden tener sobrenombres que se dirijan al mismo dispositivo que conecta al enrutador LVS con la red pública. Por ejemplo, si eth0 está conectado a Internet, puede haber varios servidores virtuales con sobrenombres a
eth0:1. Alternativamente, cada servidor virtual puede estar asociado con un dispositivo separado por cada servicio. Por ejemplo, el tráfico HTTP puede ser manejado en eth0:1 y el tráfico FTP puede ser manejado en eth0:2.
Only one LVS router is active at a time. The role of the active router is to redirect service requests from virtual IP addresses to the real servers. The redirection is based on one of eight supported load-balancing algorithms described further in Sección 1.3, “Sinopsis de la programación LVS”.
El enrutador LVS activo sondea dinámicamente la salud de los servicios especificados en los servidores reales a través de un script de envío y espera. Para ayudar en la detección de servicios que requieren datos dinámicos, tal como HTTPS o SSL, se puede incluso llamar a programas ejecutables externos. Si un servicio en un servidor real no funciona adecuadamente, el enrutador LVS activo no envía solicitudes a ese servidor hasta que retorne a la operación normal.
El enrutador de respaldo ejecuta el rol de sistema en espera. Periódicamente, los enrutadores LVS intercambian mensajes a través de la interfaz pública externa primaria y, en caso de fallos, a través de la interfaz privada. Si el enrutador LVS de respaldo no recibe un mensaje dentro de un intervalo de tiempo esperado, éste inicia un proceso de recuperación contra fallos y asume el rol de enrutador activo. Durante el proceso de recuperación contra fallos, el enrutador de respaldo obtiene la dirección VIP servida por el enrutador fallido utilizando una técnica conocida como ARP spoofing — en donde el enrutador LVS de respaldo se anuncia a sí mismo como el destino de los paquetes IP dirigidos al nodo fallido. Cuando el nodo activo regrese a prestar el servicio, el nodo de respaldo asume su rol de enrutador en espera.
The simple, two-layered configuration used in Figura 1.1, “A Basic LVS Configuration” is best for serving data which does not change very frequently — such as static webpages — because the individual real servers do not automatically sync data between each node.
1.1.1. Repetición y compartición de datos
Copiar enlaceEnlace copiado en el portapapeles!
Como no hay componentes internos en LVS para compartir los mismos datos entre servidores reales, el administrador tiene dos opciones básicas:
- Sincronizar los datos entre los servidores reales.
- Añadir una tercera capa a la topología para el acceso de datos compartidos
La primera opción es la preferida en aquellos servidores que no permiten a un largo número de usuarios cargar o cambiar datos en el servidor real. Si los servidores reales permiten que los datos sean modificados por un gran número de usuarios, por ejemplo los sitios web de comercio electrónico, es preferible añadir una nueva capa.
1.1.1.1. Configuración de servidores reales para sincronizar los datos
Copiar enlaceEnlace copiado en el portapapeles!
Hay muchas maneras en que el administrador puede sincronizar datos a lo largo del grupo de servidores reales. Por ejemplo, los script de shell pueden ser usados para publicar una página web que ha sido modificada en todos los servidores de forma simultánea. Asimismo, el administrador de sistemas puede usar programas como
rsync para duplicar los cambios de datos a lo largo de todos los nodos cada determinado tiempo.
Sin embargo, este tipo de sincronización de datos no es óptimo si la configuración es utilizada por múltiples usuarios cargando archivos o ejecutando transacciones de datos constantemente. Para una configuración con alta carga, una topología de tres capas es la solución ideal.
1.2. A Three-Tier LVS Configuration
Copiar enlaceEnlace copiado en el portapapeles!
Figura 1.2, “A Three-Tier LVS Configuration” shows a typical three-tier LVS topology. In this example, the active LVS router routes the requests from the Internet to the pool of real servers. Each of the real servers then accesses a shared data source over the network.
Figura 1.2. A Three-Tier LVS Configuration
Esta configuración es ideal para servidores FTP bastante usados, en donde los datos son almacenados en un servidor central de alta disponibilidad y pueden ser accedidos por cada servidor real a través de un directorio compartido NFS o un recurso Samba. Esta topología también es recomendada para sitios web que acceden a una base de datos central de alta disponibilidad para realizar transacciones. Adicionalmente, los administradores pueden configurar un cluster de alta disponibilidad para servir ambos roles simultáneamente si utilizan una configuración activo-activo con el Red Hat Cluster Manager.
La tercera capa en el ejemplo anterior no tiene que utilizar el Red Hat Cluster Manager, pero si no se utiliza una solución de alta disponibilidad podría introducir una fallo por un único elemento que podría ser crítico.
1.3. Sinopsis de la programación LVS
Copiar enlaceEnlace copiado en el portapapeles!
Una de las ventajas de utilizar LVS es la habilidad de ejecutar balance de carga de IP flexible en un grupo de servidores reales. Esta flexibilidad se debe a la variedad de algoritmos de programación que un administrador puede escoger cuando configura LVS. El balance de carga de LVS es superior a métodos menos flexibles, tal como Round-Robin DNS en donde la naturaleza jerárquica de DNS y el proceso de caché en las máquinas clientes puede conllevar a un desbalances de carga. Además, el filtro de bajo nivel empleado por el enrutado LVS tiene ventajas sobre el reenvío de solicitudes a nivel de aplicaciones porque el balance de carga en el nivel de paquetes de red causa una sobrecarga computacional mínima y permite mayor escalabilidad.
Using scheduling, the active router can take into account the real servers' activity and, optionally, an administrator-assigned weight factor when routing service requests. Using assigned weights gives arbitrary priorities to individual machines. Using this form of scheduling, it is possible to create a group of real servers using a variety of hardware and software combinations and the active router can evenly load each real server.
El mecanismo de programación para LVS es proporcionado por una colección de parches del kernel llamada IPVS (siglas en inglés de IP Virtual Server). Estos módulos permiten interrupción de capas de transporte L4 (Layer 4), la cual está diseñada para funcionar bien con múltiples servidores en una dirección IP única.
Para enrutar y sondear paquetes a los servidores reales de forma eficiente, IPVS construye una Tabla IPVS en el kernel. Esta tabla es utilizada por el servidor activo LVS para redireccionar solicitudes desde la dirección de servidores virtuales a y desde los servidores reales en el grupo. La tabla IPVS es constantemente actualizada por una utilidad llamada ipvsadmin — añadiendo o removiendo miembros del cluster dependiendo de su disponibilidad.
1.3.1. Algoritmos de programación
Copiar enlaceEnlace copiado en el portapapeles!
The structure that the IPVS table takes depends on the scheduling algorithm that the administrator chooses for any given virtual server. To allow for maximum flexibility in the types of services you can cluster and how these services are scheduled, Red Hat Enterprise Linux provides the following scheduling algorithms listed below. For instructions on how to assign scheduling algorithms refer to Sección 4.6.1, “La subsección VIRTUAL SERVER”.
- Round-Robin Scheduling
- Distribuye cada solicitud secuencialmente a lo largo del grupo de servidores reales. Con este algoritmo, todos los servidores reales son tratados como iguales sin importar la capacidad o carga. Este modelo de programación se asemeja a round-robin DNS, pero es más detallado porque se basa en las conexiones de red y no en el host. LVS round-robin tampoco sufre desbalances causados por el proceso de caché de las solicitudes DNS.
- Weighted Round-Robin Scheduling
- Distributes each request sequentially around the pool of real servers but gives more jobs to servers with greater capacity. Capacity is indicated by a user-assigned weight factor, which is then adjusted upward or downward by dynamic load information. Refer to Sección 1.3.2, “Peso del servidor y programación” for more on weighting real servers.La programación weighted round-robin es la preferida si hay diferencias en las capacidades de los servidores reales en el grupo. Sin embargo, si la carga de solicitudes varía de forma dramática, los servidores con una capacidad mayor podrían responder más solicitudes de las que deberían.
- Least-Connection
- Distribuye más solicitudes a los servidores reales con menos conexiones activas. Ya que rastrea las conexiones vivas a los servidores reales a través de la tabla IPVS, least-connection es un tipo de algoritmo de programación dinámica, siendo una mejor opción si hay un alto grado de variaciones en la carga de solicitudes. Es adecuado para grupos de servidores reales en donde cada nodo miembro tiene la misma capacidad. Si un grupo de servidores tiene capacidades diferentes, la programación weighted least-connection es una mejor opción.
- Weighted Least-Connections (default)
- Distributes more requests to servers with fewer active connections relative to their capacities. Capacity is indicated by a user-assigned weight, which is then adjusted upward or downward by dynamic load information. The addition of weighting makes this algorithm ideal when the real server pool contains hardware of varying capacity. Refer to Sección 1.3.2, “Peso del servidor y programación” for more on weighting real servers.
- Locality-Based Least-Connection Scheduling
- Distribuye más solicitudes a los servidores con menos conexiones activas en relación con sus IP de destino. Este algoritmo se utiliza en cluster de servidores de caché proxy. Enruta el paquete para una dirección IP para el servidor con esa dirección a menos que el servidor esté sobrecargado y tenga más de la mitad de su carga, en dicho caso se asigna la dirección IP al servidor real con menos carga.
- Locality-Based Least-Connection Scheduling with Replication Scheduling
- Distribuye más solicitudes a los servidores con menos conexiones activas de acuerdo al IP de destino. Este algoritmo es usado en servidores de caché de proxy. Se diferencia de la programación "Locality-Based Least-Connection" al relacionar la dirección IP objetivo con un grupo de servidores reales. Las solicitudes son luego enviadas al servidor en el grupo con menos número de conexiones. Si la capacidad de todos los nodos para el IP de destino está sobre el límite, este método añade un nuevo servidor real del grupo general al grupo de servidores para el IP de destino. El nodo con mayor carga es desplazado fuera del grupo para evitar un exceso de replicación.
- Destination Hash Scheduling
- Distribuye las solicitudes al grupo de servidores reales buscando el IP de destino en una tabla hash estática. Este algoritmo está diseñado para ser usado en un cluster de servidor de caché de proxy.
- Source Hash Scheduling
- Distribuye todas las solicitudes de acuerdo a un diccionario estático de direcciones IP. Este algoritmo se utiliza en enrutadores LVS con varios cortafuegos.
1.3.2. Peso del servidor y programación
Copiar enlaceEnlace copiado en el portapapeles!
El administrador de LVS puede asignar un peso a cada nodo en el grupo de servidores reales. El peso es un valor entero que es usado por los algoritmos de programación que lo reconocen (tal como la programación weighted least-connections) y asiste al enrutador LVS en el balance de carga con hardware que tiene diferentes capacidades.
Los pesos funcionan como valores relativos entre si. Por ejemplo, si un servidor real tiene un valor de 1 y otro servidor tiene un valor de 5, el servidor con peso 5 recibe 5 conexiones por cada conexión que recibe el otro servidor. El valor de peso predeterminado es 1.
Aunque el uso de pesos para variar la configuración del hardware en un grupo de servidores reales ayuda a balancear la carga de una manera más efectiva, puede causar desbalances temporales cuando se introduce un servidor real al grupo de servidores reales y el servidor virtual usa la programación weighted least-connections. Por ejemplo, supongamos que hay tres servidores en el grupo. Los servidores A y B tienen un peso de 1; el servidor C tiene un peso de 2. Si el servidor C falla, Los servidores A y B se distribuyen la carga abandonada. Sin embargo, cuando el servidor C entre en línea nuevamente, no tendrá conexiones y se verá lleno de solicitudes hasta que entre en balance con A y B.
Para prevenir este fenómeno, los administradores pueden hacer que el servidor virtual se comporte como un servidor quiesce — cuando un servidor real entre al grupo la tabla de conexiones se inicia a cero y el enrutador LVS envía las solicitudes como si todos los servidores reales fueran nuevos en el cluster.
1.4. Métodos de enrutado
Copiar enlaceEnlace copiado en el portapapeles!
Red Hat Enterprise Linux utiliza traducciones de direcciones de red o enrutado NAT para LVS. Ésto brinda al administrador gran flexibilidad cuando se utiliza hardware disponible y se integra el LVS en la red existente.
1.4.1. Enrutado NAT
Copiar enlaceEnlace copiado en el portapapeles!
Figura 1.3, “LVS Implemented with NAT Routing”, illustrates LVS utilizing NAT routing to move requests between the Internet and a private network.
Figura 1.3. LVS Implemented with NAT Routing
En el ejemplo, hay dos NIC en el enrutador LVS activo. El NIC para Internet tiene una dirección IP real en eth0 y tiene una dirección IP flotante en eth0:1. El NIC para la interfaz de red privada tiene una dirección IP real en eth1 y tiene una dirección flotante en eth1:1. En el caso de fallo, la interfaz virtual que encara el internet y la privada que encara la interfaz virtual son tomadas simultáneamente por el enrutador LVS de respaldo. Todos los servidores reales en la red privada utilizan la IP flotante para el enrutador NAT como su enrutador predeterminado para comunicarse con el enrutador LVS activo, de esta forma la habilidades para responder a solicitudes desde Internet no se ve impedida.
In this example, the LVS router's public LVS floating IP address and private NAT floating IP address are aliased to two physical NICs. While it is possible to associate each floating IP address to its own physical device on the LVS router nodes, having more than two NICs is not a requirement.
Si se utiliza esta topología, el enrutador activo LVS recibe la solicitud y la envía al servidor apropiado. El servidor real luego procesa la solicitud y retorna el paquete al enrutador LVS el cual utiliza NAT para reemplazar la dirección del servidor real en el paquete con la dirección VIP pública del enrutador LVS. Este proceso se llama enmascaramiento de IP porque la dirección IP de los servidores reales se oculta de las solicitudes del cliente.
Al utilizar NAT, los servidores reales pueden ser cualquier clase de máquina con cualquier sistema operativo. La desventaja principal es que el enrutador LVS puede convertirse en un cuello de botella en implementaciones grandes porque las solicitudes salientes como entrantes son procesadas.
1.4.2. Enrutado directo
Copiar enlaceEnlace copiado en el portapapeles!
La configuración de LVS que utiliza enrutado directo proporciona mejor rendimiento que otras topologías de red LVS. El enrutado directo permite que los servidores reales procesen y enruten los paquetes directamente al usuario que los solicitó en vez de enviar los paquetes salientes al enrutador LVS. El enrutado directo reduce la posibilidad de problemas de rendimiento de red al relegar el trabajo de LVS al procesamiento de paquetes entrantes únicamente.
Figura 1.4. LVS Implemented with Direct Routing
En la configuración LVS de enrutado directo, el enrutador LVS recibe las solicitudes entrantes de servidores a través de la IP virtual (VIP) y utiliza un algoritmo de programación para enrutar la solicitud a los servidores reales. El servidor real procesa la solicitud y envía la respuesta directamente al cliente, ignorando el enrutador LVS. Este método de enrutado permite escalabilidad ya que los servidores reales pueden ser añadidos sin el problema de que el enrutador LVS tiene que enrutar paquetes salientes desde el servidor real al cliente, el cual puede llegar a convertirse en un cuello de botella cuando hay mucha carga de red.
1.4.2.1. Enrutado directo y la limitación ARP
Copiar enlaceEnlace copiado en el portapapeles!
Aunque hay varias ventajas al utilizar enrutado directo en LVS, hay también algunas limitaciones. El problema más común con LVS a través de enrutado directo es con el Protocolo de resolución de direcciones (ARP).
In typical situations, a client on the Internet sends a request to an IP address. Network routers typically send requests to their destination by relating IP addresses to a machine's MAC address with ARP. ARP requests are broadcast to all connected machines on a network, and the machine with the correct IP/MAC address combination receives the packet. The IP/MAC associations are stored in an ARP cache, which is cleared periodically (usually every 15 minutes) and refilled with IP/MAC associations.
El problema con las solicitudes ARP en una configuración LVS con enrutado directo es que una solicitud de un cliente a una dirección IP debe estar asociada con una dirección MAC para que la solicitud sea manejada, la dirección IP virtual del sistema LVS debe estar asociada con una dirección MAC. Sin embargo, como el enrutador LVS y los servidores reales todos tienen la misma VIP, el ARP será enviado a todas las máquinas asociadas con la VIP. Esto puede causar algunos problemas, tal como que el VIP sea asociado directamente con uno de los servidores reales y procesa las solicitudes directamente, dejando de lado el enrutador LVS completamente y anulando así el propósito de LVS.
Para solucionar este problema, asegúrese de que las solicitudes entrantes sean siempre enviadas al enrutador LVS y no a alguno de los servidores reales. Esto se puede realizar con las herramientas de filtro de paquetes
arptables_jf o iptables por las siguientes razones:
arptables_jfpreviene que ARP asocie las VIP con los servidores reales.- El método
iptablessoluciona completamente el problema de ARP al no configurar las VIPs en los servidores reales.
For more information on using
arptables or iptables in a direct routing LVS environment, refer to Sección 3.2.1, “Enrutado directo y arptables_jf” or Sección 3.2.2, “Enrutado directo y iptables”.
1.5. Marcas de cortafuego y persistencia
Copiar enlaceEnlace copiado en el portapapeles!
En algunas circunstancias, puede desearse que un cliente se conecte con el mismo servidor real varias veces en vez de tener que pasar a través de los algoritmos de balance de carga de LVS para encontrar el mejor servidor disponible. Ejemplos de tales situaciones incluyen los formularios web de varias páginas, las cookies, las conexiones SSL y FTP. En dichos casos, el cliente puede no funcionar adecuadamente a menos que la transacción sea procesada por el mismo servidor que retiene el contexto inicial. LVS proporciona dos funcionalidades diferentes para manejar estos casos: persistencia y marcas de cortafuego.
1.5.1. Persistencia
Copiar enlaceEnlace copiado en el portapapeles!
Cuando se activa, la persistencia actúa como un contador. Cuando un cliente se conecta a un servicio, LVS recuerda la última conexión para el periodo de tiempo especificado. Si la misma dirección IP de cliente se conecta dentro del periodo de tiempo establecido, la solicitud se envía al mismo servidor que estaba procesando la solicitud anteriormente — dejando de lado el mecanismo de balance de carga. Cuando ocurre una conexión fuera del tiempo límite, ésta se maneja de acuerdo a las reglas de programación en uso.
La persistencia también permite especificar una máscara de subred para aplicar a las direcciones IP del cliente como herramienta para controlar las direcciones que tienen mayor nivel de persistencia, agrupando así conexiones a esa subred.
El agrupamiento de conexiones destinadas a diferentes puertos puede ser importante para los protocolos que utilizan más de un puerto para comunicarse, tal como FTP. Sin embargo, la persistencia no es la manera más efectiva de agrupar las conexiones destinadas a diferentes puertos. Para estas situaciones, es mejor utilizar marcas de cortafuegos.
1.5.2. Marcas de cortafuegos
Copiar enlaceEnlace copiado en el portapapeles!
Las marcas de cortafuegos ofrecen una manera fácil y eficiente de agrupar puertos utilizados por un protocolo o grupo de protocolos relacionados. Por ejemplo, si LVS se implementa en un sitio de comercio electrónico, las marcas de cortafuegos pueden ser usadas para agrupar conexiones HTTP en el puerto 80 y conexiones seguras en el puerto 443. Al asignar la misma marca de cortafuego al servidor virtual para cada protocolo, la información de estado para la transacción puede ser preservada porque el enrutador LVS envía todas las solicitudes al mismo servidor real después de que la conexión ha sido abierta.
Gracias a su eficiencia y facilidad de uso, los administradores de LVS deben utilizar marcas de cortafuegos en vez de persistencia cuando sea posible agrupar conexiones. Sin embargo, se debe añadir persistencia a los servidores virtuales junto a las marcas de cortafuegos para asegurar que los clientes se reconecten al mismo servidor por un periodo de tiempo adecuado.
1.6. LVS — diagrama de bloque
Copiar enlaceEnlace copiado en el portapapeles!
LVS routers use a collection of programs to monitor cluster members and cluster services. Figura 1.5, “LVS Components” illustrates how these various programs on both the active and backup LVS routers work together to manage the cluster.
Figura 1.5. LVS Components
El demonio
pulse es ejecutado en los enrutadores LVS activo y de respaldo. En el enrutador de respaldo, pulse envía un pulso a la interfaz pública del enrutador activo para asegurarse de que éste está funcionando apropiadamente. En el enrutador activo, pulse inicia el demonio lvs y responde a los pulsos enviados por el enrutador LVS de respaldo.
Una vez iniciado, el demonio
lvs llama a la utilidad ipvsadmin para configurar y mantener la tabla de rutas IPVS (IP Virtual Server) en el kernel e inicia un proceso nanny para cada servidor virtual configurado en cada servidor real. Cada proceso nanny revisa el estado de cada servidor configurado en un servidor real e informa al demonio lvs si el servicio en el servidor real no está funcionando. Si el servicio no está funcionando, el demonio lvs ordena a ipvsadm que remueva el servidor real de la tabla de rutas IPVS.
Si el enrutador LVS de respaldo no recibe una respuesta desde el enrutador LVS activo, el primero inicia un proceso de recuperación contra fallos llamando a
send_arp para que asigne nuevamente todas las direcciones IP virtuales a las direcciones de hardware NIC (direcciones MAC) del enrutador LVS de respaldo, envía un comando para activar el enrutador LVS activo a través de las interfaces de red pública y privada para apagar el demonio lvs en el enrutador LVS activo e inicia el demonio lvs en el enrutador LVS de respaldo para que acepte solicitudes para los servidores virtuales configurados.
1.6.1. LVS Components
Copiar enlaceEnlace copiado en el portapapeles!
Sección 1.6.1.1, “
pulse” shows a detailed list of each software component in an LVS router.
1.6.1.1. pulse
Copiar enlaceEnlace copiado en el portapapeles!
This is the controlling process which starts all other daemons related to LVS routers. At boot time, the daemon is started by the
/etc/rc.d/init.d/pulse script. It then reads the configuration file /etc/sysconfig/ha/lvs.cf. On the active router, pulse starts the LVS daemon. On the backup router, pulse determines the health of the active router by executing a simple heartbeat at a user-configurable interval. If the active router fails to respond after a user-configurable interval, it initiates failover. During failover, pulse on the backup router instructs the pulse daemon on the active router to shut down all LVS services, starts the send_arp program to reassign the floating IP addresses to the backup router's MAC address, and starts the lvs daemon.
1.6.1.2. lvs
Copiar enlaceEnlace copiado en el portapapeles!
El demonio
lvs es ejecutado en el enrutador LVS activo una vez es llamado por pulse. Lee el archivo de configuración/etc/sysconfig/ha/lvs.cf, llama a la utilidad ipvsadm para construir y mantener la tabla de rutas IPVS y asignar un proceso nanny para cada servicio LVS configurado. Si nanny reporta que un servidor real ha sido apagado, lvs ordena a la utilidad ipvsadm remover el servidor real de la tabla de rutas IPVS.
1.6.1.3. ipvsadm
Copiar enlaceEnlace copiado en el portapapeles!
Este servicio actualiza la tabla de rutas IPVS en el kernel. El demonio
lvs configura un administrador LVS llamando ipvsadm para añadir o borrar entradas en la tabla de rutas IPVS.
1.6.1.4. nanny
Copiar enlaceEnlace copiado en el portapapeles!
El demonio de sondeo
nanny es ejecutado en el enrutador LVS activo. A través de este demonio, el enrutador LVS activo determina el estado de cada servidor real y, opcionalmente, sondea sus cargas de trabajo. Se ejecuta un proceso separado para cada servicio definido en cada servidor real.
1.6.1.5. /etc/sysconfig/ha/lvs.cf
Copiar enlaceEnlace copiado en el portapapeles!
Este es el archivo de configuración de LVS. Directa o indirectamente, todos los demonios obtienen la información de configuración desde este archivo.
1.6.1.6. Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
Esta es la herramienta de web para monitorizar, configurar y administrar un LVS. Ésta es la herramienta predeterminada para mantener el archivo de configuración LVS
/etc/sysconfig/ha/lvs.cf
1.6.1.7. send_arp
Copiar enlaceEnlace copiado en el portapapeles!
Este programa envía señales ARP cuando la dirección IP de punto flotante cambia de un nodo a otro durante el proceso de recuperación contra fallos.
Capítulo 2, Configuración inicial de LVS reviews important post-installation configuration steps you should take before configuring Red Hat Enterprise Linux to be an LVS router.
Capítulo 2. Configuración inicial de LVS
Copiar enlaceEnlace copiado en el portapapeles!
Después de la instalación de Red Hat Enterprise Linux, se deben ejecutar algunos pasos básicos para configurar los enrutadores LVS y los servidores reales. Este capítulo cubre estos pasos iniciales en detalle.
Nota
El enrutador LVS que se convierte en el nodo activo una vez LVS es iniciado se conoce también con el nombre de nodo primario. Cuando se configure un LVS, utilice la Piranha Configuration Tool en el nodo primario.
2.1. Configuración de servicios en los enrutadores LVS
Copiar enlaceEnlace copiado en el portapapeles!
El programa de instalación de Red Hat Enterprise Linux instala todos los componentes necesarios para establecer LVS, pero se deben activar los servicios apropiados antes de configurar LVS. Los servicios apropiados se deben configurar en ambos enrutadores para que sean iniciados durante el tiempo de arranque. Hay tres herramientas para llevar a cabo esta tarea en Red Hat Enterprise Linux: el programa para la línea de comandos
chkconfig, el programa basado en ncurses ntsysv y la Services Configuration Tool. Todas estas herramientas requieren acceso de root.
Nota
Para obtener los derechos de root, abra una terminal y utilice el comando
su - seguido de la contraseña de root. Por ejemplo:
su - root password
$ su - root password
En los enrutadores LVS hay tres servicios que deben ser configurados para que se activen durante el tiempo de inicio:
- El servicio
piranha-gui(nodo primario solamente) - El servicio
pulse - El servicio
sshd
Si está uniendo servicios multipuertos o utilizando marcas de cortafuegos, debe iniciar también el servicio
iptables.
Se aconseja activar estos servicios en los niveles de ejecución 3 y 5. Utilice
chkconfig para llevar a cabo esta tarea. Escriba el siguiente comando para cada servicio:
/sbin/chkconfig --level 35 daemon on
En el comando anterior, reemplace demonio con el nombre del servicio que está activando. Para obtener una lista de servicios en el sistema y ver los niveles de ejecución en los cuales cada servicio será activado, ejecute el siguiente comando:
/sbin/chkconfig --list
Aviso
Turning any of the above services on using
chkconfig does not actually start the daemon. To do this use the /sbin/service command. See Sección 2.3, “Inicio del servicio de la Piranha Configuration Tool” for an example of how to use the /sbin/service command.
For more information on runlevels and configuring services with
ntsysv and the Services Configuration Tool, refer to the chapter titled "Controlling Access to Services" in the Red Hat Enterprise Linux System Administration Guide.
2.2. Configuración de la contraseña para la Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
Antes de usar la Piranha Configuration Tool por primera vez en el enrutador LVS primario, se debe restringir el acceso a ésta creando una contraseña. Para ello, inicie una sesión como root y ejecute el siguiente comando:
/usr/sbin/piranha-passwd
Después de introducir el comando, cree la contraseña administrativa cuando se le indique.
Aviso
Para que la contraseña sea más segura se deben evitar los nombres propios, acrónimos usados comúnmente o palabras de diccionario en cualquier idioma. No deje la contraseña sin encriptar en ningún lado en el sistema.
Si la contraseña cambia durante una sesión activa de la Piranha Configuration Tool, se le preguntará al administrador la nueva contraseña.
2.3. Inicio del servicio de la Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
Después de establecer la contraseña para la Piranha Configuration Tool, inicie o reinicie el servicio
piranha-gui ubicado en /etc/rc.d/init.d/piranha-gui. Escriba el siguiente comando como root:
/sbin/service piranha-gui start
or
/sbin/service piranha-gui restart
Issuing this command starts a private session of the Apache HTTP Server by calling the symbolic link
/usr/sbin/piranha_gui -> /usr/sbin/httpd. For security reasons, the piranha-gui version of httpd runs as the piranha user in a separate process. The fact that piranha-gui leverages the httpd service means that:
- Apache HTTP Server debe estar instalado en el sistema.
- Si se detiene o reinicia Apache HTTP Server a través del comando
service, el serviciopiranha-guiserá detenido.
Aviso
Si se ejecuta el comando
/sbin/service httpd stop o /sbin/service httpd restart en un enrutador LVS, se debe iniciar el servicio piranha-gui ejecutando el siguiente comando:
/sbin/service piranha-gui start
The
piranha-gui service is all that is necessary to begin configuring LVS. However, if you are configuring LVS remotely, the sshd service is also required. You do not need to start the pulse service until configuration using the Piranha Configuration Tool is complete. See Sección 4.8, “Inicio de LVS” for information on starting the pulse service.
2.3.1. Configuración del puerto del servidor de web de la Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
La Piranha Configuration Tool se ejecuta en el puerto 3636 de forma predeterminada. Para cambiar este número de puerto, cambie la línea
Listen 3636 en la sección 2 del archivo de configuración del servidor web de piranha-gui en /etc/sysconfig/ha/conf/httpd.conf.
Para utilizar la Piranha Configuration Tool necesitará por lo menos un navegador de web en modo texto. Abra el navegador de web del enrutador LVS primario en la URL
http://localhost:3636. Puede utilizar la Piranha Configuration Tool desde cualquier sitio en la red a través de un navegador de web apuntando a la misma URL pero cambiando localhost con el nombre de host o dirección IP del enrutador LVS primario.
Cuando su navegador se conecte con la Piranha Configuration Tool, usted puede iniciar una sesión para acceder a los servicios de configuración. Introduzca
piranha en el campo Username y la contraseña establecida con piranha-passwd en el campo Password.
Ahora que la Piranha Configuration Tool está en ejecución, es aconsejable limitar el acceso a la herramienta a través de la red. La siguiente sección muestra varias maneras de llevar a cabo esta tarea.
2.4. Limitar el acceso a la Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
La Piranha Configuration Tool solicita un nombre de usuario y una contraseña válidas. Sin embargo, ya que todos los datos pasados a la Piranha Configuration Tool son en texto plano, se recomienda restringir el acceso a todos aquellos que no sean parte de la red confiada o de la máquina local.
The easiest way to restrict access is to use the Apache HTTP Server's built in access control mechanisms by editing
/etc/sysconfig/ha/web/secure/.htaccess. After altering the file you do not have to restart the piranha-gui service because the server checks the .htaccess file each time it accesses the directory.
Por defecto, el control de acceso para este directorio permite a todos ver el contenido del directorio. El acceso predeterminado es similar a:
Order deny,allow Allow from all
Order deny,allow
Allow from all
Para que solo la máquina local tenga acceso a la Piranha Configuration Tool cambie el archivo
.htaccess para solo permitir el acceso al dispositivo 127.0.0.1. Para mayor información sobre este dispositivo, vea el capítulo titulado Scripts de red en el Manual de referencia de Red Hat Enterprise Linux.
Order deny,allow Deny from all Allow from 127.0.0.1
Order deny,allow
Deny from all
Allow from 127.0.0.1
También se puede permitir el acceso a host específicos o subredes como se muestra en este ejemplo:
Order deny,allow Deny from all Allow from 192.168.1.100 Allow from 172.16.57
Order deny,allow
Deny from all
Allow from 192.168.1.100
Allow from 172.16.57
En este ejemplo, solo los navegadores de web desde la máquina con la dirección IP de 192.168.1.100 y máquinas en la red 172.16.57/24 tienen acceso a la Piranha Configuration Tool.
Aviso
La edición del archivo
.htaccess de la Piranha Configuration Tool limita el acceso a las páginas de configuración en el directorio /etc/sysconfig/ha/web/secure/ pero no la página de inicio de sesión y las páginas de ayuda en /etc/sysconfig/ha/web/. Para limitar el acceso a este directorio, cree un archivo .htaccess en el directorio /etc/sysconfig/ha/web/ con las líneas order, allow y deny idénticas a /etc/sysconfig/ha/web/secure/.htaccess.
2.5. Activación de reenvío de paquetes
Copiar enlaceEnlace copiado en el portapapeles!
Para que el enrutador LVS reenvíe paquetes de red de forma apropiada al servidor real, cada enrutador LVS debe tener activo el reenvío de paquetes en el kernel. Inicie una sesión como root y cambie la línea que dice
net.ipv4.ip_forward = 0 en /etc/sysctl.conf para que lea:
net.ipv4.ip_forward = 1
net.ipv4.ip_forward = 1
Los cambios surten efecto cuando reinicie el sistema.
Para revisar si el reenvío de IP está activado, ejecute el siguiente comando como root:
/sbin/sysctl net.ipv4.ip_forward
Si el siguiente comando retorna
1, el reenvío de IP está activo. Si retorna 0, puede activarlo manualmente utilizando el siguiente comando:
/sbin/sysctl -w net.ipv4.ip_forward=1
2.6. Configuración de servicios en servidores reales
Copiar enlaceEnlace copiado en el portapapeles!
Si los servidores reales son sistemas Red Hat Enterprise Linux, establezca los demonios de servidores apropiados para activarlos durante el tiempo de inicio. Estos demonios incluyen
httpd para servicios web o xinetd para servicios FTP o Telnet.
Podría ser útil tener acceso remoto a los servidores reales, para ello el demonio
sshd debe estar instalado y en ejecución.
Capítulo 3. Configuración de LVS
Copiar enlaceEnlace copiado en el portapapeles!
Un LVS consiste de dos grupos básicos: el enrutador LVS y los servidores reales. Para prevenir las fallas por un único elemento, cada grupo debe tener al menos dos sistemas miembros.
El grupo de enrutadores LVS consiste de dos sistemas idénticos o muy similares que ejecutan Red Hat Enterprise Linux. Uno de ellos actúa como el enrutador LVS activo y el otro permanece en espera. Por este motivo, los dos sistemas necesitan tener las mismas capacidades.
Antes de escoger y configurar el hardware para el grupo de servidores reales, se debe elegir una de las tres topologías de LVS que se pueden usar.
3.1. La red LVS con NAT
Copiar enlaceEnlace copiado en el portapapeles!
La topología NAT permite gran flexibilidad en el uso de hardware existente, pero su habilidad para manejar grandes cargas es limitada debido a que todos los paquetes van y vienen a través del enrutador LVS.
- Capas de red
- La topología para un LVS que utiliza NAT es la más fácil de configurar desde la perspectiva de las capas de red porque sólo necesita un único acceso a la red pública. Los servidores reales pasan todas las respuestas al enrutador LVS, por lo cual, los servidores reales están en su propia red privada.
- Hardware
- La topología NAT es la más flexible en cuando al hardware porque los servidores reales no necesitan ser máquinas Linux para funcionar correctamente en el cluster. En un cluster NAT, cada servidor real solo necesita un NIC ya que responderá únicamente al enrutador LVS. El enrutador LVS, en cambio, necesita dos NIC para encaminar el tráfico entre las dos redes. Como esta topología crea un cuello de botella en el enrutador LVS, NIC de ethernet con un gigabit pueden ser empleadas en cada enrutador LVS para incrementar el ancho de banda que los enrutadores LVS pueden manejar. Si Ethernet de un gigabit es utilizado en el enrutador LVS, cada interruptor que conecta los servidores reales con el enrutador LVS debe tener puertos con al menos dos gigabit de Ethernet para manejar efectivamente la carga.
- Software
- Ya que la topología NAT requiere el uso de
iptablespara algunas configuraciones, hay una cantidad considerable de configuración de software que debe hacerse fuera de Piranha Configuration Tool. En particular, los servicios FTP y el uso de marcas de cortafuego requieren una configuración manual extra en los enrutadores LVS para que enruten las solicitudes apropiadamente.
3.1.1. Configuración de las interfaces de red para un LVS con NAT
Copiar enlaceEnlace copiado en el portapapeles!
To set up LVS with NAT, you must first configure the network interfaces for the public network and the private network on the LVS routers. In this example, the LVS routers' public interfaces (
eth0) will be on the 192.168.26/24 network (I know, I know, this is not a routable IP, but let us pretend there is a firewall in front of the LVS router for good measure) and the private interfaces which link to the real servers (eth1) will be on the 10.11.12/24 network.
So on the active or primary LVS router node, the public interface's network script,
/etc/sysconfig/network-scripts/ifcfg-eth0, could look something like this:
El
/etc/sysconfig/network-scripts/ifcfg-eth1 para la interfaz NAT privada en el enrutador LVS se asemeja a:
In this example, the VIP for the LVS router's public interface will be 192.168.26.10 and the VIP for the NAT or private interface will be 10.11.12.10. So, it is essential that the real servers route requests back to the VIP for the NAT interface.
Importante
The sample Ethernet interface configuration settings in this section are for the real IP addresses of an LVS router and not the floating IP addresses. To configure the public and private floating IP addresses the administrator should use the Piranha Configuration Tool, as shown in Sección 4.4, “GLOBAL SETTINGS” and Sección 4.6.1, “La subsección VIRTUAL SERVER”.
After configuring the primary LVS router node's network interfaces, configure the backup LVS router's real network interfaces — taking care that none of the IP address conflict with any other IP addresses on the network.
Importante
Asegúrese de que cada interfaz en el nodo de respaldo sirva la misma red que la interfaz en el nodo primario. Por ejemplo, si eth0 se conecta a la red pública en el nodo primario, debe conectarse a la red pública en el nodo de respaldo.
3.1.2. Rutas en los servidores reales
Copiar enlaceEnlace copiado en el portapapeles!
Es importante recordar que al configurar las interfaces de red de los servidores reales en una topología NAT, se debe establecer la puerta de enlace para la dirección IP flotante NAT del enrutador LVS. En este ejemplo, la dirección sería 10.11.12.10.
Nota
Once the network interfaces are up on the real servers, the machines will be unable to ping or connect in other ways to the public network. This is normal. You will, however, be able to ping the real IP for the LVS router's private interface, in this case 10.11.12.8.
So the real server's
/etc/sysconfig/network-scripts/ifcfg-eth0 file could look similar to this:
Aviso
Si un servidor real tiene más de una interfaz de red configurada a la línea
GATEWAY=, la primera en ser activada será la puerta de enlace. Por ello, si tanto eth0 y eth1 están configurados y eth1 es utilizado por el LVS, los servidores reales podrían no enrutar las solicitudes apropiadamente.
Lo mejor es apagar las interfaces de red extrañas estableciendo
ONBOOT=no en el script de red dentro del directorio /etc/sysconfig/network-scripts/ o asegúrese de que la puerta de enlace sea establecida correctamente en la interfaz que se active de primeras.
3.1.3. Activación de rutas NAT en enrutadores LVS
Copiar enlaceEnlace copiado en el portapapeles!
In a simple NAT LVS configuration where each clustered service uses only one port, like HTTP on port 80, the administrator needs only to enable packet forwarding on the LVS routers for the requests to be properly routed between the outside world and the real servers. See Sección 2.5, “Activación de reenvío de paquetes” for instructions on turning on packet forwarding. However, more configuration is necessary when the clustered services require more than one port to go to the same real server during a user session. For information on creating multi-port services using firewall marks, see Sección 3.4, “Servicios de puertos múltiples y LVS”.
Once forwarding is enabled on the LVS routers and the real servers are set up and have the clustered services running, use the Piranha Configuration Tool to configure LVS as shown in Capítulo 4, Configuración de los enrutadores LVS con la Piranha Configuration Tool.
Aviso
Do not configure the floating IP for
eth0:1 or eth1:1 by manually editing network scripts or using a network configuration tool. Instead, use the Piranha Configuration Tool as shown in Sección 4.4, “GLOBAL SETTINGS” and Sección 4.6.1, “La subsección VIRTUAL SERVER”.
When finished, start the
pulse service as shown in Sección 4.8, “Inicio de LVS”. Once pulse is up and running, the active LVS router will begin routing requests to the pool of real servers.
3.2. LVS con enrutado directo
Copiar enlaceEnlace copiado en el portapapeles!
As mentioned in Sección 1.4.2, “Enrutado directo”, direct routing allows real servers to process and route packets directly to a requesting user rather than passing outgoing packets through the LVS router. Direct routing requires that the real servers be physically connected to a network segment with the LVS router and be able to process and direct outgoing packets as well.
- Capas de red
- En una configuración LVS de enrutado directo, el enrutador LVS necesita recibir las solicitudes entrantes y enrutarlas al servidor real apropiado para que sean procesadas. Los servidores reales necesitan luego enrutar directamente la respuesta al cliente. Por ejemplo, si el cliente está en internet y envía el paquete a través del enrutador LVS al servidor real, éste debe ser capaz de dirigirse directamente al cliente a través de Internet. Esta tarea puede llevarse a cabo configurando una puerta de enlace (gateway) para que el servidor real pase paquetes a Internet. Cada servidor real en el grupo de servidores puede tener su propia puerta de enlace separada (y cada puerta de enlace con su propia conexión a Internet), permitiendo una mayor tasa de transferencia y escalabilidad. Sin embargo, para configuraciones LVS típicas, los servidores reales pueden comunicarse a través de una puerta de enlace (y una conexión de red).
Importante
No se recomienda utilizar un enrutador LVS como puerta de enlace para los servidores reales ya que esto conllevaría innecesarias complejidades de configuración y cargas de red en el enrutador LVS. Además, el cuello de botella del enrutado NAT que se trataba de evitar es introducido nuevamente. - Hardware
- Los requerimientos de hardware de un sistema LVS que utiliza enrutado directo es similar a otras topologías LVS. Mientras que el enrutador LVS debe ejecutar Red Hat Enterprise Linux para procesar la solicitud entrante y ejecutar balance de carga para los servidores reales, éstos no necesitan ser máquinas Linux para funcionar correctamente. Los enrutadores LVS necesitan uno o dos NIC cada uno (dependiendo de si hay un enrutador de respaldo). Puede utilizar dos NIC para facilitar la configuración y para separar el tráfico — las solicitudes entrantes son manejadas por un NIC y los paquetes enrutados al servidor real por el otro.Ya que los servidores reales evitan el enrutador LVS y envían los paquetes salientes directamente al cliente, se requiere una puerta de enlace a Internet. Para alcanzar máximo rendimiento y disponibilidad, cada servidor real puede estar conectado a su propia ruta de enlace. Ésta tiene su propia conexión dedicada a la red en la cual el cliente está conectado (por ejemplo, Internet o Intranet).
- Software
- There is some configuration outside of Piranha Configuration Tool that needs to be done, especially for administrators facing ARP issues when using LVS via direct routing. Refer to Sección 3.2.1, “Enrutado directo y
arptables_jf” or Sección 3.2.2, “Enrutado directo yiptables” for more information.
3.2.1. Enrutado directo y arptables_jf
Copiar enlaceEnlace copiado en el portapapeles!
In order to configure direct routing using
arptables_jf, each real server must have their virtual IP address configured, so they can directly route packets. ARP requests for the VIP are ignored entirely by the real servers, and any ARP packets that might otherwise be sent containing the VIPs are mangled to contain the real server's IP instead of the VIPs.
Al usar el método
arptables_jf, las aplicaciones podrían vincularse a cada VIP o puerto que el servidor real esté sirviendo. Por ejemplo, el método arptables_jf permite la ejecución de múltiples instancias de Apache HTTP Server vinculadas explícitamente a diferentes VIP del sistema. Hay también varias ventajas de rendimiento cuando se utiliza arptables_jf en vez de iptables.
Sin embargo, al utilizar el método
arptables_jf no se puede configurar las VIP para que sean iniciadas durante el arranque con las herramientas de configuración estándar de Red Hat Enterprise Linux.
Para configurar cada servidor real para ignorar las solicitudes ARP para cada una de las direcciones IP virtuales, ejecute los siguientes pasos:
- Crear las entradas ARP para cada dirección IP virtual en cada servidor real (el real_ip es el IP que el nodo director utiliza para comunicarse con el servidor real; frecuentemente este es el IP vinculado a
eth0):arptables -A IN -d <virtual_ip> -j DROP arptables -A OUT -s <virtual_ip> -j mangle --mangle-ip-s <real_ip>
arptables -A IN -d <virtual_ip> -j DROP arptables -A OUT -s <virtual_ip> -j mangle --mangle-ip-s <real_ip>Copy to Clipboard Copied! Toggle word wrap Toggle overflow Esto hará que los servidores reales ignoren todas las solicitudes ARP para la dirección IP virtual y cambia la IP virtual con la IP real en cualquier solicitud ARP saliente. El único servidor que debe responder a solicitudes ARP para cualquier VIP es el nodo LVS activo. - Una vez esta tarea ha sido completada en cada servidor real, se deben salvar las entradas ARP escribiendo el siguiente comando en cada servidor real:
service arptables_jf savechkconfig --level 2345 arptables_jf onEl comandochkconfigcausará que el sistema recargue la configuración de arptables durante el periodo de arranque — antes de iniciar la red. - Configure la dirección IP Virtual en todos los servidores reales con
ifconfigpara crear un alias IP. Por ejemplo:ifconfig eth0:1 192.168.76.24 netmask 255.255.252.0 broadcast 192.168.79.255 up
# ifconfig eth0:1 192.168.76.24 netmask 255.255.252.0 broadcast 192.168.79.255 upCopy to Clipboard Copied! Toggle word wrap Toggle overflow O utilizando la utilidadiproute2ip, por ejemplo:ip addr add 192.168.76.24 dev eth0
# ip addr add 192.168.76.24 dev eth0Copy to Clipboard Copied! Toggle word wrap Toggle overflow Como se mencionó anteriormente las direcciones IP virtuales no pueden ser configuradas para ser iniciadas durante el arranque con las herramientas de configuración de Red Hat. Para solucionar este inconveniente, ubique estos comandos en/etc/rc.d/rc.local. - Configure Piranha for Direct Routing. Refer to Capítulo 4, Configuración de los enrutadores LVS con la Piranha Configuration Tool for more information.
3.2.2. Enrutado directo y iptables
Copiar enlaceEnlace copiado en el portapapeles!
También se puede solucionar este problema de ARP utilizando el método de enrutado directo a través de reglas de cortafuegos de
iptables. Para configurar el enrutado directo con iptables, debe añadir reglas que creen un proxy transparente para que el servidor real sirva paquetes enviados a la dirección VIP aunque ésta no exista en el sistema.
El método con
iptables es más sencillo de configurar que el método con arptables_jf. Este método también sortea el problema de ARP de LVS en su totalidad porque las direcciones IP virtuales solo existen en el nodo director LVS activo.
Sin embargo, el método con
iptables presenta algunas desventajas de rendimiento en comparación con arptables_jf porque hay sobrecarga en el enmascaramiento y reenvío de cada paquete.
Tampoco se puede reusar los puertos cuando se utiliza el método con
iptables. Por ejemplo, no es posible ejecutar dos servicios Apache HTTP Server separados vinculados al puerto 80 porque ambos deben estar vinculados a una instancia de INADDR_ANY de las direcciones IP virtuales.
Para configurar el enrutado directo utilizando
iptables, ejecute los siguientes pasos:
- En cada servidor real, ejecute los siguientes comandos para cada combinación de VIP, puerto y protocolo (TCP o UDP) que será servido por el servidor real:
iptables -t nat -A PREROUTING -p <tcp|udp> -d <vip> --dport <port> -j REDIRECTEste comando hará que el servidor real procese paquetes destinados para el VIP y puertos dados. - Guarde la configuración en cada servidor real:
service iptables save chkconfig --level 2345 iptables on
# service iptables save # chkconfig --level 2345 iptables onCopy to Clipboard Copied! Toggle word wrap Toggle overflow Los comandos anteriores hacen que el sistema recargue la configuración deiptablesdurante el arranque — antes de iniciar la red.
3.3. Agrupación de la configuración
Copiar enlaceEnlace copiado en el portapapeles!
Después de determinar cual de los métodos de enrutamiento anteriores será usado, el hardware debe ser integrado en la red.
Importante
El adaptador en el enrutador LVS debe ser configurado para acceder a la misma red. Por ejemplo, si
eth0 se conecta a la red pública y eth1 se conecta a la red privada, entonces los mismos dispositivos en el enrutador LVS de respaldo deben conectarse a las mismas redes.
Asimismo, la puerta de enlace listada en la primera interfaz a activar durante el periodo de arranque es añadida a la tabla de enrutado; las siguientes puertas de enlace listadas en otras interfaces son ignoradas. Es importante considerar este comportamiento cuando se configuren los servidores reales.
Después de conectar físicamente el hardware, configure las interfaces de red en los enrutadores LVS primario y de respaldo. Esta tarea puede llevarse a cabo a través de system-config-network o editando los scripts manualmente. Para mayor información sobre la adición de dispositivos con system-config-network, vea el capítulo titulado Configuración de red en elManual de implementación de Red Hat Enterprise Linux. En el resto de este capítulo, las alteraciones de las interfaces de red son realizadas manualmente o a través de la Piranha Configuration Tool.
3.3.1. Consejos generales para la red LVS
Copiar enlaceEnlace copiado en el portapapeles!
Configure las direcciones IP reales para las redes públicas y privadas en los enrutadores LVS antes de intentar configurar LVS utilizando la Piranha Configuration Tool. La sección para cada topología da direcciones de red de ejemplo, pero se necesitan direcciones de red verdaderas en una configuración real. Abajo hay algunos comandos útiles para activar las interfaces de red y revisar el estado.
- Activación de las interfaces de red
- Para activar una interfaz de red real, utilice el siguiente comando como root, reemplazando N con el número correspondiente de la interfaz (
eth0yeth1)./sbin/ifup ethNAviso
Do not use theifupscripts to bring up any floating IP addresses you may configure using Piranha Configuration Tool (eth0:1oreth1:1). Use theservicecommand to startpulseinstead (see Sección 4.8, “Inicio de LVS” for details). - Desactivación de las interfaces de red reales.
- Para desactivar una interfaz de red real, utilice el siguiente comando como root, reemplace N con el número correspondiente de la interfaz (
eth0yeth1)./sbin/ifdown ethN - Revisar el estado de las interfaces de red
- Si necesita revisar cuáles interfaces de red están activas en un momento dado, escriba:
/sbin/ifconfigPara ver la tabla de rutas para una máquina, ejecute el siguiente comando:/sbin/route
3.4. Servicios de puertos múltiples y LVS
Copiar enlaceEnlace copiado en el portapapeles!
LVS routers under any topology require extra configuration when creating multi-port LVS services. Multi-port services can be created artificially by using firewall marks to bundle together different, but related protocols, such as HTTP (port 80) and HTTPS (port 443), or when LVS is used with true multi-port protocols, such as FTP. In either case, the LVS router uses firewall marks to recognize that packets destined for different ports, but bearing the same firewall mark, should be handled identically. Also, when combined with persistence, firewall marks ensure connections from the client machine are routed to the same host, as long as the connections occur within the length of time specified by the persistence parameter. For more on assigning persistence to a virtual server, see Sección 4.6.1, “La subsección VIRTUAL SERVER”.
Desafortunadamente, el mecanismo utilizado para balancear cargas en los servidores reales — IPVS — puede reconocer marcas de cortafuegos asignadas al paquete, pero no puede asignar marcas de cortafuegos. El trabajo de asignar marcas de cortafuegos debe ser llevado a cabo por el filtro de paquetes de red,
iptables por fuera de la Piranha Configuration Tool.
3.4.1. Asignación de marcas de cortafuegos
Copiar enlaceEnlace copiado en el portapapeles!
Para asignar marcas de cortafuegos a un paquete destinado a un puerto particular, el administrador debe utilizar
iptables.
This section illustrates how to bundle HTTP and HTTPS as an example; however, FTP is another commonly clustered multi-port protocol. If an LVS is used for FTP services, refer to Sección 3.5, “Configuración de FTP” for configuration details.
La regla básica a recordar cuando se utilizan marcas de cortafuegos es que cada protocolo que utiliza una marca de cortafuego en la Piranha Configuration Tool debe tener una regla
iptables proporcional para asignar las marcas de cortafuegos a los paquetes de red.
Antes de crear reglas de filtros de paquetes de red, asegúrese de que no haya aun reglas previamente establecidas. Para ello, abra una terminal, inicie una sesión de root y escriba:
/sbin/service iptables status
Si
iptables no está en ejecución, la línea de comandos reaparecerá inmediatamente.
Si
iptables está activo, se mostrarán las reglas que están siendo usadas. Si hay alguna regla, escriba el siguiente comando:
/sbin/service iptables stop
Si las reglas actuales son importantes, revise el contenido de
/etc/sysconfig/iptables y guarde cualquier regla importante antes de proceder.
Abajo hay algunas reglas que asignan la misma marca de cortafuego, 80, al tráfico entrante para la dirección IP flotante n.n.n.n en el puerto 80 y 443.
/sbin/modprobe ip_tables
/sbin/iptables -t mangle -A PREROUTING -p tcp -d n.n.n.n/32 --dport 80 -j MARK --set-mark 80
/sbin/iptables -t mangle-A PREROUTING -p tcp -d n.n.n.n/32 --dport 443 -j MARK --set-mark 80
For instructions on assigning the VIP to the public network interface, see Sección 4.6.1, “La subsección VIRTUAL SERVER”. Also note that you must log in as root and load the module for
iptables before issuing rules for the first time.
En los comandos
iptables, reemplace n.n.n.n con la IP flotante para sus servidores virtuales HTTP y HTTPS. Estos comandos tienen el efecto de asignar una marca de cortafuegos 80 a cualquier tráfico dirigido a la VIP en los puertos apropiados. Esta marca es reconocida por el IPVS y enviada apropiadamente.
Aviso
The commands above will take effect immediately, but do not persist through a reboot of the system. To ensure network packet filter settings are restored upon reboot, refer to Sección 3.6, “Cómo guardar los parámetros de filtro de paquetes de red”
3.5. Configuración de FTP
Copiar enlaceEnlace copiado en el portapapeles!
FTP (siglas en inglés de File Transport Protocol) es un protocolo de múltiples puertos que presenta un conjunto de retos para un entorno de LVS. Para entender la naturaleza de estos retos, se debe entender primero algunos conceptos claves sobre cómo funciona FTP.
3.5.1. Cómo funciona FTP
Copiar enlaceEnlace copiado en el portapapeles!
Como en la mayoría de servicios entre cliente y servidor, el cliente abre una conexión en el servidor en un puerto particular y el servidor le responde al cliente utilizando ese mismo puerto. Cuando un cliente FTP se conecta a un servidor FTP, el primero abre una conexión FTP de control en el puerto 21. Luego el cliente le informa al servidor FTP si la conexión debe ser activa o pasiva. El tipo de conexión elegida por el cliente determina cómo responde el servidor y en qué puerto la transacción ocurre.
Los dos tipos de conexiones de datos son:
- Conexiones activas
- Cuando se establece una conexión activa, el servidor abre una conexión de datos para el cliente desde el puerto 20 a un puerto de rango más alto en la máquina cliente. Todos los datos provenientes del servidor pasan por esta conexión.
- Conexiones pasivas
- Cuando una conexión pasiva es establecida, el cliente solicita al servidor FTP establecer un puerto de conexión pasiva (el cual puede ser un puerto superior a 10.000). El servidor se vincula con el puerto para esta sesión particular y envía ese número de puerto de regreso al cliente. El cliente abre el puerto para la conexión de datos. Cada solicitud de datos resulta en una conexión de datos diferente. La mayoría de clientes FTP intenta establecer una conexión pasiva cuando solicitan datos al servidor.
Nota
El cliente determina el tipo de conexión, no el servidor. Esto quiere decir que se debe configurar el enrutador LVS para manejar tanto conexiones pasivas como activas.
La relación entre cliente y servidor en FTP puede potencialmente abrir una larga cantidad de puertos que no serán detectados por la Piranha Configuration Tool y IPVS.
3.5.2. Cómo afecta al enrutado LVS
Copiar enlaceEnlace copiado en el portapapeles!
El reenvío de paquetes solo permite conexiones entrantes y salientes del cluster basado en el reconocimiento del número de puerto o la marca de cortafuegos. Si un cliente externo al cluster intenta abrir un puerto IPVS que no está configurado para ser manejado, la conexión es ignorada. Asimismo, si el servidor real intenta abrir una conexión de regreso a internet en un puerto IPVS que no está configurado, la conexión es ignorada. Esto significa que todas las conexiones de los clientes FTP en internet deben tener la misma marca de cortafuegos asignados a ellos y todas las conexiones desde el servidor deben ser apropiadamente reenviadas a internet usando reglas de filtros de paquetes de red.
3.5.3. Creación de reglas de filtro de paquetes de red
Copiar enlaceEnlace copiado en el portapapeles!
Before assigning any
iptables rules for FTP service, review the information in Sección 3.4.1, “Asignación de marcas de cortafuegos” concerning multi-port services and techniques for checking the existing network packet filtering rules.
Below are rules which assign the same firewall mark, 21, to FTP traffic. For these rules to work properly, you must also use the VIRTUAL SERVER subsection of Piranha Configuration Tool to configure a virtual server for port 21 with a value of
21 in the Firewall Mark field. See Sección 4.6.1, “La subsección VIRTUAL SERVER” for details.
3.5.3.1. Reglas para conexiones activas
Copiar enlaceEnlace copiado en el portapapeles!
Las reglas para las conexiones activas le dicen al kernel que acepte y envíe conexiones que vienen de la dirección IP flotante interna en el puerto 20 — el puerto de datos FTP.
El siguiente comando de
iptables permite que el enrutador LVS acepte conexiones salientes desde el servidor real que IPVS no conoce:
/sbin/iptables -t nat -A POSTROUTING -p tcp -s n.n.n.0/24 --sport 20 -j MASQUERADE
In the
iptables command, n.n.n should be replaced with the first three values for the floating IP for the NAT interface's internal network interface defined in the GLOBAL SETTINGS panel of Piranha Configuration Tool.
3.5.3.2. Reglas para las conexiones pasivas
Copiar enlaceEnlace copiado en el portapapeles!
Las reglas para las conexiones pasivas asignan la marca d cortafuegos apropiada a conexiones entrantes desde internet al IP flotante para el servicio en una amplia gama de puertos — 10.000 a 20.000.
Aviso
Si está limitando el rango de puertos para las conexiones pasivas, debe configurar también el servidor VSFTP para utilizar un rango de puerto coincidente. Esto puede llevarse a cabo si se añaden las siguientes líneas a
/etc/vsftpd.conf:
pasv_min_port=10000
pasv_max_port=20000
Debe controlar también la dirección que el servidor muestra al cliente para las conexiones FTP pasivas. En un sistema LVS con enrutado NAT, añada la siguiente línea a
/etc/vsftpd.conf para sobrescribir la dirección IP del servidor real al VIP, la cual es la que el cliente ve tras la conexión. Por ejemplo:
pasv_address=n.n.n.n
Reemplace n.n.n.n con la dirección VIP del sistema LVS.
Para configuraciones de otros servidores FTP, consulte la documentación respectiva.
Este rango debe ser suficiente para la mayoría de casos; sin embargo, este número puede ser incrementado para incluir todos los puertos no seguros disponibles si se cambia
10000:20000 en el comando anterior a 1024:65535.
El siguiente comando de
iptables tiene el efecto de asignar una marca de cortafuegos de 21 a cualquier tráfico dirigido al IP flotante en los puertos apropiados. Esta marca es reconocida por IPVS y redirigida apropiadamente:
/sbin/iptables -t mangle -A PREROUTING -p tcp -d n.n.n.n/32 --dport 21 -j MARK --set-mark 21
/sbin/iptables -t mangle -A PREROUTING -p tcp -d n.n.n.n/32 --dport 10000:20000 -j MARK --set-mark 21
En los comandos
iptables, n.n.n.n debe ser reemplazado con la IP flotante para el servidor FTP virtual definido en la subsección VIRTUAL SERVER de la Piranha Configuration Tool.
Aviso
The commands above take effect immediately, but do not persist through a reboot of the system. To ensure network packet filter settings are restored after a reboot, see Sección 3.6, “Cómo guardar los parámetros de filtro de paquetes de red”
Finally, you need to be sure that the appropriate service is set to activate on the proper runlevels. For more on this, refer to Sección 2.1, “Configuración de servicios en los enrutadores LVS”.
3.6. Cómo guardar los parámetros de filtro de paquetes de red
Copiar enlaceEnlace copiado en el portapapeles!
Después de configurar los filtros de paquetes de red apropiados para su situación, guarde los parámetros para que sean reiniciados después de reiniciar el equipo. Para
iptables, escriba el siguiente comando:
/sbin/service iptables save
Esto guarda la configuración en
/etc/sysconfig/iptables para que sea llamada durante el periodo de arranque
Once this file is written, you are able to use the
/sbin/service command to start, stop, and check the status (using the status switch) of iptables. The /sbin/service will automatically load the appropriate module for you. For an example of how to use the /sbin/service command, see Sección 2.3, “Inicio del servicio de la Piranha Configuration Tool”.
Finally, you need to be sure the appropriate service is set to activate on the proper runlevels. For more on this, see Sección 2.1, “Configuración de servicios en los enrutadores LVS”.
El siguiente capítulo explica cómo utilizar la Piranha Configuration Tool para configurar el enrutador LVS y describe los pasos necesarios para activar LVS.
Capítulo 4. Configuración de los enrutadores LVS con la Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
La Piranha Configuration Tool proporciona un enfoque estructurado para crear el archivo de configuración necesario para un LVS —
/etc/sysconfig/ha/lvs.cf. Este capítulo describe la operación básica de la Piranha Configuration Tool y cómo activar el cluster una vez la configuración haya sido completada.
Importante
El archivo de configuración para LVS obedece estrictas reglas de formato. El uso de la Piranha Configuration Tool evita errores de sintaxis en el archivo
lvs.cf y previene así fallas en el software.
4.1. Software necesario
Copiar enlaceEnlace copiado en el portapapeles!
El servicio
piranha-gui debe ser ejecutado en el enrutador LVS primario para utilizar la Piranha Configuration Tool. Para configurar LVS se necesita al menos un navegador de web en formato texto (por ejemplo links). Si está accediendo al enrutador LVS desde otra máquina, también se necesitará una conexión ssh como root al enrutador LVS primario.
Mientras se configura el enrutador LVS primario, es buena idea mantener una conexión
ssh en una terminal. Esta conexión brinda la oportunidad de reiniciar pulse y otros servicios, configurar el filtro de paquetes de red y sondear /var/log/messages durante el periodo de solución de errores.
Las siguientes cuatro secciones presentan cada una de las páginas de configuración de la Piranha Configuration Tool y dan instrucciones sobre cómo utilizar la aplicación para configurar un LVS.
4.2. Inicio de sesión en la Piranha Configuration Tool
Copiar enlaceEnlace copiado en el portapapeles!
When configuring LVS, you should always begin by configuring the primary router with the Piranha Configuration Tool. To do this,verify that the
piranha-gui service is running and an administrative password has been set, as described in Sección 2.2, “Configuración de la contraseña para la Piranha Configuration Tool”.
If you are accessing the machine locally, you can open
http://localhost:3636 in a Web browser to access the Piranha Configuration Tool. Otherwise, type in the hostname or real IP address for the server followed by :3636. Once the browser connects, you will see the screen shown in Figura 4.1, “The Welcome Panel”.
Figura 4.1. The Welcome Panel
Haga clic en el botón e introduzca
piranha en el campo Username y la contraseña administrativa previamente creada en el campo Password.
La Piranha Configuration Tool está formada de cuatro pantallas principales o paneles. Además, el panel Virtual Servers contiene cuatro subsecciones. El panel CONTROL/MONITORING es el primer panel después de la pantalla de entrada.
4.3. CONTROL/MONITORING
Copiar enlaceEnlace copiado en el portapapeles!
El panel CONTROL/MONITORING presenta un estado de ejecución limitado de LVS. Muestra el estado del demonio
pulse, la tabla de rutas LVS y los procesos nanny creados por LVS.
Nota
The fields for CURRENT LVS ROUTING TABLE and CURRENT LVS PROCESSES remain blank until you actually start LVS, as shown in Sección 4.8, “Inicio de LVS”.
Figura 4.2. The CONTROL/MONITORING Panel
- Auto update
- El estado que se muestra en esta página puede ser actualizado automáticamente con un intervalo configurado por el usuario. Para activar esta funcionalidad, haga clic en la casilla de verificación Auto update y establezca la frecuencia deseada en la caja de texto Update frequency in seconds (el valor predeterminado son 10 segundos).No se recomienda que el intervalo de tiempo sea menor de 10 segundos. Al hacerlo, puede llagar a ser difícil reconfigurar el intervalo Auto update porque la página se actualizará con demasiada frecuencia. Si se encuentra con este problema, simplemente haga clic en otro panel y luego regrese a CONTROL/MONITORING.La funcionalidad Auto update no funciona con todos los navegadores, por ejemplo Mozilla.
- Se puede actualizar la información de estado haciendo clic en este botón.
- Si se hace clic en este botón se tendrá acceso a una pantalla de ayuda con información sobre cómo cambiar la contraseña administrativa para la Piranha Configuration Tool.
4.4. GLOBAL SETTINGS
Copiar enlaceEnlace copiado en el portapapeles!
The GLOBAL SETTINGS panel is where the you define the networking details for the primary LVS router's public and private network interfaces.
Figura 4.3. The GLOBAL SETTINGS Panel
The top half of this panel sets up the primary LVS router's public and private network interfaces. These are the interfaces already configured in Sección 3.1.1, “Configuración de las interfaces de red para un LVS con NAT”.
- Primary server public IP
- En este campo, introduzca la dirección IP real enrutable pública para el nodo LVS primario.
- Primary server private IP
- Enter the real IP address for an alternative network interface on the primary LVS node. This address is used solely as an alternative heartbeat channel for the backup router and does not have to correlate to the real private IP address assigned in Sección 3.1.1, “Configuración de las interfaces de red para un LVS con NAT”. You may leave this field blank, but doing so will mean there is no alternate heartbeat channel for the backup LVS router to use and therefore will create a single point of failure.
Nota
La dirección IP privada no es necesaria para las configuraciones de ya que todos los servidores reales y los directores LVS comparten la misma dirección IP virtual y deben tener la misma configuración de enrutado IP.Nota
The primary LVS router's private IP can be configured on any interface that accepts TCP/IP, whether it be an Ethernet adapter or a serial port. - Use network type
- Haga clic en el botón para seleccionar el enrutado NAT.Haga clic en el boton para seleccionar el enrutado directo.
The next three fields deal specifically with the NAT router's virtual network interface connecting the private network with the real servers. These fields do not apply to the direct routing network type.
- NAT Router IP
- La IP flotante privada se define en este campo de texto. Esta IP flotante debe ser usada como puerta de enlace para los servidores reales.
- NAT Router netmask
- If the NAT router's floating IP needs a particular netmask, select it from drop-down list.
- NAT Router device
- En este campo se define el nombre del dispositivo de la interfaz de red para la dirección IP flotante, tal como
eth1:1.Nota
Debe crear un alias en la interfaz de red conectada a la red privada para la dirección IP flotante NAT. En este ejemplo, la red privada está en la interfazeth1mientras queeth1:1está en la dirección IP flotante.
Aviso
Después de completar esta página, haga clic en el botón para asegurarse de que los cambios no se pierdan cuando seleccione un nuevo panel.
4.5. REDUNDANCY
Copiar enlaceEnlace copiado en el portapapeles!
El panel REDUNDANCY permite la configuración del enrutador LVS de respaldo y de varias opciones de sondeo de los mensajes de pulso.
Nota
The first time you visit this screen, it displays an "inactive" Backup status and an button. To configure the backup LVS router, click on the button so that the screen matches Figura 4.4, “The REDUNDANCY Panel”.
Figura 4.4. The REDUNDANCY Panel
- Redundant server public IP
- Introduzca la dirección IP real pública para el enrutador LVS de respaldo.
- Redundant server private IP
- Enter the backup node's private real IP address in this text field.Si no ve el campo llamado Redundant server private IP, vaya al panel GLOBAL SETTINGS e introduzca una dirección en Primary server private IP y haga clic en .
El resto del panel se utiliza para configurar el canal de pulso. El nodo de respaldo utiliza este canal para sondear la salud del nodo primario.
- Heartbeat Interval (seconds)
- Esta campo establece el intervalo de segundos entre pulsos — el nodo de respaldo utiliza este intervalo para revisar el estado del nodo LVS primario.
- Assume dead after (seconds)
- Si el nodo LVS primario no responde después de este intervalo de tiempo, el enrutador LVS de respaldo inicia el procedimiento de recuperación contra fallos.
- Heartbeat runs on port
- En este campo se establece el puerto utilizado para la comunicación de pulsos con el nodo LVS primario. El valor predeterminado es 539.
Aviso
Recuerde hacer clic en el botón después de hacer cualquier cambio en este panel para asegurarse de que las modificaciones no se pierdan al seleccionar un nuevo panel.
4.6. VIRTUAL SERVERS
Copiar enlaceEnlace copiado en el portapapeles!
El panel VIRTUAL SERVERS muestra la información para cada servidor virtual definido actualmente. Cada entrada en la tabla muestra el estado del servidor virtual, el nombre del servidor, la IP virtual asignada al servidor, la máscara de red de la IP virtual, el número de puerto en el cual el servicio se comunica, el protocolo usado y la interfaz de dispositivo virtual.
Figura 4.5. The VIRTUAL SERVERS Panel
Cada servidor mostrado en el panel VIRTUAL SERVERS puede ser configurado en las pantallas o subsecciones siguientes.
Para añadir un servicio, haga clic en el botón . Para remover un servicio, seleccione éste haciendo clic en el botón de radio al lado del servidor virtual y luego haga clic en .
Para activar o desactivar un servidor virtual en la tabla, haga clic en el botón de radio apropiado y luego en el botón .
Después de añadir un servidor virtual, éste se puede configurar si se hace clic en el botón de radio a la izquierda y luego en EDIT para ir a la subsección VIRTUAL SERVER.
4.6.1. La subsección VIRTUAL SERVER
Copiar enlaceEnlace copiado en el portapapeles!
The VIRTUAL SERVER subsection panel shown in Figura 4.6, “The VIRTUAL SERVERS Subsection” allows you to configure an individual virtual server. Links to subsections related specifically to this virtual server are located along the top of the page. But before configuring any of the subsections related to this virtual server, complete this page and click on the button.
Figura 4.6. The VIRTUAL SERVERS Subsection
- Name
- Un nombre descriptivo para identificar el servidor virtual. Este nombre no es el nombre de host de la máquina, debe ser descriptivo y fácilmente identificable. Puede hacer referencia al protocolo usado por el servidor virtual (como por ejemplo HTTP).
- Application port
- Introduzca el número de puerto en el cual el servicio escuchará. En este ejemplo se usa el puerto 80 para el servicio HTTP.
- Escoja entre UDP y TCP en el menú desplegable. Como los servidores de web se comunican a través de TCP, el ejemplo muestra este protocolo.
- Virtual IP Address
- Enter the virtual server's floating IP address in this text field.
- Permite establecer la máscara de red del servidor virtual desde un menú desplegable.
- Firewall Mark
- No introduzca un valor entero de marca de cortafuegos en este campo a menos que esté agrupando protocolos multipuertos o creando un servidor virtual de múltiples protocolos por separado, pero protocolos relacionados. En este ejemplo, el servidor virtual tiene una Firewall Mark de 80 porque se está agrupando la conexión a HTTP en el puerto 80 y HTTPS en el puerto 443 utilizando una marca de cortafuegos de 80. Cuando se utilice la persistencia, esta técnica asegura que tanto los usuarios que utilizan las páginas web seguras como las inseguras son dirigidos al mismo servidor real, preservando así el estado.
Aviso
Entering a firewall mark in this field allows IPVS to recognize that packets bearing this firewall mark are treated the same, but you must perform further configuration outside of the Piranha Configuration Tool to actually assign the firewall marks. See Sección 3.4, “Servicios de puertos múltiples y LVS” for instructions on creating multi-port services and Sección 3.5, “Configuración de FTP” for creating a highly available FTP virtual server. - Device
- Introduzca el nombre del dispositivo de red en el cual desea vincular la dirección flotante definida en el campo Virtual IP Address.Se debe crear un alias en la interfaz Ethernet conectada a la red pública para la dirección IP flotante pública. En este ejemplo, la red pública está en la interfaz
eth0, por lo cualeth0:1debe ser introducido como el nombre del dispositivo.
- Re-entry Time
- Introduzca un valor entero que define la duración en segundos antes de que el enrutador LVS activo intente añadir nuevamente un servidor real previamente fallido en el grupo de servidores.
- Service Timeout
- Introduzca un valor entero que define la duración en segundos antes de que un servidor real es considerado muerto y sea removido del grupo de servidores.
- Quiesce server
- Si se selecciona el botón de radio Quiesce server, cada vez que un nuevo servidor entra en línea, la tabla de conexiones mínima se establece a zero para que el enrutador LVS activo enrute las solicitudes como si todos los servidores reales hubiesen sido recientemente añadidos. Esta opción previene que el nuevo servidor sea invadido por un alto número de conexiones apenas entre en el grupo de servidores.
- Load monitoring tool
- El enrutador LVS puede sondear la carga de los servidores reales utilizando
ruporuptime. Si seleccionarupdesde el menú desplegable, cada servidor real debe ejecutar el serviciorstatd. Si seleccionaruptime, cada servidor real debe ejecutar el serviciorwhod.Aviso
El sondeo de carga no es lo mismo que el balance de carga y puede resultar en comportamientos de programación difíciles de pronosticar cuando se conbinan con algoritmos de programación de peso. Asimismo, si utiliza sondeo de carga, los servidores reales deben ser máquinas Linux. - Scheduling
- Select your preferred scheduling algorithm from the drop-down menu. The default is
Weighted least-connection. For more information on scheduling algorithms, see Sección 1.3.1, “Algoritmos de programación”. - Persistence
- Utilizado si se necesitan conexiones persistentes al servidor virtual durante las transacciones del cliente. En este campo de texto se debe especificar el número de segundos de inactividad antes de que la conexión expire.
Importante
If you entered a value in the Firewall Mark field above, you should enter a value for persistence as well. Also, be sure that if you use firewall marks and persistence together, that the amount of persistence is the same for each virtual server with the firewall mark. For more on persistence and firewall marks, refer to Sección 1.5, “Marcas de cortafuego y persistencia”. - Para limitar la persistencia a una subred particular, seleccione la máscara apropiada de red desde el menú desplegable.
Nota
Antes de la llegada de las marcas de cortafuegos, la persistencia limitada por una subred era la manera de agrupar conexiones. Ahora, es mejor utilizar persistencia en relación con las marcas de cortafuego para obtener el mismo resultado.
Aviso
Recuerde hacer clic en después de realizar cualquier cambio en este panel para asegurar que los cambios no se pierdan cuando seleccione un nuevo panel.
4.6.2. Subsección REAL SERVER
Copiar enlaceEnlace copiado en el portapapeles!
Al hacer clic clic en el enlace de la subsección REAL SERVER en la parte superior del panel, se llegará a la subsección EDIT REAL SERVER. Muestra el estado de los hosts del servidor físico para un servicio virtual particular.
Figura 4.7. The REAL SERVER Subsection
Click the button to add a new server. To delete an existing server, select the radio button beside it and click the button. Click the button to load the EDIT REAL SERVER panel, as seen in Figura 4.8, “The REAL SERVER Configuration Panel”.
Figura 4.8. The REAL SERVER Configuration Panel
Este panel está constituido por tres campos:
- Name
- Un nombre descriptivo para el servidor real.
Nota
Este nombre no es el nombre de host de la máquina. Utilice un nombre descriptivo y fácilmente identificable. - Address
- The real server's IP address. Since the listening port is already specified for the associated virtual server, do not add a port number.
- Weight
- An integer value indicating this host's capacity relative to that of other hosts in the pool. The value can be arbitrary, but treat it as a ratio in relation to other real servers in the pool. For more on server weight, see Sección 1.3.2, “Peso del servidor y programación”.
Aviso
Recuerde hacer clic en después de realizar cualquier cambio en este panel para asegurar que los cambios no se pierdan cuando seleccione un nuevo panel.
4.6.3. EDIT MONITORING SCRIPTS Subsection
Copiar enlaceEnlace copiado en el portapapeles!
Haga clic en el enlace MONITORING SCRIPTS en la parte superior de la página. La subsección EDIT MONITORING SCRIPTS permite que los administradores especifiquen una secuencia de envío y expectativa para verificar que el servicio para el servidor virtual esté funcionando en cada servidor real. También es posible especificar scripts personalizados para revisar los servicios que requieren cambios de datos de forma dinámica.
Figura 4.9. The EDIT MONITORING SCRIPTS Subsection
- Sending Program
- Se puede utilizar este campo para especificar la ruta a un script para una verificación de servicios más avanzada. Esta función es especialmente útil para servicios que requieren cambios de datos de forma dinámica, como HTTPS o SSL.Para usar esta función, se debe escribir un script que retorne una respuesta textual. El script debe ser ejecutable y su ruta debe establecerse en el campo Sending Program.
Nota
To ensure that each server in the real server pool is checked, use the special token%hafter the path to the script in the Sending Program field. This token is replaced with each real server's IP address as the script is called by thenannydaemon.El siguiente es un script de ejemplo que puede servir de guía cuando se compone un script externo para monitorizar los servicios:Copy to Clipboard Copied! Toggle word wrap Toggle overflow Nota
Si se introduce un programa externo en el campo Sending Program, se ignorará el campo Send. - Send
- Introduzca una cadena para el demonio
nannyque será enviada a cada servidor real. Por defecto la entrada se completa para HTTP. Se puede alterar este valor dependiendo de sus necesidades. Si se deja este campo en blanco, el demonionannyintentará abrir el puerto y, si lo logra, asumirá que el servicio está en ejecución.Solo una secuencia de envío es permitida en este campo y solo puede contener caracteres ASCII y los siguientes caracteres de escape:- \n para nueva línea.
- \r para retorno de línea.
- \t para tablatura.
- \ para escapar el siguiente caracter.
- Expect
- Introduzca la respuesta textual que el servidor debe responder si está funcionando apropiadamente. Si escribió su propio programa de envío, introduzca la respuesta esperada.
Nota
Para determinar lo que se debe enviar para un servicio dado, puede abrir una conexióntelnetal puerto en el servidor real y ver lo que retorna. Por ejemplo, FTP muestra 220 tras la conexión. Por lo cual puede introducirquiten el campo Send y220en el campo Expect.
Aviso
Recuerde hacer clic en después de realizar cualquier cambio en este panel para asegurar que los cambios no se pierdan cuando seleccione un nuevo panel.
Once you have configured virtual servers using the Piranha Configuration Tool, you must copy specific configuration files to the backup LVS router. See Sección 4.7, “Sincronización de los archivos de configuración” for details.
4.7. Sincronización de los archivos de configuración
Copiar enlaceEnlace copiado en el portapapeles!
Después de configurar el enrutador LVS primario, hay varios archivos de configuración que deben ser copiados al enrutador LVS de respaldo antes de poder iniciar LVS.
Entre estos archivos están:
/etc/sysconfig/ha/lvs.cf— el archivo de configuración para los enrutadores LVS/etc/sysctl— el archivo de configuración que, entre otras cosas, activa el reenvío de paquetes en el kernel./etc/sysconfig/iptables— si está utilizando marcas de cortafuegos, debe sincronizar uno de estos archivos de acuerdo al filtro de paquetes de red que está utilizando.
Importante
Los archivos
/etc/sysctl.conf y /etc/sysconfig/iptables no cambian cuando se configura LVS con la Piranha Configuration Tool.
4.7.1. Sincronización de lvs.cf
Copiar enlaceEnlace copiado en el portapapeles!
Si se crea o se actualiza el archivo
/etc/sysconfig/ha/lvs.cf, éste debe ser copiado al enrutador LVS de respaldo.
Aviso
Tanto el enrutador LVS activo como el de respaldo deben tener un archivo
lvs.cf idéntico. Si el archivo de configuración es diferente entre los enrutadores, el proceso de recuperación contra fallos podría fallar.
La mejor manera para llevar a cabo esta tarea es con el comando
scp.
Importante
To use
scp the sshd must be running on the backup router, see Sección 2.1, “Configuración de servicios en los enrutadores LVS” for details on how to properly configure the necessary services on the LVS routers.
Ejecute el siguiente comando como root desde el enrutador LVS primario para sincronizar los archivos
lvs.cf entre los nodos del enrutador:
scp /etc/sysconfig/ha/lvs.cf n.n.n.n:/etc/sysconfig/ha/lvs.cf
En el comando, reemplace n.n.n.n con la dirección IP real del enrutador LVS de respaldo.
4.7.2. Sincronización de sysctl
Copiar enlaceEnlace copiado en el portapapeles!
El archivo
sysctl se modifica una sola vez en la mayoría de los casos. Este archivo se lee durante el periodo de arranque y le dice al kernel que active el reenvío de paquetes.
Importante
If you are not sure whether or not packet forwarding is enabled in the kernel, see Sección 2.5, “Activación de reenvío de paquetes” for instructions on how to check and, if necessary, enable this key functionality.
4.7.3. Sincronización de las reglas de filtro de paquetes de red
Copiar enlaceEnlace copiado en el portapapeles!
Si está utilizando
iptables, podría necesitar sincronizar el archivo de configuración apropiado en el enrutador LVS de respaldo.
Si altera cualquiera de las reglas de filtro de paquetes, introduzca el siguiente comando como root en el enrutador LVS primario:
scp /etc/sysconfig/iptables n.n.n.n:/etc/sysconfig/
En el comando, reemplace n.n.n.n con la dirección IP real del enrutador LVS de respaldo.
Abra una sesión
ssh en el enrutador de respaldo o inicie una sesión en la máquina y escriba el siguiente comando:
/sbin/service iptables restart
Once you have copied these files over to the backup router and started the appropriate services (see Sección 2.1, “Configuración de servicios en los enrutadores LVS” for more on this topic) you are ready to start LVS.
4.8. Inicio de LVS
Copiar enlaceEnlace copiado en el portapapeles!
Para iniciar LVS, es mejor tener dos terminales abiertas de forma simultánea o dos sesiones
ssh abiertas en el enrutador LVS primario.
En una terminal, observe los mensajes de registro del kernel con el siguiente comando:
tail -f /var/log/messages
Luego inicie LVS escribiendo el siguiente comando en la otra terminal:
/sbin/service pulse start
Follow the progress of the
pulse service's startup in the terminal with the kernel log messages. When you see the following output, the pulse daemon has started properly:
gratuitous lvs arps finished
Para detener el sondeo de
/var/log/messages, escriba Ctrl+c.
Desde ahora, el enrutador LVS primario es también el enrutador LVS activo. Aunque se pueden realizar solicitudes a LVS en estos momentos, se debe iniciar el enrutador LVS de respaldo antes de que LVS sea puesto en servicio. Para ello, repita el proceso descrito anteriormente en el enrutador LVS de respaldo.
Una vez se complete este paso final, LVS estará activo y en ejecución.
Apéndice A. Uso de LVS con Red Hat Cluster
Copiar enlaceEnlace copiado en el portapapeles!
Puede utilizar el enrutador LVS con un cluster de Red Hat para implementar un sitio de comercio electrónico de alta disponibilidad que proporciona balanceo de carga, integridad de datos y disponibilidad de aplicaciones.
The configuration in Figura A.1, “LVS with a Red Hat Cluster” represents an e-commerce site used for online merchandise ordering through a URL. Client requests to the URL pass through the firewall to the active LVS load-balancing router, which then forwards the requests to one of the Web servers. The Red Hat Cluster nodes serve dynamic data to the Web servers, which forward the data to the requesting client.
Figura A.1. LVS with a Red Hat Cluster
Serving dynamic Web content with LVS requires a three-tier configuration (as shown in Figura A.1, “LVS with a Red Hat Cluster”). This combination of LVS and Red Hat Cluster allows for the configuration of a high-integrity, no-single-point-of-failure e-commerce site. The Red Hat Cluster can run a high-availability instance of a database or a set of databases that are network-accessible to the Web servers.
Una configuración de tres capas es requerida para proporcionar contenido dinámico. Mientras una configuración LVS de dos capas es apta para servidores de web que sirven únicamente contenido estático (que consiste de cantidades pequeña de datos que no cambian frecuentemente) pero no es apta para servidores de web que sirven contenido dinámico. El contenido dinámico puede incluir inventario de productos, ordenes de adquisición o bases de datos de clientes que deben ser consistentes en todos los servidores web para asegurar que los clientes tengan acceso actualizado y correcto a los datos.
Cada capa proporciona las siguientes funciones:
- Primera capa — los enrutadores LVS ejecutan balance de carga para distribuir solicitudes de web.
- Segunda capa — Un grupo de servidores web que procesan la solicitud.
- Tercera capa — Un Red Hat Cluster para servir datos a los servidores de Web.
In an LVS configuration like the one in Figura A.1, “LVS with a Red Hat Cluster”, client systems issue requests on the World Wide Web. For security reasons, these requests enter a Web site through a firewall, which can be a Linux system serving in that capacity or a dedicated firewall device. For redundancy, you can configure firewall devices in a failover configuration. Behind the firewall are LVS load-balancing routers, which can be configured in an active-standby mode. The active load-balancing router forwards the requests to the set of Web servers.
Each Web server can independently process an HTTP request from a client and send the response back to the client. LVS enables you to expand a Web site's capacity by adding Web servers behind the LVS routers; the LVS routers perform load balancing across a wider set of Web servers. In addition, if a Web server fails, it can be removed; LVS continues to perform load balancing across a smaller set of Web servers.
Apéndice B. Revision History
Copiar enlaceEnlace copiado en el portapapeles!
| Historial de revisiones | ||||
|---|---|---|---|---|
| Revisión 5-8.400 | 2013-10-31 | |||
| ||||
| Revisión 5-8 | 2012-07-18 | |||
| ||||
| Revisión 2.0-0 | Mon Feb 08 2010 | |||
| ||||
| Revisión 1.0-0 | Tue Jan 20 2009 | |||
| ||||
Índice
Símbolos
- /etc/sysconfig/ha/lvs.cf file, /etc/sysconfig/ha/lvs.cf
A
- arptables_jf, Enrutado directo y arptables_jf
C
- chkconfig, Configuración de servicios en los enrutadores LVS
- cluster
- using LVS with Red Hat Cluster, Uso de LVS con Red Hat Cluster
- components
- of LVS, LVS Components
D
- direct routing
- and arptables_jf, Enrutado directo y arptables_jf
F
- feedback, Feedback
- FTP, Configuración de FTP
- (ver también LVS)
I
- introduction, Introduction
- other Red Hat Enterprise Linux documents, Introduction
- iptables , Configuración de servicios en los enrutadores LVS
- ipvsadm program, ipvsadm
J
- job scheduling, LVS, Sinopsis de la programación LVS
L
- least connections (ver job scheduling, LVS)
- LVS
- /etc/sysconfig/ha/lvs.cf file, /etc/sysconfig/ha/lvs.cf
- components of, LVS Components
- daemon, lvs
- date replication, real servers, Repetición y compartición de datos
- direct routing
- and arptables_jf, Enrutado directo y arptables_jf
- requirements, hardware, Enrutado directo, LVS con enrutado directo
- requirements, network, Enrutado directo, LVS con enrutado directo
- requirements, software, Enrutado directo, LVS con enrutado directo
- initial configuration, Configuración inicial de LVS
- ipvsadm program, ipvsadm
- job scheduling, Sinopsis de la programación LVS
- lvs daemon, lvs
- LVS routers
- configuring services, Configuración inicial de LVS
- necessary services, Configuración de servicios en los enrutadores LVS
- primary node, Configuración inicial de LVS
- multi-port services, Servicios de puertos múltiples y LVS
- FTP, Configuración de FTP
- nanny daemon, nanny
- NAT routing
- enabling, Activación de rutas NAT en enrutadores LVS
- requirements, hardware, La red LVS con NAT
- requirements, network, La red LVS con NAT
- requirements, software, La red LVS con NAT
- overview of, Sinopsis del servidor virtual de Linux
- packet forwarding, Activación de reenvío de paquetes
- Piranha Configuration Tool , Piranha Configuration Tool
- pulse daemon, pulse
- real servers, Sinopsis del servidor virtual de Linux
- routing methods
- NAT, Métodos de enrutado
- routing prerequisites, Configuración de las interfaces de red para un LVS con NAT
- scheduling, job, Sinopsis de la programación LVS
- send_arp program, send_arp
- shared data, Repetición y compartición de datos
- starting LVS, Inicio de LVS
- synchronizing configuration files, Sincronización de los archivos de configuración
- three-tier
- Red Hat Cluster Manager, A Three-Tier LVS Configuration
- using LVS with Red Hat Cluster, Uso de LVS con Red Hat Cluster
- lvs daemon, lvs
M
- multi-port services, Servicios de puertos múltiples y LVS
- (ver también LVS)
N
- nanny daemon, nanny
- NAT
- enabling, Activación de rutas NAT en enrutadores LVS
- routing methods, LVS, Métodos de enrutado
- network address translation (ver NAT)
P
- packet forwarding, Activación de reenvío de paquetes
- (ver también LVS)
- Piranha Configuration Tool , Piranha Configuration Tool
- CONTROL/MONITORING , CONTROL/MONITORING
- EDIT MONITORING SCRIPTS Subsection, EDIT MONITORING SCRIPTS Subsection
- GLOBAL SETTINGS , GLOBAL SETTINGS
- limiting access to, Limitar el acceso a la Piranha Configuration Tool
- login panel, Inicio de sesión en la Piranha Configuration Tool
- necessary software, Software necesario
- overview of, Configuración de los enrutadores LVS con la Piranha Configuration Tool
- REAL SERVER subsection, Subsección REAL SERVER
- REDUNDANCY , REDUNDANCY
- setting a password, Configuración de la contraseña para la Piranha Configuration Tool
- VIRTUAL SERVER subsection, La subsección VIRTUAL SERVER
- Firewall Mark , La subsección VIRTUAL SERVER
- Persistence , La subsección VIRTUAL SERVER
- Scheduling , La subsección VIRTUAL SERVER
- Virtual IP Address , La subsección VIRTUAL SERVER
- VIRTUAL SERVERS , VIRTUAL SERVERS
- piranha-gui service, Configuración de servicios en los enrutadores LVS
- piranha-passwd , Configuración de la contraseña para la Piranha Configuration Tool
- pulse daemon, pulse
- pulse service, Configuración de servicios en los enrutadores LVS
R
- real servers
- configuring services, Configuración de servicios en servidores reales
- Red Hat Cluster
- and LVS, Uso de LVS con Red Hat Cluster
- using LVS with, Uso de LVS con Red Hat Cluster
- round robin (ver job scheduling, LVS)
- routing
- prerequisites for LVS, Configuración de las interfaces de red para un LVS con NAT
S
- scheduling, job (LVS), Sinopsis de la programación LVS
- security
- Piranha Configuration Tool , Limitar el acceso a la Piranha Configuration Tool
- send_arp program, send_arp
- sshd service, Configuración de servicios en los enrutadores LVS
- synchronizing configuration files, Sincronización de los archivos de configuración
W
- weighted least connections (ver job scheduling, LVS)
- weighted round robin (ver job scheduling, LVS)
Aviso Legal
Copiar enlaceEnlace copiado en el portapapeles!
Copyright © 2009 Red Hat, Inc.
This document is licensed by Red Hat under the Creative Commons Attribution-ShareAlike 3.0 Unported License. If you distribute this document, or a modified version of it, you must provide attribution to Red Hat, Inc. and provide a link to the original. If the document is modified, all Red Hat trademarks must be removed.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat Software Collections is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.
'%20d='M201.5%20305.5c-13.8%200-24.9-11.1-24.9-24.6%200-13.8%2011.1-24.9%2024.9-24.9%2013.6%200%2024.6%2011.1%2024.6%2024.9%200%2013.6-11.1%2024.6-24.6%2024.6zM504%20256c0%20137-111%20248-248%20248S8%20393%208%20256%20119%208%20256%208s248%20111%20248%20248zm-132.3-41.2c-9.4%200-17.7%203.9-23.8%2010-22.4-15.5-52.6-25.5-86.1-26.6l17.4-78.3%2055.4%2012.5c0%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.3%2024.9-24.9s-11.1-24.9-24.9-24.9c-9.7%200-18%205.8-22.1%2013.8l-61.2-13.6c-3-.8-6.1%201.4-6.9%204.4l-19.1%2086.4c-33.2%201.4-63.1%2011.3-85.5%2026.8-6.1-6.4-14.7-10.2-24.1-10.2-34.9%200-46.3%2046.9-14.4%2062.8-1.1%205-1.7%2010.2-1.7%2015.5%200%2052.6%2059.2%2095.2%20132%2095.2%2073.1%200%20132.3-42.6%20132.3-95.2%200-5.3-.6-10.8-1.9-15.8%2031.3-16%2019.8-62.5-14.9-62.5zM302.8%20331c-18.2%2018.2-76.1%2017.9-93.6%200-2.2-2.2-6.1-2.2-8.3%200-2.5%202.5-2.5%206.4%200%208.6%2022.8%2022.8%2087.3%2022.8%20110.2%200%202.5-2.2%202.5-6.1%200-8.6-2.2-2.2-6.1-2.2-8.3%200zm7.7-75c-13.6%200-24.6%2011.1-24.6%2024.9%200%2013.6%2011.1%2024.6%2024.6%2024.6%2013.8%200%2024.9-11.1%2024.9-24.6%200-13.8-11-24.9-24.9-24.9z'/%3e%3c/svg%3e){kind=small}