部署自定义HAProxy Router

苏晓林 [email protected]                    openshift version:3.6

概览

默认的HAProxy Router已经能够满足绝大部分的用户需求。但是默认的HAProxy Router并不支持所有的HAProxy功能，一些用户可能需要用到这些功能。

有的用户可能需要用到一些application back-ends的新特性，或者修改一些当前操作。router plug-in能通过定制的方式满足所有这些需求。

Router pod使用golang template来创建HAProxy的配置文件。当处理template时，Router需要访问OpenShift Origin的信息，包括Router的部署配置，允许的routes集合和其它一些帮助功能。

当Router pod启动和每次reload时，都会创建一个HAProxy配置文件，然后启动HAProxy。HAProxy configuration manual 给出HAProxy的所有特性，以及如何构建一个有效的配置文件。

可以通过将configMap添加到template来部署Router pod。通过这种方法部署时，需要修改Router的部署配置，将configMap以volume的方式挂载到Router pod中。并且将环境变量TEMPLATE_FILE配置为template文件在Router pod中的全路径。

或者，你也可以构建一个自定义的Router镜像，通过它来部署你的Routers。构建Routers的镜像可以不同。通过修改haproxy-template.config文件，然后重新构建Router的镜像。新的镜像会被上传到集群的镜像仓库，并且Router的部署配置中，image:字段更新为新的镜像名称。当集群有更改时，需要重新构建镜像并上传。

无论哪种方式，router pod的部署都是从template文件开始。

获得Router的template

HAProxy的template非常巨大且复杂。通常通过修改已有template的方式会更加方便和简单。可以通过以下命令在一个运行router的master节点上获得一个新的haproxy-config.template。

# oc get po
NAME                       READY     STATUS    RESTARTS   AGE
router-2-40fc3             1/1       Running   0          11d
# oc rsh router-2-40fc3 cat haproxy-config.template > haproxy-config.template
# oc rsh router-2-40fc3 cat haproxy.config > haproxy.config

或者，你可以登录到运行Router的节点，执行以下命令

# docker run --rm --interactive=true --tty --entrypoint=cat \
    openshift/origin-haproxy-router haproxy-config.template

将执行结果保存，作为基础配置文件，然后修改得到你的自定义配置，并最终生成配置文件haproxy.config。

修改Router的template

Background

HAProxy的template是以golang template为基础，能够解析部署时配置的环境变量，下面介绍的所有配置信息以及函数。

HAProxy的配置文件通过template生成，在生成过程中，所有{{" something "}}格式的内容将处理解析后写入到配置文件中，其它格式的内容将直接拷贝。

模版提供的功能

define关键字定义了template处理后生成的配置文件位置

{{define "/var/lib/haproxy/conf/haproxy.config"}}pipeline{{end}}

表1，template处理函数

Router提供的参数

本节介绍Router可用于OpenShift Origin的参数，这些参数是HAProxy router plug-in提供的，通过.Fieldname访问。

表2，Router配置参数

ServiceAliasConfig是service的route配置. 由host + path确定唯一性. 默认template通过{{range $cfgIdx, $cfg := .State }} 遍历所有routes.

ServiceUnit是service的封装，包括service后端的endpoints和指向service的routes.

Endpointis an internal representation of a Kubernetes endpoint.

TLSTerminationTypeandInsecureEdgeTerminationPolicyTypedictate where the secure communication will stop.

None ("") is the same asDisable.

Annotations

每个route都能够添加annotations，每个annotation有name和value组成。

apiVersion: v1
kind: Route
metadata:
  annotations:
    haproxy.router.openshift.io/timeout: 5500ms
[...]

name可以为任意值，当不能与已存在的name冲突。value为任意字符串。例如aa bb cc。template使用{{index}}的方式获得annotation的值。例：

{{$balanceAlgo := index $cfg.Annotations "haproxy.router.openshift.io/balance"}}

下例中展示了如何进行客户端互相认证

{{ with $cnList := index $cfg.Annotations "whiteListCertCommonName" }}
  {{   if ne $cnList "" }}
    acl test ssl_c_s_dn(CN) -m str {{ $cnList }}
    http-request deny if !test
  {{   end }}
{{ end }}

然后，使用以下命令将CNs加入白名单。

$ oc annotate route <route-name> --overwrite whiteListCertCommonName="CN1 CN2 CN3"

环境变量

template能够使用router pod中的所有环境变量。环境变量可以通过deployment configuration进行设置。

在使用时通过函数env获得环境变量的值：

{{env "ROUTER_MAX_CONNECTIONS" "20000"}}

用例

下面是一个简单的HAProxy template文件

由以下内容开头：

{{/*
  Here is a small example of how to work with templates
  taken from the HAProxy template file.
*/}}

template可以创建任意数量的输出文件。文件名称为define的参数。

{{ define "/var/lib/haproxy/conf/haproxy.config" }}
global
{{ end }}

上面的操作会将global拷贝到文件/var/lib/haproxy/conf/haproxy.config中，然后关闭该文件。

通过环境变量设置日志

{{ with (env "ROUTER_SYSLOG_ADDRESS" "") }}
  log {{.}} {{env "ROUTER_LOG_FACILITY" "local1"}} {{env "ROUTER_LOG_LEVEL" "warning"}}
{{ end }}

总结

上面其实主要介绍了template的一些配置。所谓的自定义安装HAProxy，其实指的是通过修改template来自定义HAProxy的配置。

实现方法：

1.是构建一个configMap，将修改过的template关联到该configMap上。当再次部署router的时候，通过configMap将自定义的template应用到新的HAProxy上。

2.是修改template后，重新构建一个image，在部署router的时候，指定该image。

详细配置查看原文连接：https://docs.openshift.org/latest/install\_config/router/customized\_haproxy\_router.html