有没有办法让同一个客户端的请求落在同一个 Pod 上面？

在回答这个问题之前我们先来看看 Nginx-Ingress 是如何工作的。

## Nginx-Ingress

Nginx-Ingress 是使用 Nginx 作为反向代理和负载均衡器的 Kubernetes Ingress 控制器， 作为 Pod 执行在 kube-system 命名空间。

当我们在配置一个 Nginx-Ingress 资源时，backend 往往会是一个 serviceName，这会另很多人产生错觉，会认为当客户端的流量打到 Nginx-Ingress 时，Nginx-Ingress 会把流量打到 对对应的 Services 上面，再由 Services 进行负载。

而实际上，_**Nginx-Ingress 并不使用 Services 路由流量到 Pods**_

关于这一点，可以看看这篇官方发布的: Why endpoints and not services.

https://kubernetes.github.io/ingress-nginx/user-guide/miscellaneous/

观察 Nginx-Ingress Controller 中生成的 nginx.conf 可以发现，Nginx-Ingress 是通过Lua 动态获取的 Endpoints 数据。

## 一致性哈希

由于会访问到哪个 Pod 这件事儿是 Nginx-Ingrss 所决定的，那么一致性哈希的实现也一定是在 Nginx-Ingress 的配置上了。

```
nginx.ingress.kubernetes.io/upstream-hash-by: "$host$request_uri"
```

Nginx-Ingress 一致性哈希

## Welcome

这里是 motofans.club 及其子域名提供相关服务时所使用的基础设施。

## Architecture Diagrams

![KBS9](https://cncd-stor-1251100968.cos.ap-chengdu.myqcloud.com/Blog/p-infra/P-infra.png)



## Hardware List

* **TP-LINK TL-SG2218**   
  Managed switch with 16 x 1000Mbps RJ45 Port
* **Riverbed CX570**  
  Intel B925C + 4 x 2G DDR3 (ECC UDIMM Support) + 4 x 1000Mbps RJ45 Port (Bond) + 4 x 1T NVME SSD (ZFS)
* **AAEON EPIC-KBS9**  
  Intel I5-7600T (35W TDP) + 2 x 16GB DDR4 (noECC Support) + 6 x 1000Mbps RJ45 Port (Bond)
* **Mikrotik RB952Ui-5ac2nD**  
  5 x 100Mbps RJ45 Port (Bond)
* **Tencent Cloud HK**  
  30Mbps + 1 vCPU + 1 GB RAM

## Main Service

* ZFS  
  使用 ZFS + ECC Memory 确保数据的可靠性。（为什么你一定需要使用 ECC 内存？）
* Kubernetes  
  为了节省开销，使用了 MicroK8S。
* Boringproxy  
  用于实现将本地服务暴露到公网的关键组件。关于这个组件的详细情况。可以看「内网穿透: Boringproxy」。
* OpenSense  
  部署在 Proxmox 上的一台虚拟防火墙，同时充当网关设备。
* Nginx  
  主要使用了 Nginx Stream 模式，用来转发四层流量。
* Ocserv  
  如果有需要在外面访问到家庭网络，会使用到 Ocserv + Boringproxy。
* DNSProxy  
  使用 EDNS 用于解决 CDN 回源问题。
* BitWarden  
  自托管密码保存工具。
* Seafile  
  自托管的同步网盘，提供 Webdav 支持。
* JuiceFS  
  使用 Go 实现的高性能分布式存储，目前在我的 Seafile 中用作后端存储。
* Garage  
  使用 Rust 实现的高性能 S3-Compatible Object Storage，目前由于接口实现的不够完全，只用作备份存储，然而性能十分优秀，只用来做备份有点可惜了。
* MinIO  
  使用 Go 实现的 S3-Compatible Object Storage，由于 Minio 目前看起来不够健壮（项目更新堪比 Nightly，全是BugFix），所以只用来给 Nexus OSS 做缓存的存放。
* Nexus OOS  
  APT/YUM 的私有镜像仓库。
* Samba  
  古老的文件共享协议，用来给 Proxmox 做备份和存放一些文件。
* Rclone  
  将 Garage 中的数据定期备份到 BackBlaze。
* Jellyfin  
  家庭媒体中心。
* MySQL  
* Postgres  

## How it Work？

### 存储

ZFS 为数据的安全和可靠性提供了保障。

### 有线网络

OpenSense 作为网关设备桥接运营商的网络设备，能够使整个局域网内的所有设备具有接入互联网的能力。AAEON EPIC-KBS9 与 Riverbed CX570 之间的理论传输速率最大为 4000Mbps，这一速度虽然不及单口万兆网卡的一半，然而 500MB/S 的速度已经满足日常需求了。

### 无线网络

Mikrotik 上一级网关依旧为 OpenSense，将其 5 个百兆端口进行 Bond 后，Mikrotik 与 OpenSense 之间的理论传输速率最大为 500Mbps，然而，该无线路由器的最大无线速率为 450Mbps，因此家庭中的无线设备能够理论上获得最大值为 56.25MB/S 的速度，这在实际中目前能够满足我的需求，毕竟我目前的运营商的带宽也只有 100Mbps。

### 安全设置

OpenSense 没有向公网暴露任何端口。

Samba\Garage\JuiceFS 与 Proxmox 之间使用了独立的 VLAN。

### 服务暴露

由于 OpenSense 没有开放任何端口，且我并没有静态 IP，因此所有的服务均使用 Boringproxy 与腾讯云建立隧道进行暴露。

我的个人基础设施

## 需求分析

在能够永久保存文件的个人云存储一文中，我介绍了我是如何来保存我的个人文件的。但是，数据的备份与文件的备份实际上是有些不太一样的（虽然数据也是一些特殊的文件。）

有关数据的备份，我们有需要格外关注的几个要点：

### 状态管理

通常，数据文件的目录会有多个文件/文件夹，这就要求我们需要确保数据的备份在还原时准确的还原了整个目录里面的所有文件，要像虚拟机的快照一样。

### 版本管理

与单一的文件备份不同，单一的文件备份在版本管理上是独立的，它缺少文件的相关性。而数据或是代码类的文件，需要能够像 git 一样，能够精准的将相关文件进行回滚。

### 自动去重

此外，与文件同步不一样的是，数据的备份当发展到 TB 级时，增量备份与自动去重是必须考虑的。否则每次备份都执行全量备份，存储的容量压力之大可想而知。

## Borg Backup

https://www.borgbackup.org

_Deduplicating archiver with compression and encryption_

Borg Backup 就是能够实现上述需求的产品，它同时具备去重，加密，压缩，版本控制的功能，能够以增量的方式从 Client 备份你的数据到远程的 Repositories。

### BorgBase

https://www.borgbase.com

BorgBase 是一个用于托管 BorgBackup 的网站，免去了自建 epositories 的麻烦。如果你需要备份的数据量不算很大，免费的 10GB 空间应该足够日常使用了。

_PS: 声明一点：我不认为照片或是视频这类文件应该使用 Borg Backup 进行备份。这有着诸多不便利的方面，Borg Backup 更多的应该被用在备份一些应用软件的数据方面。_

备份你的数据目录

很多时候需要在 Python 获取指定网卡的 IP 地址。如果能够在目标机器上安装 netifaces 模块，事情会变得非常容易，如果安装模块是不方便的话，使用 Python 的标准库同样也能实现。这里分别记录一下两种办法。

## 使用模块实现

```python
import netifaces

interface_list = netifaces.interfaces()
interface_name = list(filter(lambda x: x.startswith('e'), interface_list))[0]
ipaddr = netifaces.ifaddresses(interface_name)[netifaces.AF_INET][0]['addr']
```

## 使用标准库实现

```python
import os
import socket
import fcntl
import struct

interface_list = os.listdir('/sys/class/net/')
interface_name = list(filter(lambda x: x.startswith('e'), interface_list))[0]

def get_ip_address(ifname):
    s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
    try:
        ip = socket.inet_ntoa(fcntl.ioctl(
            s.fileno(), 
            0x8915, 
            struct.pack('256s', ifname[:15].encode('utf-8')))[20:24])
    except OSError:
        print("Wrong interface name: " + ifname + "ncheck config.ini")
        sys.exit(0)
    return ip
```

使用 Python 获取指定网卡的 IP

相信很多公司依旧在使用 Centos 7 作为主力服务器。不过由于 CentOS 7 的生命周期已近尾声，很多小 bug 并不会有官方来提供更新修复。

在 CentOS 7 使用 virt-install 通过网络安装 ubuntu 20.04 时，会抛出如下报错：

```Bash
Error validating install location: Could not find an installable distribution at URL 
'http://cn.archive.ubuntu.com/ubuntu/dists/focal/masin/installer-amd64/'
```

尝试将同样的命令在 opensuse-tw 上执行后，发现一切正常。看起来 Centos 7 中的 virt-install 出现了 bug？

在开启了 `--debug` 参数后执行安装会发现，virt-install 会尝试在 url 中寻找所需要的文件。而在若干次尝试后均没有找到启动文件，因此程序异常退出。

根据 debug 输出的信息，查看 virt-install 的代码后发现，virt-install 会根据 os-variant 参数中携带的字段来处理 url，当识别到 os-variant 中携带了 ubuntu 时，会执行下面的代码来获取 ubuntu 镜像源中的 MANIFEST 信息。

- /usr/share/virt-manager/virtinst/urlfetcher.py

```Python
    def _is_regular_tree(self):
        # For regular trees
        if not self._check_manifest("current/images/MANIFEST"):
            return False

        self._url_prefix = "current/images"
```

而在 ubuntu 20.04 的镜像源中，MANIFEST 的文件位置由 current/images/MANIFEST 换成了 current/legacy-images/MANIFEST，因此 centos 7 这个几年前的 virt-install 自然没有办法找到启动文件。

既然问题找到了，解决起来就很容易了。把上面的代码做出如下替换：

```Python
    def _is_regular_tree(self):
        # For regular trees
        flag = self._check_manifest("current/images/MANIFEST")
        legacy_flag = self._check_manifest("current/legacy-images/MANIFEST")

        if not any([flag, legacy_flag]):
            return False
        else:
            if legacy_flag:
                self._url_prefix = "current/legacy-images"
            else:
                self._url_prefix = "current/images"
```

这样一来，当 virt-install 找不到 current/images/MANIFEST 时，会尝试寻找 current/legacy-images/MANIFEST

重新执行 virt-install 从网络安装 ubuntu 20.04，一切正常。