*本文的方案是为标准代理服务器 HTTP(S) 与 Socks 而设计的。*

## 背景

由于 ChromeOS 的生态链一直算不上完整，尽管同时拥有 ChromeOS Android Linux 三个平台的软件资源，但是就实际使用而言，并不能做到很好的互通有无，比如如何在 ChromeOS 上不使用开发者模式实现全局使用代理服务器，就是个比较麻烦的事情。为此要在网络层面下功夫，实现设备级的全局代理。



我们先看一下现状，看一下现在大家所采用的主流的代理服务器技术。因为在计算机行业，弄出来个新东西的根本思路就是把当前的技术东拼西凑，哪怕创造一门新的语言也是如此，所以接下来我们要怎么解决问题也会是如此。所以笔者比较赞成计算机科学是不存在的，只有计算机工程，你当然可以有你的理解，这不是本文要讨论的东西。言归正传，我们讲回正题。

标准的代理服务器常用的有两种，HTTP(S) 与 Socks，基于 Iptables 实现的 Redirect 虽然实现了和代理服务器同样的效果，但是并不能称之为代理服务器，不过我们这里同样将它也视为一种现状。

## 方案设计

现在，我们提出解决问题的思路:

1. 如果希望一个设备在接入网络后不需要做任何配置就能够实现全局代理（对该设备而言也是透明代理）的话，我们需要实现当设备访问到路由器时能够在路由器内部实现分流。
2. 我们需要在路由器里面设计 Iptables Redirect 到 HTTP(S)/Socks/Redir，或是使用路由表将流量引入到 HTTP(S)/Socks/Redir 代理所在的服务器。 

到这里，可能 Iptables Redirect 是最受广大软路由玩家青睐的，这个做法我觉得是可行的，搭配一些脚本实现健康检查也不是非常困难的事情，它应该能工作的很好。

然而我并不喜欢使用 ipset 这样的方式去处理流量，因为我算不上是个软路由玩家，相比起来软路由，我更喜欢商业路由器，不过本文的方案依旧能够在 OPNSense 或是 OpenWRT 上工作。

如果我们放弃了使用 Iptables Redirect 的方案，那么就产生了下面两个问题:

1. 如何将路由表导入到路由器内部，进而将流量路由到特定的网络位置？
2. 如何将三层协议路由过去的流量导入到三层协议以上的 HTTP(S)/Socks/Redir 代理所在的服务器？

对于第一个问题，这个问题的解决办法有很多，我们暂时不做讨论。

再看第二个问题，对于 HTTP(S) 代理服务器，笔者找到了 tun2proxy，对于 Socks 代理服务器，tun2socks 就很好用，而对于 Redir，很抱歉，笔者没有什么建议，因此才有了本文的第一句话「本文的方案是为标准代理服务器 HTTP(S) 与 Socks 而设计的」。顺便一提，由于 Socks 代理比 HTTP(S) 有更好的性能，笔者推荐使用 Socks + tun2socks。而 tun2socks 与 tun2proxy，简单来说就是能够实现将进入到 tun 虚拟网卡的流量转发到 Socks/HTTP(S) 代理服务器。

接着，我们可以利用一种办法从路由器按照特定的路由表将流量引流到 tun 虚拟网卡上（tun 虚拟网卡的位置可以是在 HTTP(S)/Socks/Redir 代理所在的服务器，也可以是另外一台机器，笔者推荐将 tun 虚拟网卡启动在 HTTP(S)/Socks/Redir 代理所在的服务器上面）以实现设备的全局透明代理。

现在回看第一个问题，尽管第一个问题的解决方案有很多，但是如何较为轻松的维护这个路由表实际上还是值得讨论的。笔者这里使用了 [idndx.com](https://idndx.com/use-routeros-ospf-and-raspberry-pi-to-create-split-routing-for-different-ip-ranges/) 提供的解决方案。该作者制作了非大陆 IP 的路由表，能够搭配 OSPF 实现动态的更新路由器内部的路由表。

## 实现过程

我们假设，你已经有了一个 socks 代理服务器，以及已经有了一个无污染的 DNS，随便他们部署在什么位置，只要他们是可用的。

后续的演示仅针对 IPv4，对于 Ipv6 同样可以照葫芦画瓢实现，对于防火墙放行规则，请自行查阅文档处理。

### Tun2socks

开启服务器的路由转发

```Bash
sysctl -w net.ipv4.ip_forward=1
```

创建 TUN 虚拟网卡

```Bash
ip tuntap add mode tun dev tun0
ip addr add 198.18.0.1/15 dev tun0
ip link set dev tun0 up
```

开启 tun 虚拟网卡到 socks5 的转发

```Bash
tun2socks -device tun0 -proxy socks5://<your_server>:<your_port> -interface eth0
```

我们不需要按照 Tun2socks 的 Wiki 为 tun 虚拟网卡开启任何的路由规则，因为这些路由规则将有 Bird 来做。

### Bird

安装并启动 bird，略。

#### 生成使用 tun 网卡的路由表规则

你可以使用 nchnroutes 来生成这张表，要记得注意修改出接口的名字，并且使用 exclude 选项排除一些地址，比如代理服务器的地址，请根据你的实际情况来落实。

/etc/bird/routes4.conf

```Config
...
route 1.1.1.1/32 via "tun0";
```

#### 配置 OSPF 将路由表广播给路由器

/etc/bird/bird.conf

```Config
# This is a minimal configuration file, which allows the bird daemon to start
# but will not cause anything else to happen.
#
# Please refer to the documentation in the bird-doc package or BIRD User's
# Guide on http://bird.network.cz/ for more information on configuring BIRD and
# adding routing protocols.

# Change this into your BIRD router ID. It's a world-wide unique identification
# of your router, usually one of router's IPv4 addresses.
router id 10.255.255.2;

# The Kernel protocol is not a real routing protocol. Instead of communicating
# with other routers in the network, it performs synchronization of BIRD's
# routing tables with the OS kernel.
protocol kernel {
	scan time 60;
	import none;
	export all;   # Actually insert routes into the kernel routing table
}

# The Device protocol is not a real routing protocol. It doesn't generate any
# routes and it only serves as a module for getting information about network
# interfaces from the kernel.
protocol device {
	scan time 60;
}

protocol static {
	include "routes4.conf";
}

protocol ospf {
	export all;
	area 0.0.0.0 {
		interface "eth1" {
			authentication simple;
			password "yourpassword";
		};
	};
}
```

- export all: 将路由插入到内核路由表
- router id: OSPF 实例的唯一标识符，一般填写本设备的 IP 地址。
- interface: 使用哪张网卡进行 OSPF 路由广播。
- authentication: 有多种选项，simple 是指明文传输，其他的请自己查阅文档
- password: 顾名思义

#### Reload Bird 使配置生效

```Bash
birdc configure
```

你可以使用 `curl --interface tun0 https://1.1.1.1` 测试你的 tun 虚拟网卡是否工作（访问的地址需要在上面的路由表内）。

### 配置路由器

在路由器上配置 OSFP 接受来自 Bird 的路由广播，请参考你的路由器使用手册，如果一切正常，你能够在你的路由器里面看到接收到的来自 Bird 的路由表。


## 宕机测试

关闭 bird 服务或是关闭 tun 网卡与 bird 所在服务器后，路由器中的路由表会消失。

## 注意事项 

sometimes we need to disable rp_filter for the corresponding interface so that it can receive packets from other interfaces.

```Bash
sysctl net.ipv4.conf.all.rp_filter=0
sysctl net.ipv4.conf.eth0.rp_filter=0
```

OSPF + tun2socks 自动全局代理

## 背景

之前提到在 [客制化 Redhat/CentOS 8](https://blog.motofans.club/post/building-your-own-rhel-or-centos) 里面介绍了如何制作一个客制化的 CentOS/RHEL 镜像。现在来介绍一下如何客制化一个 Ubuntu 镜像。



## Cubic

https://github.com/PJ-Singh-001/Cubic

你需要准备一台 Ubuntu 18.04.5 以上的机器来安装 Cubic，基于 Ubuntu 18.04.5 的发行版也是可以的。

### 安装 Cubic


```Bash
apt-add-repository universe
apt-add-repository ppa:cubic-wizard/release
apt update
apt install --no-install-recommends cubi
```

## 客制化

Cubic 是一个 GUI 程序，在完成简单的设置后，将会打开一个终端页面，在这里你可以对你提供的 Ubuntu ISO 镜像进行裁剪或是增加，或是预设一些启动脚本。相比 RedHat 的 Image Builder 服务，这里可以做的事情更多。

以下是我将 Ubuntu Desktop 处理为适用于服务器的 Ubuntu Server 的过程。

```Bash
add-apt-repository universe
add-apt-repository multiverse
apt install openssh-server fio sg3-utils cadaver -y
apt purge gnome-* gir1.2-* libgtk-* 
apt purge gpart evolution-* firefox firefox-* thunderbird thunderbird-* libreoffice-*
apt autoremove --purge
systemctl set-default multi-user.target
passwd root
```

客制化 Ubuntu

## 背景

Redhat/CentOS 在 release 8 后，没有再提供 minimal 镜像。超微的 IPMI 通过网络挂载 ISO 要求镜像不得大于 4.7GB。

难道要每次使用 Boot 镜像来从网络安装系统吗？亦或是使用 JAVA Client 挂载 8GB 乃至 12GB 的 DVD 镜像（那东西有多卡谁用谁知道）？



## 新的方式

https://www.redhat.com/sysadmin/rhel-image-builder

Redhat 提供了在线 Build 镜像的服务，不仅可以生成适用于 GCP/AWS/Azure 云环境的镜像，还可以生成适用于私有云的 qcow2/vmdk，以及适用于裸机环境的 ISO 镜像。

不仅如此，你还可以在镜像中预置一些你喜欢的 packages，比如 memcached 或是 curl 等等，如果是制作 Redhat 镜像，你也可以将 Redhat 账号预先附加到镜像当中。

你要做的仅仅是简单的配置，然后点击生成按钮，等待一段时间后即可下载你需要的镜像。

![image.png](https://blog.motofans.club/static/img/bf1dd60404ab6f122fa66b45af688ee8.image.png)

## 美中不足

这项服务没有提供将 kickstart 自动装机脚本一同打包到 ISO 镜像当中的服务。如果我们希望获得一个无人值守的 ISO 安装镜像，那么 kickstart 是必不可少的。

## 更进一步

使用 mkksiso 将生成的镜像改造成 kickstart 安装镜像。

```Bash
yum install lorax -y
```

将你准备好的 kickstart 文件与生成的 ISO 镜像放置在同一个机器当中，执行下面的命令以生产新的镜像。

```Bash
mkksiso /PATH/TO/KICKSTART /PATH/TO/ISO /PATH/TO/NEW-ISO
```

客制化 Redhat/CentOS 8

## 前言

「本文面向企业科普/市场提供」

## 闪存的定义

闪存是一种固态技术，使用闪存芯片写入和存储数据，它使用非易失性存储器，这意味着当电源关闭时数据不会丢失。

与传统的机械硬盘（HDD）相比，由于没有机械硬盘（HDD）由机械结构引起的固有延迟，因此闪存存储技术能够在拥有非常快的响应时间（微秒延迟）的同时，还能拥有更少的能耗以及更少的体积占用。

闪存的解决方案范围从随身设备到企业级阵列。


## 固态硬盘

固态硬盘（Solid-State Drive，SSD）是一种使用集成电路设计制作的存储设备。由控制单元和存储单元构成，对于特别的 SSD 产品，可能还会有缓存单元。



## SSD 一定是闪存设备吗？

答案是否定的。

尽管目前的固态硬盘市场中，NAND Flash（闪存介质的一种）是最被广泛采用的（包括 Intel），甚至在一定程度上固态硬盘充当了闪存存储的代名词。然而 SSD 存储单元中使用的存储介质才是判断它究竟是不是一个闪存设备的唯一标准。

常见的存储介质有三种:

* 闪存（特别是 NAND Flash）
* DRAM（是一种易失性存储）
* 3D XPoint（现在是 Intel 独有）

## 相关技术解析

### NAND Flash

NAND Flash 是一种在写入速度，生产成本和容量上有很大优势的闪存介质。

尽管 NAND Flash 在可靠性和读取速度上有所不及 NOR Flash，由于上述的原因，NAND Flash 依旧是目前闪存市场中最为广泛采用的 Flash。

此外，根据每个单元内可以存储多少 Bit 数据的不同，NAND Flash 又可以分为五种不同的 NAND Flash 类型：

* SLC（Single-Level Cell，单层单元）
* MLC（Multi-Level Cell，双层单元）
* TLC（Triple-Level Cell，三层单元）
* QLC（Quad-Level Cell，四层单元）
* PLC（Penta-Level Cell，五层单元）

| **Flash 类型** | **SLC** | **MLC** | **TLC** | **QLC** | **PLC** |
|----|----|----|----|----|----|
| 每个单元的 bit 数 | 1 | 2 | 3 | 4 | 5 |
| 写入速度 | ★★★★★ | ★★★☆☆ | ★★☆☆☆ | ★★☆☆☆ | ★★☆☆☆ |
| 使用寿命 | ★★★★★ | ★★★☆☆ | ★★☆☆☆ | ★★☆☆☆ | ★☆☆☆☆ |
| 价格 | ★★★★★ | ★★★☆☆ | ★★☆☆☆ | ★☆☆☆☆ | ☆☆☆☆☆ |

从 SLC 到 PLC，单元存储的数据越多，单位面积容量就越高，成本也就越低。然而，像鱼和熊掌不可兼得一样，在其他条件同等的情况下，SLC 到 PLC 的性能和寿命也是在下降的。***对于单一的存储技术来说，空间，性能，可靠性以及成本，一定是永远无法兼顾的。***

### **主控**

主控，即闪存控制器（Flash Memory Controller），**它本质上是一颗 Processor,**  基于 ARM/RISC 架构实现。因此 PC 上的 CPU 有多重要，主控就有多重要。它主要干了两件事：管理存储在闪存中的数据，连接闪存芯片和外部接口。

#### FTL

FTL（Flash Translation Layer）通过地址转换将用户的写请求转换到实际的闪存芯片上，是主控中最核心的部分。

为什么说 FTL 是主控中最核心的部分呢？

这是由于 NAND Flash 中每个闪存块的寿命是有限的，如果不进行管理，可能会有几块闪存块由于频繁的读写操作很快坏掉，我们肯定不希望这样的事情发生。因此 FTL 会进行磨损均衡（Weal Leveling）来尽可能让所有闪存块磨损的程度相近，以延长 SSD 的使用寿命。此外，对于损坏的闪存块，FTL 还需要发现这些坏块，并且利用 NAND Flash 中的空闲块 OP (Over Provisioning) 进行替换处理。

因此 FTL 算法的优劣与否，直接决定了 SSD 在可靠性与耐用性上的表现。基于这样重要的意义，主控芯片的技术门槛较高，所以相对的品牌也就比较少。

当然 FTL 还有很多其他的功能，比如 TRIM，GC，以及健康监控方面，这里暂时不做过多介绍了，感兴趣的话可以后面自己了解。

#### **接口与协议**

2007 年 IBM 在 BladeCenter® HS21 XM 上面部署了 **SanDisk SATA 5000 2.5** 的 SSD，从此 SSD 的需求开始被主流所承认。

**SanDisk SATA 5000 2.5** 使用了 SATA I 接口，最大读取速度 67MB/s，最大写入速度 47MB/s，平均延迟 0.11ms，IOPS 达到了 7430。这些数据即便放在现在也能够完胜任何机械硬盘，但是这远远不是 NAND Flash 的极限。

究其原因，**SATA I 成为了最大的限制**。于是 2004 推出的 SATA II，2009 推出的 SATA III 都在不断的刷新 SSD 的全面性能指标。**可是，还是不够。**

* 2009 年 Intel 开始着手寻找 SATA 的替代方案。
* 2011 年，使用 PCI-E 接口的 NVMe 1.0 协议正式发布
* 2013 年，三星发布了全球首款基于 NVMe 协议的 SSD : **Samsung's XS1715 enterprise drive**

**Samsung's XS1715 enterprise drive** 的表现几乎是爆炸级的。也是这一天起，NVMe SSD 开始成为市场上的新宠。

* **AHCI 与 SATA**
  

  * SATA（Serial Advanced Technology Attachment）串行 ATA 技术，在 2000 年推出，对当时的 PATA 技术进行了改进，拥有最高 550MB/s 传输速率。
  * AHCI（Advanced Host Controller Interface）高级主机控制器接口， 是在 2004 年前后推出的一种通信模式，用于改善由 SATA 连接的存储设备的性能和利用率。它专为机械硬盘设计，支持 1 个命令队列，深度最高达到 32 条命令， IOPS 最高可达 10万，这意味着机械硬盘可以实现更高的吞吐率和性能。

    对于任何机械硬盘（HDD），SATA + AHCI 的组合足够使用，然而对于使用了 NAND Flash 的 SSD 来说，SATA 与 AHCI 的组合就成为了性能瓶颈。
   
    *常见的基于 SATA 协议实现的接口形式包括 `SATA、mSATA、M.2`*

* **NVMe 与 PCI-E**
  

  * PCI-E（Peripheral Component Interconnect Express）高速串行计算机扩展总线标准，PCI-E 4.0 提供多达 32 个通道，理论上数据传输速度高达 64000MB/s。
  * NVMe（Non-Volatile Memory Express ) 技术在 2011 年推出，NVMe 专为 SSD 设计，利用 PCIe 总线，支持 65535 个命令队列，每个队列深度最高达到 65536 条命令，IOPS 超过 100万。

    现在，基于 NAND Flash 实现的 SSD 能够起飞了。

    *常见的基于 NVMe 协议实现的接口形式包括  `U.2、U.3、M.2`*

**为什么 SATA + AHCI 以及 NVMe + PCI-E 这两种 SSD 都有 M.2 的接口形式？**

在存储技术领域，当我们讨论 M.2 时，通常是指固态硬盘的外形尺寸，它并不与 SATA 或是 NVMe 这样的协议有绑定关系。SATA M.2 与 NVMe M.2 的外观相似，但是他们在性能方面有着十分巨大的差别，**固态硬盘的性能水平取决于通信驱动程序是 SATA 还是 NVMe，而不是接口形式**。

**哪一种接口最好呢？**

不同的接口都有不同的使用场景，由于 M.2 具有体积优势，常常被广泛用在笔记本电脑或是台式机，服务器的内部以节省空间利用，要使用 NVMe M.2 还是 SATA M.2 则是主板所决定的。mSATA 同样是在 M.2 出来之前比较合适用于内置的接口形态。此外，在对性能要求不高的场景，SATA SSD 由于其扩展性（M.2 这类内置的 SSD 十分不利于替换和扩展）和相关基础设施的成本较低，依旧有着用武之地。而 U.2 和 U.3 则在使用了 NVMe 协议保证性能的同时，还在扩展方面上保持了和 SATA 同样的水平，不过这种接口目前只能在企业级产品上见到，可以说这是专为数据中心设计的产品。因此，采用哪种接口应该具体问题具体分析，没有一种接口能满足所有需求。

### **缓存**
#### **DRAM Cache**

实质: 利用 DRAM 的高速特性，将一部分数据暂时写入到 DRAM 中，再由 FTL 无感知的将数据写入到 NAND Flash。

#### **SLC Cache**

实质: 在 NAND Flash 中划分出部分空间用来模拟 SLC 的写入方式以进行提速。


两种办法都能在一定程度上提高数据的写入速度，现在用 SLC Cache 的方案要多一些，这是由于 DRAM 的易失性需要额外的措施来进行处理。

由于缓存设计的存在，这也是为什么在拷贝文件时会发现开始很快，后面就慢下来的原因之一。

### 3D XPoint

*3D XPoint 是英特尔和美光合作的非易失性存储技术，后来美光放弃了对此技术的继续研发。*

**「傲腾持久内存，重塑内存和存储模式」**

Intel 将其形容为 25 年来，内存和存储领域的首次重大突破。

是吗？

是的，Optane（傲腾）的特点是比 NAND Flash 快，比 DRAM 便宜、容量不低和非易失

|    | 带宽 | 延迟 | 服务器典型容量 | 持久化 |
|----|----|----|----|----|
| SATA SSD | 500 MB/s | 200 us | 16 TB | 是 |
| NVMe SSD（PCI-E 4.0） | 3.9 GB/s | 100 us | 16 TB | 是 |
| Optane | 50 GB/s | 1 us | 3 TB | 是 |
| DDR4 | 100 GB/s | 100 ns | 512 GB | 否 |


从参数看起来，Optane 能极大的优化延迟，并且能极大的提升 I/O 吞吐量。


但是有一个问题：**Optane 只能工作在 Intel 平台上**，且对服务器硬件有一定的要求，此外作为持久化存储，如果考虑**单位容量成本，又高于 NVMe SSD**。


所以，截至到目前来看，Optane 确实美好，但是需要使用 Optane 的场景是很有限的。

## 更高的可靠性

***再次说明：对于单一的存储技术来说，空间，性能，可靠性以及成本，一定是永远无法兼顾的***

因此类似 RAID 的存储技术一定会被数据中心所采用，以通过技术手段降低存储的成本的同时提高可用性。这部分内容很多，且不是 SSD 相关的主要内容，本文只做简单介绍。

### RAID 阵列卡

在数据中心，阵列卡使用 RAID 技术来对抗单一硬盘的损坏的风险。这是一种硬件设备，通常在企业级产品里面才能看到。

### 分布式存储

分布式存储，是一种软件定义存储，在软件层面上实现类似 RAID 一样的技术来对抗单一硬盘的损坏的风险。比如 Ceph，GlusterFS，BeeGFS 等等。

### 全闪存阵列

全闪存阵列，一种融合了阵列卡和软件定义存储的商业化解决方案。诸如 Dell EMC、NetAPP 这样的产品。

## 要怎么选择 SSD

***该关注什么指标？***

* 成本

	使用了 MLC 的固态固然在性能和稳定性上具有更大的优势，不过 TLC 的成本优势是企业用户无法忽略的事实。

* 性能

	传输速率，IOPS，延迟，对于特定的业务场景（数据库，搜索，消息队列）来说，使用高级的 SSD 能够显著的提升用户体验。

* 可扩展性

	M.2 的最大问题就是很难完成替换和扩展。因此对于数据中心用户来说，在关注性能和扩展性的情况下，U.2/U.3 接口形式的 SSD 将成为首选。

* 耐久度

	由于维保政策和对抗 SSD 损坏的技术的存在，实际上企业用户对 SSD 的使用寿命没有十分严格的苛求，不过 TLC 依旧是起码的要求。

认识固态硬盘

## 前言

为了提高虚拟机的性能，或是扩展其使用场景。有时候，我们需要让虚拟机直接访问到硬件资源。

开启 PCI Passthrough 需要硬件支持。



## IOMMU

### IOMMU Enable

#### 查看当前主机是否支持

```bash
dmesg | grep -e DMAR -e IOMMU
```

如果没有输出，则表示不支持。

#### 修改内核启动参数

修改 /etc/default/grub

* Intel CPU

```bash
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on" 
```

* AMD CPU

```bash
GRUB_CMDLINE_LINUX_DEFAULT="quiet amd_iommu=on"
```

#### 更新 grub

```bash
Proxmox:  update-grub 
OpenSUSE: grub2-mkconfig -o /etc/grub2-efi.cfg
CentOS:   grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
```

#### 重新启动主机

检查 grub 是否更新成功

```bash
cat /proc/cmdline | grep iommu
```

#### 检查 IOMMU 是否开启

```bash
dmesg | grep "Virtualization Technology for Directed I/O"
```

或

```bash
dmesg | grep -e DMAR -e IOMMU | grep enable
```



### PT Mode

Intel 与 AMD 芯片组均能够通过添加 "iommu=pt" 参数开启 PT 模式，以 Intel 为例:

按照如下修改 /etc/default/grub 并更新 grub

```bash
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt"
```

PT 模式只为直通模式中使用的设备启用 IOMMU，这将防止 Linux 试图接触 (touching) 无法直通的设备。

## Interrupt Remapping

**要使用 PCI passthrough，Interrupt Remapping 是必须的。**

Interrupt Remapping 能够工作在较新的设备上，你可以使用下面的命令查看当前的主机是否支持 Interrupt Remapping:

```bash
dmesg | grep 'remapping'
```

如果你看到了下面任何一行

```bash
"AMD-Vi: Interrupt remapping enabled"
"DMAR-IR: Enabled IRQ remapping in x2apic mode" ('x2apic' can be different on old CPUs, but should still work)
```

那么当前的主机是能够支持 Interrupt Remapping 的。

然而，如果当前的主机不支持 interrupt remapping，你可以使用如下命令开启 `unsafe interrupt remapping`:

```bash
echo "options vfio_iommu_type1 allow_unsafe_interrupts=1" > /etc/modprobe.d/iommu_unsafe_interrupts.conf
```

完成上述修改后，你需要更新 initramfs 并重新启动系统

```bash
update-initramfs -u -k all
```

另外，你也可以尝试配置 Interrupt Remapping 的内核引导参数

```bash
intremap={on,off,nosid,no_x2apic_optout}
```

## 验证 IOMMU 分组

```bash
find /sys/kernel/iommu_groups/ -type l
```

## VFIO

### Required Moudules

修改 /etc/modules，开启以下 Kernel Moudules

```bash
vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd
```

### 为 PCI 设备开启 VFIO 

以 Intel 核心显卡为例:

#### 查询 PCI 设备的 ID

```bash
lspci -nn| grep 'Intel Corporation' | grep HD

00:02.0 VGA compatible controller [0300]: Intel Corporation HD Graphics 630 [8086:5912] (rev 04)
00:1f.3 Audio device [0403]: Intel Corporation 100 Series/C230 Series Chipset Family HD Audio Controller [8086:a170] (rev 31)
```

#### 绑定为 VFIO 设备

修改 /etc/modprobe.d/vfio.conf

```bash
options vfio-pci ids=8086:5912,8086:a170 disable_vga=1
```

在物理机禁用 Intel 核心显卡和音频，创建并修改 /etc/modprobe.d/custom-blacklist.conf

```bash
blacklist snd_hda_intel
blacklist snd_hda_codec_hdmi
blacklist i915
```

完成上述修改后，你需要更新 initramfs 并重新启动系统

```bash
update-initramfs -u -k all
```

重新启动系统后，确认 Intel 核心显卡使用的 driver 是不是 vfio-pci

```bash
lspci -nnk| grep -C1 vfio
```

现在你可以使用 virt-manager 或 Proxmox 在虚拟机上分配 PCI 设备了。

## 其他的内核启动参数

这里列举可能会用到的部分内核启动参数

- 尽可能多的将 iommu groups 拆分，方便直通一些板载的设备

```bash
pcie_acs_override=downstream,multifunction
```

- 禁用显卡的 frame buffering

```bash
video=vesafb:off
video=efifb:off
video=simplefb:off
initcall_blacklist=sysfb_init
```

- 禁用显卡的 vesa driver

```bash
video=vesa:off
```