*本文的方案是为标准代理服务器 HTTP(S) 与 Socks 而设计的。*

## 背景

由于 ChromeOS 的生态链一直算不上完整，尽管同时拥有 ChromeOS Android Linux 三个平台的软件资源，但是就实际使用而言，并不能做到很好的互通有无，比如如何在 ChromeOS 上不使用开发者模式实现全局使用代理服务器，就是个比较麻烦的事情。为此要在网络层面下功夫，实现设备级的全局代理。



我们先看一下现状，看一下现在大家所采用的主流的代理服务器技术。因为在计算机行业，弄出来个新东西的根本思路就是把当前的技术东拼西凑，哪怕创造一门新的语言也是如此，所以接下来我们要怎么解决问题也会是如此。所以笔者比较赞成计算机科学是不存在的，只有计算机工程，你当然可以有你的理解，这不是本文要讨论的东西。言归正传，我们讲回正题。

标准的代理服务器常用的有两种，HTTP(S) 与 Socks，基于 Iptables 实现的 Redirect 虽然实现了和代理服务器同样的效果，但是并不能称之为代理服务器，不过我们这里同样将它也视为一种现状。

## 方案设计

现在，我们提出解决问题的思路:

1. 如果希望一个设备在接入网络后不需要做任何配置就能够实现全局代理（对该设备而言也是透明代理）的话，我们需要实现当设备访问到路由器时能够在路由器内部实现分流。
2. 我们需要在路由器里面设计 Iptables Redirect 到 HTTP(S)/Socks/Redir，或是使用路由表将流量引入到 HTTP(S)/Socks/Redir 代理所在的服务器。 

到这里，可能 Iptables Redirect 是最受广大软路由玩家青睐的，这个做法我觉得是可行的，搭配一些脚本实现健康检查也不是非常困难的事情，它应该能工作的很好。

然而我并不喜欢使用 ipset 这样的方式去处理流量，因为我算不上是个软路由玩家，相比起来软路由，我更喜欢商业路由器，不过本文的方案依旧能够在 OPNSense 或是 OpenWRT 上工作。

如果我们放弃了使用 Iptables Redirect 的方案，那么就产生了下面两个问题:

1. 如何将路由表导入到路由器内部，进而将流量路由到特定的网络位置？
2. 如何将三层协议路由过去的流量导入到三层协议以上的 HTTP(S)/Socks/Redir 代理所在的服务器？

对于第一个问题，这个问题的解决办法有很多，我们暂时不做讨论。

再看第二个问题，对于 HTTP(S) 代理服务器，笔者找到了 tun2proxy，对于 Socks 代理服务器，tun2socks 就很好用，而对于 Redir，很抱歉，笔者没有什么建议，因此才有了本文的第一句话「本文的方案是为标准代理服务器 HTTP(S) 与 Socks 而设计的」。顺便一提，由于 Socks 代理比 HTTP(S) 有更好的性能，笔者推荐使用 Socks + tun2socks。而 tun2socks 与 tun2proxy，简单来说就是能够实现将进入到 tun 虚拟网卡的流量转发到 Socks/HTTP(S) 代理服务器。

接着，我们可以利用一种办法从路由器按照特定的路由表将流量引流到 tun 虚拟网卡上（tun 虚拟网卡的位置可以是在 HTTP(S)/Socks/Redir 代理所在的服务器，也可以是另外一台机器，笔者推荐将 tun 虚拟网卡启动在 HTTP(S)/Socks/Redir 代理所在的服务器上面）以实现设备的全局透明代理。

现在回看第一个问题，尽管第一个问题的解决方案有很多，但是如何较为轻松的维护这个路由表实际上还是值得讨论的。笔者这里使用了 [idndx.com](https://idndx.com/use-routeros-ospf-and-raspberry-pi-to-create-split-routing-for-different-ip-ranges/) 提供的解决方案。该作者制作了非大陆 IP 的路由表，能够搭配 OSPF 实现动态的更新路由器内部的路由表。

## 实现过程

我们假设，你已经有了一个 socks 代理服务器，以及已经有了一个无污染的 DNS，随便他们部署在什么位置，只要他们是可用的。

后续的演示仅针对 IPv4，对于 Ipv6 同样可以照葫芦画瓢实现，对于防火墙放行规则，请自行查阅文档处理。

### Tun2socks

开启服务器的路由转发

```Bash
sysctl -w net.ipv4.ip_forward=1
```

创建 TUN 虚拟网卡

```Bash
ip tuntap add mode tun dev tun0
ip addr add 198.18.0.1/15 dev tun0
ip link set dev tun0 up
```

开启 tun 虚拟网卡到 socks5 的转发

```Bash
tun2socks -device tun0 -proxy socks5://<your_server>:<your_port> -interface eth0
```

我们不需要按照 Tun2socks 的 Wiki 为 tun 虚拟网卡开启任何的路由规则，因为这些路由规则将有 Bird 来做。

### Bird

安装并启动 bird，略。

#### 生成使用 tun 网卡的路由表规则

你可以使用 nchnroutes 来生成这张表，要记得注意修改出接口的名字，并且使用 exclude 选项排除一些地址，比如代理服务器的地址，请根据你的实际情况来落实。

/etc/bird/routes4.conf

```Config
...
route 1.1.1.1/32 via "tun0";
```

#### 配置 OSPF 将路由表广播给路由器

/etc/bird/bird.conf

```Config
# This is a minimal configuration file, which allows the bird daemon to start
# but will not cause anything else to happen.
#
# Please refer to the documentation in the bird-doc package or BIRD User's
# Guide on http://bird.network.cz/ for more information on configuring BIRD and
# adding routing protocols.

# Change this into your BIRD router ID. It's a world-wide unique identification
# of your router, usually one of router's IPv4 addresses.
router id 10.255.255.2;

# The Kernel protocol is not a real routing protocol. Instead of communicating
# with other routers in the network, it performs synchronization of BIRD's
# routing tables with the OS kernel.
protocol kernel {
	scan time 60;
	import none;
	export all;   # Actually insert routes into the kernel routing table
}

# The Device protocol is not a real routing protocol. It doesn't generate any
# routes and it only serves as a module for getting information about network
# interfaces from the kernel.
protocol device {
	scan time 60;
}

protocol static {
	include "routes4.conf";
}

protocol ospf {
	export all;
	area 0.0.0.0 {
		interface "eth1" {
			authentication simple;
			password "yourpassword";
		};
	};
}
```

- export all: 将路由插入到内核路由表
- router id: OSPF 实例的唯一标识符，一般填写本设备的 IP 地址。
- interface: 使用哪张网卡进行 OSPF 路由广播。
- authentication: 有多种选项，simple 是指明文传输，其他的请自己查阅文档
- password: 顾名思义

#### Reload Bird 使配置生效

```Bash
birdc configure
```

你可以使用 `curl --interface tun0 https://1.1.1.1` 测试你的 tun 虚拟网卡是否工作（访问的地址需要在上面的路由表内）。

### 配置路由器

在路由器上配置 OSFP 接受来自 Bird 的路由广播，请参考你的路由器使用手册，如果一切正常，你能够在你的路由器里面看到接收到的来自 Bird 的路由表。


## 宕机测试

关闭 bird 服务或是关闭 tun 网卡与 bird 所在服务器后，路由器中的路由表会消失。

## 注意事项 

sometimes we need to disable rp_filter for the corresponding interface so that it can receive packets from other interfaces.

```Bash
sysctl net.ipv4.conf.all.rp_filter=0
sysctl net.ipv4.conf.eth0.rp_filter=0
```

OSPF + tun2socks 自动全局代理

## 前言

在 [OpenWRT Stable Release 编译并支持官方源](https://blog.motofans.club/post/how-to-compile-openwrt-and-still-use-the-official-repository) 这篇博文中我提到了我在使用 EC20 实现一个 CPE 设备。

在本篇文章中，将会介绍如何在 OpenWRT 中使用 EC20 进行联网以及接收短信。

EC20 有多个版本，包括不限于下面这张图片（截取自京东移远旗舰店）。

![image.png](https://blog.motofans.club/static/img/7c33518f349fff75c496969a419337d8.image.png)

我不想花费太多的时间调查网络上流传的各种版本哪一个更强大，以及强大在哪里，所以我从上面选了一个能够满足我使用需求的版本（访问网络和接收短信），即 CEFHLG-128-SNNS，这个版本除了不支持 GPS 看起来都 OK，它在二手市场上卖 40 人民币。



## 访问网络

https://openwrt.org/docs/guide-user/network/wan/wwan/ltedongle

在 OpenWRT 中使用移远 EC20

##  前言

我是不太喜欢 OpenWRT 的，相比来说 RouterOS 是我更中意的。不过为了实现 CPE，还希望功能能够丰富一些，还想要网口多一些，还想要成本低一些，看起来也只能选择一些开发板，所以在前段时间我买了一个 MT7621 的开发板。

然后插上 WIFI (MT7612EN + MT7922) 和 4G (移远 EC20) 模块后，发现这些模块并不能正常工作，虽然他们确实显示在 lsusb 中了。

简单的搜了一些文档，发现需要 kmod，然后去装 kmod 的时候发现装不上。完球了，我猜我需要编译 OpenWRT 了。

于是和商家要到了个开发资料，商家很爽快的就给了。解压之后，我先照着商家发的资料和文档照葫芦画瓢的编译了一个固件出来，并且很快的刷入了设备，发现问题并不像我之前想的那么简单...



## 调查

因为我一直不怎么关注 OpenWRT，我此时并不知道应该怎么处理下面这些在我脑子里浮现出来的问题：

- 我需要在编译的时候就将 kmod 一起编译出来？
- 如果我的问题没有得到解决，或是我更换了其他的硬件，需要更多的 kmod，我就可能需要不断的编译更多的东西？
- 需要强制安装 kmod？
- 官方的 opkg Repo，难道不能使用在自编译的固件上？

这是当时我脑子里意识到的东西（虽然有些现在来看并不是那么准确）

在我整理了思路后，我认为官方的固件也必然是个 CI/CD 来完成编译的，所以一定有办法在自编译固件上使用官方的 opkg Repo。至于强制安装或许能解决当下的问题，但是肯定是下下策。

基于上面的判断，经过了一些搜索后我从下面的两个文章里面弄清了原因。

https://hamy.io/post/0015/how-to-compile-openwrt-and-still-use-the-official-repository/

https://libremesh.org/development-kernel_vermagic.html

你可以直接去看这两个文章，或是你可以留在这里继续看我的总结。

## 原因

自编译固件的 kernel 版本与官方 Repo 里面的 kmod 安装包中记录的 kernel 版本不匹配，准确的说是 vermagic。

> This is because OpenWRT has a system called “vermagic” that ensures you can only install kmod packages with the same settings as the build config settings of the kernel you are running.

OpenWRT 通过一个名为 vermagic 的记录来确保你只能安装具有同样设置的 kmod 安装包。

你可以用下面的命令查看你当前运行的固件的 vermagic

```Bash
opkg list-installed kernel
```

## 重新编译

现在，我们需要编译一个与官方 Stable Release 具有同样 vermagic 的自编译版本，并确保在刷入设备后能够从官方的 opkg Repo 安装 kmod。

### 查看官方固件的 vermagic

官方固件的 vermagic 从下载地址即可以看到，比如下面这个。

https://downloads.openwrt.org/releases/22.03.5/targets/ramips/mt7621/kmods/

里面能够看到这样一个目录: 5.10.176-1-2d6f3ce75b5e7700b705cb00cd526063，其中 2d6f3ce75b5e7700b705cb00cd526063 就是官方固件的 vermagic

### 编译特定 vermagic 的固件

#### 检出代码

由于上面我们查看的是 Stable Release 22.03.5 的 vermagic，所以我们需要检出 Stable Release 22.03.5 的 Tag。

```Bash
git clone https://git.openwrt.org/openwrt/openwrt.git
cd openwrt
git checkout v22.03.5
```

#### 更新并安装 feeds

```Bash
# 更新库
./scripts/feeds update -a

# 下载软件包
./scripts/feeds install -a
```

#### 调整代码

:::tip{title="提示"}
如果你需要修改 DTS 请在更新并安装 feeds 后开始。比如我的开发板硬件与 mqmaker WiTi Board 很像，所以我需要将此设备的 DTS 按照商家所提供的 DTS 进行修改。在编译时即可以将机型选择为 mqmaker WiTi Board。而如果你的设备无需修改 DTS，它是官方固件下载地址里面有的，那你又何必如此折腾的编译固件呢?
:::

#### 设置 .config

获取 Stable Release 22.03.5 官方固件的 config.buildinfo

```Bash
curl -OL https://downloads.openwrt.org/releases/22.03.5/targets/ramips/mt7621/config.buildinfo
```

补全 .config

上面的 config 是一份精简的配置，我们首先需要对其进行补全。

```Bash
make defconfig
```

#### 检查 vermagic

编译完整的固件会花费非常久的时间，你肯定不想完成构建后发现 vermagic 依旧是不匹配的。所以在编译完整固件之前，我们可以通过下面的命令来以仅编译内核并检查 vermagic。

```Bash
make target/linux/{clean,compile}
```

:::warning{title="注意"}
在 `make target/linux/{clean,compile}` 执行之后，最终它很可能会失败，并且你此时无法构建完整的内核（因为你尚未首先构建必要的先决条件）。

但不要害怕！我们所需要的 .vermagic 文件应该在失败之前就会生成，这就是我们现阶段所需要的。
:::

```Bash
find build_dir/ -name .vermagic -exec cat {} \;
```

确认你看到的 vermagic 与前面步骤中得到的官方固件的 vermagic 是一致的。

#### 做适当的调整

在这一步，你可以做一些自定义的改动。但是请注意，不恰当的改动会影响 vermagic，**我的建议是这里只做机型选择，别的不要动**。

或是如果你能忍耐漫长的编译时间，可以跳过这一步骤，它将编译所有的机型。

```
make menuconfig
```

#### 再次检查 vermagic

如果你执行过 `make menuconfig`，我们需要重新确认 vermagic 的

```Bash
make target/linux/{clean,compile}
```

当然，像前面的步骤一样，这个编译依旧很可能不会成功。

```Bash
find build_dir/ -name .vermagic -exec cat {} \;
```

如果你看到的 vermagic 值依旧是官方固件的 vermagic 是一致的。那么我们可以进行下面的步骤了。如果不是，你需要重新执行上面的几个步骤。或是考虑跳过 `make menuconfig`。

#### 下载编译所需要的资源

```Bash
make download
```

#### 执行编译

```Bash
make V=s
```

这一步会花费很长时间。编译完成后，你将得到一个包含了基础软件的固件。

在我的例子当中，它会存放在 `bin/targets/ramips/mt7621/openwrt-23.05.2-ramips-mt7621-mqmaker_witi-squashfs-sysupgrade.bin`。

一切正常的话，它已经能够刷入并完成启动，你可以直接使用官方 opkg Repo 镜像 kmod 或是其他 opkg 包的安装。

## 添加更多的包

这是一个可选步骤。

:::tip{title="提示"}
个人认为，如果是自用的情况，没有必要再做这些步骤，因为现在我们已经能够从官方 opkg Repo 镜像执行 opkg 的安装。
:::

如果想要在固件中引入更多特定的包（以实现在恢复出厂设置时不会丢失他们），除了可以在编译的时候使用 `make menuconfig` 进行添加（这可能需要反复调整以保证 vermagic 的一致性，**使用 Image Builder（这个工具也会在上一步的编译过程中一起获得。） 来进行后续的处理是更好的选择。**

### 解压 Image Builder

```Bash
cp bin/targets/ramips/mt7621/openwrt-imagebuilder-23.05.2-ramips-mt7621.Linux-x86_64.tar.xz /home/ares

tar -xf /home/ares/openwrt-imagebuilder-23.05.2-ramips-mt7621.Linux-x86_64.tar.xz
```

### 复制 Base-files

将上一步编译出来的 `base-files_*_mipsel_24kc.ipk` (位于 bin/targets/ramips/mt7621/packages) 拷贝到 openwrt-imagebuilder-23.05.2-ramips-mt7621.Linux-x86_64/packages。

*这是针对我们的硬件的 OpenWRT 框架文件，除了这个其他的包我们都可以使用 Image Builder 从官方下载到的 opkg file。*

```Bash
cp bin/targets/ramips/mt7621/base-files_*_mipsel_24kc.ipk /home/ares/openwrt-imagebuilder-23.05.2-ramips-mt7621.Linux-x86_64/packages
```

### 生成新的固件

```Bash
cd /home/ares/imagebuilder-23.05.2-ramips-mt7621.Linux-x86_64

make image \
PROFILE=mqmaker_witi \
PACKAGES="pkg1 pkg2 pkg3 -pkg4 -pkg5 -pkg6" \
FILES="files" \
DISABLED_SERVICES="svc1 svc2 svc3"
```

OpenWRT Stable Release 编译并支持官方源

## 背景

如果有超过本地硬盘容量的资源需要下载的话，比如说 100T 的资源，而本地只有 1 T 的磁盘空间，我们需要实现边下载边删除的设计。

## 具体思路

1. 使用 qbittorrent-nox 监控某个文件夹下的 torrent 文件，然后把他们自动加入下载，但是务必需要设置不自动开始。

2. 使用 Rclone 配置远程存储。

3. 写一个脚本定期执行，实现监控 qbittorrent-nox 里面的任务下载情况，如果检测到了下载完毕的任务将资源使用 Rclone 上传到远程存储，然后删除下载的文件，同时恢复以特定规则排序下前 N 名的任务的下载。



```Python
import qbittorrentapi
import os
import re
import logging
import subprocess
import threading
import shutil

class QbittorrentClient:

    def __init__(self, host='127.0.0.1', port=8080, username='<username>', password='<password>'):
        self.client = qbittorrentapi.Client(host=host, port=port)
        self.client.auth_log_in(username=username, password=password)

    def close(self):
        self.client.auth_log_out()

    def get_all_torrents(self):
        print('Get all torrents')
        return self.client.torrents_info()

    def resume_first_torrent(self):
        print('Check if we need a new resume download.')
        all_torrents = self.get_all_torrents()
        sorted_all_torrents = sorted(all_torrents, key=lambda t: t['name'])

        if sorted_all_torrents:
            first_torrent = sorted_all_torrents[0]
            self.client.torrents.resume([first_torrent.hash])

    def rclone_copy(self, town_path):

        cmd = ['/usr/bin/rclone', '--gcs-bucket-policy-only', 'copy', town_path, 'gcs://sci-hub', '-P']

        try:
            output = subprocess.check_output(cmd, stderr=subprocess.STDOUT, universal_newlines=True)
            logging.basicConfig(filename='/mnt/ares-data/upload.log', level=logging.INFO, format='%(message)s')
            logging.info(output)
            print(town_path + '上传成功')
            try:
                shutil.rmtree(town_path)
                print(town_path, "删除成功")
            except OSError as e:
                print(town_path, "删除失败:", e)
        except subprocess.CalledProcessError as e:
            logging.basicConfig(filename='/mnt/ares-data/upload.log', level=logging.INFO, format='%(message)s')
            logging.error(e.output)
            print(town_path, '上传失败:', e)

    def check_completed_torrents(self):
        torrents = self.get_all_torrents()

        completed_torrents = [torrent for torrent in torrents if torrent['progress'] == 1.0]
        for torrent in completed_torrents:
            file_path = '/mnt/ares-data/download/' + torrent['name']
            town_path = '/mnt/ares-data/town/' + torrent['name']
            if os.path.exists(file_path):
                try:
                    print('Moving...')
                    shutil.move(file_path, town_path)
                except:
                    print('Moving Failed')
                print('Remove torrent:' + torrent['name'])
                self.client.torrents_delete(delete_files=False, torrent_hashes=torrent.hash)
                logging.basicConfig(filename='/mnt/ares-data/remove.log', level=logging.INFO)
                logging.info('Torrent {} removed'.format(torrent['name']))
                self.resume_first_torrent()
                print('Ready upload:' + torrent['name'])
                self.rclone_copy(town_path)
            else:
                logging.basicConfig(filename='/mnt/ares-data/error.log', level=logging.ERROR)
                logging.error('File {} not found'.format(file_path))


if __name__ == "__main__":
    qb = QbittorrentClient()
    qb.resume_first_torrent()
    qb.check_completed_torrents()
    qb.close()
```

使用 qbittorrent + rclone 自动化下载/上传

## 第一阶段（2014 年以前）

在最开始的时候使用的是 Seafile。

它有个客户端，还能同步，看起来很像坚果云。但是那时候的服务器内存性能不够，跑了这个十分勉强，完全干不了别的。如果现在来看这些不是问题，但是后面第二阶段我会说明为啥我还是没用用这个东西。

然后是 Owncloud，这是 Nextcloud 这个分叉的原始分支，现在也存在。

这个东西当时我觉得很厉害，同样有个客户端可以同步，还有一大堆插件可以折腾。但是莫名奇妙的报错总是能在 LOG 里面看到，我也不懂 PHP，这些报错看起来好像可有可无，因为我在使用过程中好像也没有因为这些报错而丢失数据。但是如果我传送超级大的文件，备份足够多的文件，它的性能只是因为我一个人在用，就感觉完全跟不上，因为在使用网页端上传的时候他不会把文件切分，而是直接传到 nginx 的 temp 目录，导致最后看似 100% 上传完了其实还要等 nginx cp 文件到最终的地方。

然后试用了 Pydio（这个东西在之前同样是使用 PHP 写的，现在已经使用 Go 重构了），由于也是 PHP 写的，使用的时候也总是能看到一些 PHP 的莫名奇妙的报1错，当然它的报错会直接导致文件上传失败。

所以在这个阶段，Nextcloud 是我权衡下来的首选方案。

Nextcloud 有权限实现，支持插件，支持 WEBDAV，支持 S3，支持 Onlyoffice，支持 LDAP，实现了很多花里胡哨的东西。但是用起来我就是觉得有问题（或许是因为我对 PHP 的偏见），所以我一直在尝试更换掉它。

## 第二阶段（2016 年左右）

从这个时间开始，我弃用了机械硬盘，使用了 9 个 SSD 进行 RAIDZ2，此时开始，我在尝试各种方案的时候可以更快的搬迁数据。

然后就是 KOD 那个花里胡哨的产品，也是 PHP 写的，简单的使用了一下，那时候这个产品没有客户端，不能实现同步，这不能满足我的使用需求。现在这个产品支持了客户端，但是是不还是 PHP，我没有了解。

然后出现了 Cloudreve，这个东西是个学生写的，他一开始也是 PHP 写的，支持 WebDAV。界面写的很好看，乱七八糟的报错比较少，而且那些报错我能看得懂，不是 Nextcloud 那样莫名奇妙（你需要看源码才能搞懂的）。然后我就用 Goodsync + Cloudreve 替换了我的 Nextcloud。

*值得一提的是 Cloudreve 这个作品，后续使用了 Go 重构，作者的团队规模似乎还是一个人，支持了更多的对象存储以及 S3。但是它实现的 S3 对接，兼容性有问题，我偶尔会关注一下情况并测试，但是我可能最终不会用这个东西，因为 Cloudreve 是盈利不明确的产品，未来作者可能会弃坑。*

## 第三阶段（2018 年左右）

这的时间我的数据量有点多起来了，比较方便的扩容是我比较重要的诉求。Cloudreve 在最开始阶段，只能支持少数的几个公有云对象存储产品。

因此我又用回了 Seafile，因为它支持 S3，但是我同时在寻找另外的产品。这主要是因为 Seafile 的 Bug 十分多，但是也不至于不能用，每次升级总是会有问题。他们的产品是开源的，但是可能基于商业模式考虑，社区反馈的问题不怎么修，有很多论坛的人称呼他们的产品是假开源。比如 S3 也只是支持 V2 签名。而不支持 V4 签名。

## 现阶段 （2020 年后-至今）

由于一直在寻找另外的产品替代 Seafile，在某一次 Seafile 的升级故障后尝试在搜索解决方案时，Pydio Cells 在 Seafile 的 Github 仓库中的某个 isuse 下面被讨论到，那几个回复者称自己迁移到了 Pydio Cells。然后重新去看 Pydio 发现他们的新产品 Pydi Cells 使用 Go 重构了。

Pydio Cells 支持 V4 签名的 S3，支持权限，支持客户端同步，支持 Webdav。不过其社区版有一些限制，不支持文档预览，不支持 LDAP，不支持二步验证，好在这些问题对我来说都能有一定的应对手段。

现在我用的就是这个东西。用了 3 年多了，暂时没有动机更换这个产品。

此外市面上还有一些其他的产品，我也观察过，但是没有写在上面。