简介

• Cloudflare 作为全球最大的网络服务提供商，全球大约有30%的网络服务由它提供。
• WARP是Cloudflare提供的免费的，没有带宽上限或限制的VPN服务，可以让你在任何地方访问互联网，而不会受到地域限制。
  • WARP软件是基于wireguard魔改的。
  • WARP有安卓和Windows的客户端，但是使用人数过多，体验并不好
  • Linux下通过WARP代理能实现20MB/s的下载速度。

WARP on Linux

安装配置

• 缘由：WARP下的PT做种快得多。(不是，是因为网络硬盘，所以下载多少要占用多少上传)
• 参考教程。
• 脚本和所需文件在Z:\shaojiemike\Documents\文献\计算机网络目录下。这里先使用fjw的脚本。

1. 通过注册脚本register.py，获得私钥和分配的ip
2. 配置wg。其中Endpoint端口可从官方文档中找到，默认的2408很可能被封。WARP with firewall · Cloudflare Zero Trust docs

   1 2 3 4 5 6 7 8 9 10

   [Interface] PrivateKey = xxxx #register.py的私钥 Address = xxx/32,xxx/128 #register.py的ipv4和ipv6 Table = off # off禁止wg修改路由表 [Peer] PublicKey = bmXOC+F1FxEMF9dyiK2H5/1SUtzH0JuVo51h2wPfgyo= AllowedIPs = 0.0.0.0/0,::/0 Endpoint = [2606:4700:d0::a29f:c001]:500 #2408, 1701, 500, 4500 PersistentKeepalive = 25

3. warp使用的不是标准的wg协议，root下运行，需要通过一个nft脚本main.sh修改包的3个字节。
   1. 安装nft apt-get install nftables
   2. 需要/etc/default/warp-helper文件填写对应的
   3. ROUTING_ID对应register.py的ROUTING_ID。注意三个数之间没空格
   4. UPSTREAM对应wg-conf里Endpoint。比如：

   5.   ROUTING_ID=11,45,14
        UPSTREAM=[2606:4700:d0::a29f:c001]:500
        
      1
      2
      3
      4
      5
      6
      7
      8
      9
      10
      11
      12
      13
      14
      15
      16
      17
      18
      19
      20
      21
      2. 最后开启路由表,Root权限运行` ip route add default dev warp proto static scope link table default`
      
      ## WARP on OpenWRT 
      
      * 目的：为了防止大量流量通过WARP，导致被官方封禁，所以只在OpenWRT上配置WARP分流github的流量。
      * 实现思路：
        * 运行python脚本，通过github的API获得所有的github域名ip，
        * 使用iptables的warp_out表，将目的地址为github域名ip路由到WARP的虚拟网卡上。
      
      ### WARP Wireguard Establishment
      
      ```bash
      python register.py #自动生成warp-op.conf,warp.conf和warp-helper
      mv warp-helper /etc/default
      # cat main.sh
      # cat warp-op.conf
      vim /etc/config/network #填写warp-op.conf内容，默认只转发172.16.0.0/24来测试连接
      ifup warp #启动warp, 代替wg-quick up warp.conf
      bash main.sh #启动防火墙实现报文头关键三字节修改
      nft list ruleset #查看防火墙，是否配置成功
      wg #查看warp状态，测试是否连接成果
      
      

这时还没创建warp_out路由表，所以还不能通过WARP出数据。

1
2
3
4
5
6
7
8

#/etc/config/network
config interface 'warp'
        option proto 'wireguard'
        option private_key 'wKpvFCOk4sf8d/RD001TF7sNQ39bWnllpqaFf8QnHG4='
        option listen_port '51825'
        list addresses '172.16.0.2/32'
        list addresses '2606:4700:110:8466:d4ea:ffb8:10da:470f/128'
        #option disabled '1' 

然后WebUI点击apply 或者命令行运行ifconfig warp down && ifup

Network planning and design

添加了WARP的网络出口后，路由器不在只是通过WAN出数据。防火墙需要更新：

• 原路返回规则。
  • 针对有公网ip的接口，需要原路返回。
    • 配置来自wan和WARP的信报，使用wan和WARP的路由表，优先级3
    • 来自wan的比如来自外部的ssh，为了防止失联。
    • 来自WARP的比如wget --bind-address=WARP_ip来模拟
  • 内网地址没有必要配置，因为通过内网地址访问host，则dst必然也是内网地址。因此会匹配main中的内网地址规则。
• wan和WARP的路由表内各自走wan和WARP的网卡
• 为了使得原本wg正常运行，10: from all lookup main suppress_prefixlength 1
  • 假如warp_out是defualt规则，该项也是为了防止失联。
• 创建warp_out的空路由表1000: from all lookup warp_out,优先级1000

1
2
3
4
5
6
7
8

root@tsjOp:~/warp# ip rule
0:      from all lookup local
3:      from 114.214.233.141/22 iif eth1 lookup wan
3:      from 172.16.0.2 iif warp lookup warp
10:     from all lookup main suppress_prefixlength 1
1000:   from all lookup warp_out
32766:  from all lookup main
32767:  from all lookup default

填充warp_out路由表

1
2
3

cd ip_route
mv ../github_ipv4.txt .
python fill_ip_table.py --table warp_out --iface warp --p2p -f github_ipv4.txt

对所有github域名的ip执行类似ip ro add 192.30.252.0/22 dev warp proto static table warp_out操作。

测试

1
2
3

mtr www.github.com
ssh -vT [email protected]
git clone https://github.com/llvm/llvm-project

添加到启动项

修改/etc/rc.local

1
2
3
4
5
6
7
8
9

# Put your custom commands here that should be executed once
# the system init finished. By default this file does nothing.


sleep 30 && cd /root/warp/ip_route && python fill_ip_table.py --table warp_out --iface warp --p2p -f github_ipv4.txt

/root/warp/main.sh #重新添加防火墙

exit 0

WARP on Windows

基于1.1.1.1 的安装windows版本直接白嫖

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

https://gist.github.com/iBug/3107fd4d5af6a4ea7bcea4a8090dcc7e

glados

区别

Service

历史上，Linux 的启动一直采用init进程。
下面的命令用来启动服务。

1
2
3

$ sudo /etc/init.d/apache2 start
# 或者
$ service apache2 start

这种方法有两个缺点。

一是启动时间长。init进程是串行启动，只有前一个进程启动完，才会启动下一个进程。

二是启动脚本复杂。init进程只是执行启动脚本，不管其他事情。脚本需要自己处理各种情况，这往往使得脚本变得很长。

Systemd

Systemd 就是为了解决这些问题而诞生的。它的设计目标是，为系统的启动和管理提供一套完整的解决方案。

根据 Linux 惯例，字母d是守护进程（daemon）的缩写。 Systemd 这个名字的含义，就是它要守护整个系统。

使用了 Systemd，就不需要再用init了。Systemd 取代了initd，成为系统的第一个进程（PID 等于 1），其他进程都是它的子进程。

Systemd 的优点是功能强大，使用方便，缺点是体系庞大，非常复杂。事实上，现在还有很多人反对使用 Systemd，理由就是它过于复杂，与操作系统的其他部分强耦合，违反”keep simple, keep stupid”的Unix 哲学。

systemctl

systemctl是 Systemd 的主命令，用于管理系统。

systemctl - Control the systemd system and service manager

1
2
3
4
5
6
7
8
9

systemctl is-enabled servicename.service #查询服务是否开机启动
systemctl enable *.service #开机运行服务
systemctl disable *.service #取消开机运行
systemctl start *.service #启动服务
systemctl stop *.service #停止服务
systemctl restart *.service #重启服务
systemctl reload *.service #重新加载服务配置文件
systemctl status *.service #查询服务运行状态
systemctl --failed #显示启动失败的服务

1
2
3
4
5
6
7
8
9
10
11
12

# 查看相关unit
shaojiemike@tsjNas:~$ systemctl|grep wg
  [email protected]
      loaded active exited  WireGuard via wg-quick(8) for wg0

# 查看已经启动的服务
systemctl list-unit-files --state=enabled|grep wg
[email protected]                     enabled //由于我删除了wg0，所以.service前没wg0

# 删除服务
sh-4.4#  systemctl disable [email protected]
Removed symlink /etc/systemd/system/syno-low-priority-packages.target.wants/[email protected].

开机启动原理

Systemd 默认从目录/etc/systemd/system/读取配置文件。但是，里面存放的大部分文件都是符号链接，指向目录/usr/lib/systemd/system/，真正的配置文件存放在那个目录。

systemctl enable命令用于在上面两个目录之间，建立符号链接关系。

1
2
3

$ sudo systemctl enable [email protected]
# 等同于
$ sudo ln -s '/usr/lib/systemd/system/[email protected]' '/etc/systemd/system/multi-user.target.wants/[email protected]'

如果配置文件里面设置了开机启动，systemctl enable命令相当于激活开机启动。

与之对应的，systemctl disable命令用于在两个目录之间，撤销符号链接关系，相当于撤销开机启动。

1

> $ sudo systemctl disable [email protected]

配置文件的后缀名，就是该 Unit 的种类，比如sshd.socket。如果省略，Systemd 默认后缀名为.service，所以sshd会被理解成sshd.service。

实例

1
2
3
4
5
6
7
8
9

[Unit]
Description=Webhook receiver for GitHub

[Service]
Type=simple
ExecStart=/usr/local/bin/webhook

[Install]
WantedBy=multi-user.target

1
2

systemctl start nexus.service  #启动服务
systemctl enable nexus.service #设置开机启动

1
2
3
4

# root @ snode0 in /etc/systemd/system [17:57:48]
$ journalctl -u webhook.service
-- Logs begin at Mon 2022-06-06 15:54:50 CST, end at Tue 2022-06-28 17:57:50 CST. --
Jun 28 17:30:53 snode0 systemd[1]: Started Webhook receiver for GitHub.

问题

1
2
3
4
5
6
7
8
9
10

$ systemctl reload webhook.service
==== AUTHENTICATING FOR org.freedesktop.systemd1.manage-units ===
Authentication is required to reload 'webhook.service'.
Multiple identities can be used for authentication:
 1.  Jun Shi (shijun)
 2.  Shaojie Tan (shaojiemike)
Choose identity to authenticate as (1-2): 2
Password:
==== AUTHENTICATION COMPLETE ===
Failed to reload webhook.service: Job type reload is not applicable for unit webhook.service.

Simple 类型不能reload

参考文献

https://blog.csdn.net/qq_40741855/article/details/104984071

https://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-commands.html

Nsight system compute & Graph 的关系

Nsight Systems

All developers should start with Nsight Systems to identify the largest optimization opportunities. Nsight Systems provides developers a system-wide visualization of an applications performance. Developers can optimize bottlenecks to scale efficiently across any number or size of CPUs and GPUs; from large servers to our smallest SoC. For further optimizations to compute kernels developers should use Nsight Compute or to further optimize a graphics workloads, use Nsight Graphics.

Nsight Compute

Nsight Compute is an interactive kernel profiler for CUDA applications. It provides detailed performance metrics and API debugging via a user interface and command line tool. Nsight Compute also provides customizable and data-driven user interface and metric collection that can be extended with analysis scripts for post-processing results.

Nsight Graphics

Nsight Graphics is a standalone application for the debugging, profiling, and analysis of graphics applications on Microsoft Windows and Linux. It allows you to optimize the performance of your Direct3D 11, Direct3D 12, DirectX Raytracing 1.1, OpenGL, Vulkan, and KHR Vulkan Ray Tracing Extension based applications.

Install Nsight local

1. check the perf config To collect thread scheduling data and IP (instruction pointer) samples
   1. cat /proc/sys/kernel/perf_event_paranoid
   2. 如果大于2，临时改变 sudo sh -c 'echo 2 >/proc/sys/kernel/perf_event_paranoid'重启会重置
   3. 永久修改 sudo sh -c 'echo kernel.perf_event_paranoid=2 > /etc/sysctl.d/local.conf'
2. 下载Nsight
   1. 但是单独下载要会员
   2. 下载cuda toolkit,有集成

Nsight System

目标与功能

运行 nsight-sys，可以从整体上看GPU,CPU资源的使用情况，和分辨出热点函数和kernel，但是对于为什么是热点给不出具体分析。

基本使用

勾选了CUDA-trace, GPU Metrics选项

1
2
3
4
5

GPU Metrics [0]: The user running Nsight Systems does not have permission to access NVIDIA GPU Performance Counters on the target device. For more details, please visit https://developer.nvidia.com/ERR_NVGPUCTRPERM
  - API function: NVPW_GPU_PeriodicSampler_GetCounterAvailability(&params)
  - Error code: 17
  - Source function: static std::vector<unsigned char> QuadDDaemon::EventSource::GpuMetricsBackend::Impl::CounterConfig::GetCounterAvailabilityImage(uint32_t)
  - Source location: /dvs/p4/build/sw/devtools/Agora/Rel/DTC_F/QuadD/Target/quadd_d/quadd_d/jni/EventSource/GpuMetricsBackend.cpp:609

Profile 速度

大致2到3倍时间：默认采样率，单独运行52s, Nsight-sys模拟需要135s。

HPC APP : PCIE, GPU DRAM Bandwidth, Warp

GPU Metrics选项能看出 PCIE, GPU DRAM Bandwidth, Warp的使用情况。

Compute Warps in Flight

将鼠标放在上面会有具体的数值或者名称的解释，(正在使用的Warps)

Unallocated Warps in Active SMs

• Definition: This metric represents the number of warps that are not actively executing but are assigned to an active Streaming Multiprocessor (SM).
• Interpretation: In CUDA, SMs are the fundamental processing units on the GPU. Each SM can execute multiple warps concurrently. “Unallocated Warps in Active SMs” indicates the number of warps that are ready to be scheduled on an SM but are currently waiting due to resource contention or other factors. A high number may suggest that there is room for additional work but available resources are not fully utilized.

NVTX

由于没有根据kernel function区分，很难读。为此提供了NVTX来给代码打标签

1

#include <nvToolsExt.h>

1
2
3
4

nvtxRangePush("checkResult"); //nvtxRangePushA,nvtxRangePushW,nvtxRangePushEx 好像都差不多
checkResult<<<dim3(row_num / TPBX, col_num / TPBY, 1), dim3(TPBX, TPBY, 1)>>>(row_num, col_num, result);
cudaDeviceSynchronize(); 
nvtxRangePop();

AI APP: Stable Diffusion XL

具体分析见 Deploy Stable Diffusion to A100

Nsight Compute

• Nsight Systems 就是nvprof的继任者，NVIDIA最新的用于监测 kernel timeline的工具。
• NVIDIA 计算能力7.5及以上的GPU设备(从A100开始)不再支持nvprof工具进行性能剖析，提示使用Nsight Compute作为替代品.

目标与功能

默认kernel模式，会根据 function的调度关系，将程序划分为kernel

1. Summary： 给出in-order执行的每个kernel的参数，时间，资源占用(寄存器，计算访存单元)信息。
   1. Detail: 对于被选择的kernel给出， NV的优化建议
   2. Source：对于被选择的kernel给出， 给出源代码

基本使用

1
2
3

# recommand running under sudo
ncu # 命令行 Nsight Compute CLI(ncu)
ncu-ui # GUI

Profile速度

目测模拟时间慢百倍。

使用Nsight Compute CLI (nv-nsight-cu-cli / ncu) 输出数据

nv-nsight-cu-cli -> ncu

下面是一个使用样例：

1

/usr/local/NVIDIA-Nsight-Compute/nv-nsight-cu-cli -o mnist -f --csv --profile-from-start off /usr/bin/python3 mnist.py

其中-o是为了输出.nsight-cuprof-report文件用于后续的可视化查看，-f为强制覆盖原有文件，–csv可是在console输出除 timeline 以外数据的时候以逗号分隔数据，方便拷贝至csv文件， –profile-from-start的使用方法和Nsight System以及nvprof一样。其余flag选项可见文档。

上面的例子会生成mnist.nsight-cuprof-report文件。

注意

最前面的可执行文件需要绝对路径，如上面的python3需要使用 /usr/bin/python3。
生成过程中可能会产生很大的临时文件（几十G）。如果本次磁盘空间不够，可以设置如下环境变量来调整存储临时文件的地址。没有找到能直接使用 Nsight Compute 修改临时文件地址的方式。

1

export /TMPDIR=/path/for/tmp

ncu与nvprof命令行抓取参数的映射表

https://www.freesion.com/article/34871449930/

ncu-ui教程

为了显示原代码makefile添加 -g -G选项
对应CmakeList.txt

1
2
3

target_compile_options(better PUBLIC $<$<COMPILE_LANGUAGE:CUDA>:--extended-lambda
    -G -src-in-ptx
    >)

https://blog.csdn.net/yan31415/article/details/109491749

ncu-ui表格&图

我不明白我的SMEM怎么不是从DRAM来的， 而且峰值怎么这么低？

这个错误也是令人迷惑
The memory access pattern for loads from L1TEX to L2 is not optimal. The granularity of an L1TEX request to L2 is a 128 byte cache line. That is 4 consecutive 32-byte sectors per L2 request. However, this kernel only accesses an average of 3.7 sectors out of the possible 4 sectors per cache line. Check the Source Counters section for uncoalesced loads and try to minimize how many cache lines need to be accessed per memory request.

不知道为什么有1%和2% 的bank conflict

可以看到 SMEM， Register，Block Size是怎么影响GPU Warp的分配调度的。

上图没有拖累，吃满了64个warp。

关于if语句

if语句只要warp里执行相同就行。

可以提示出不连续访问的地方。(这里是这样设计的，已经避免了绝大部分的不连续访问)

显示stall最多的指令是什么以及在等待什么。还有执行最多的指令

假如 file mismatched 手动选择文件就行

stall的信息，感觉就这些有点用。(其中sb是scoreboard的意思)

ncu-ui 分析汇编

PTX&SASS汇编说明

有两种汇编

请看PTX SASS一文

基本说明

可以通过指令执行数或者采样率来得知，执行最多的指令。

鼠标悬停可以知道具体命令的含义

Ex1: for循环头

Ex2: for-loop kernel

1

sdata[Regular_local_index]=arr_data[Regular_global_index];

该从DRAM里读取到SMEM的指令对应的PTX和SASS代码

1

cvt.f32.u16 d, a;   // convert 16-bit unsigned to 32-bit float

问题：无效self-mov？

为了隐藏延迟？

直接原因是PTX翻译成SASS。一条mov变多条了

CUDA Visual Profiler

老一代debugger工具，逐渐被Nsight淘汰

1
2

nvprof # 命令行,nsys 之前的名称叫做 nvprof
nvvp

在more里有建议

nvprof捕获信息存储

1
2
3

nvprof --analysis-metrics -o  nbody-analysis.nvprof ./nbody --benchmark -numdevices=2 -i=1
# 下面输出 .qdrep 文件
nsys profile --stats=true --force-overwrite=true  -o baseline-report ./single-thread-vector-add

CUDA Visual Profiler 问题

Nsight Compute 问题

OpenGL 没有安装

1
2
3
4
5
6

Warning: Failed to get OpenGL version. OpenGL version 2.0 or higher is required.
OpenGL version is too low (0). Falling back to Mesa software rendering.
qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "" even though it was found.
This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.

Available platform plugins are: offscreen, wayland-egl, wayland, wayland-xcomposite-egl, wayland-xcomposite-glx, xcb.

解决办法

1
2

sudo apt-get install libxcb-xinerama0
sudo apt install libxcb-icccm4 libxcb-image0 libxcb-keysyms1 libxcb-render-util0

Qt插件缺失

1
2
3
4
5
6
7
8
9

qt.qpa.plugin: Could not load the Qt platform plugin "xcb" in "" even though it was found.
This application failed to start because no Qt platform plugin could be initialized. Reinstalling the application may fix this problem.

Available platform plugins are: xcb.

Application could not be initialized!
    This is likely due to missing Qt platform dependencies.
    For a list of dependencies, please refer to https://doc.qt.io/qt-5/linux-requirements.html
    To view missing libraries, set QT_DEBUG_PLUGINS=1 and re-run the application.

按照说明 export QT_DEBUG_PLUGINS=1再次运行, 显示具体问题

1

Cannot load library /staff/shaojiemike/Install/cuda_11.7.0_515.43.04_linux/nsight-compute-2022.2.0/host/linux-desktop-glibc_2_11_3-x64/Plugins/platforms/libqxcb.so: (libxcb-xinput.so.0: cannot open shared object file: No such file or directory)

解决 sudo apt-get install libxcb-xinput0

kernel没权限profile

ERR_NVGPUCTRPERM - The user does not have permission to profile on the target device

要用sudo，或者最新的NV

could not connect to display localhost:10.0 under sudo

1
2
3
4
5
6

$ sudo ncu-ui
MobaXterm X11 proxy: Authorisation not recognised
qt.qpa.xcb: could not connect to display localhost:10.0

MobaXterm X11 proxy: Unsupported authorisation protocol
Error: Can't open display: localhost:10.0

解决办法(原因是sudo相当于切换到root用户，丢失了xauth信息)

1
2
3
4
5
6
7
8
9
10

$ xauth list
snode0/unix:12  MIT-MAGIC-COOKIE-1  84941f1f8be97d19436356685f75b884
snode0/unix:13  MIT-MAGIC-COOKIE-1  5172ee2c7364b055cd37538b460f7741
snode0/unix:11  MIT-MAGIC-COOKIE-1  589f3b5ab852f24ca3710c53e6439260
hades1/unix:10  MIT-MAGIC-COOKIE-1  9346adec202bd65250f3d21239025750
snode0/unix:10  MIT-MAGIC-COOKIE-1  52285c563f1688741fa1b434ed2b7b2c

sudo -s # 切换
xauth add snode0/unix:10  MIT-MAGIC-COOKIE-1  52285c563f1688741fa1b434ed2b7b2c # 补全xauth
# 正常执行 xauth有用的总是最后一个

GPU Metrics [0]: Sampling buffer overflow.

1. 只勾选CUDA Metrics 和 GPU Metrics
2. 降低采样频率

Error 0: UnsupportedGpu

原因是 软件对GPU的支持是逐步的需要安装最新的。

不支持的Nsight的可以尝试老的debugger工具 CUDA Visual Profiler

Error: Profiling is not supported on this device

Pascal support was deprecated, then dropped from Nsight Compute after Nsight Compute 2019.5.1.

The profiling tools that support Pascal in the CUDA Toolkit 11.1 and later are nvprof and visual profiler.

需要进一步的研究学习

暂无

遇到的问题

NVTX问题

开题缘由、总结、反思、吐槽~~

参考文献

https://developer.nvidia.com/tools-overview

https://www.365seal.com/y/zyn1yxJQn3.html

[^1]: Usage of NVTX

docker-compose in Portainer

使用github的版本

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

tinymediamanager_service:
    image: romancin/tinymediamanager:latest
    container_name: tinymediamanager
    ports:
      - 5803:5800
    environment:
      - USER_ID=0
      - GROUP_ID=0
      - PASSWORD=acsa1411
      - TZ=Europe/Madrid
      - VNC_PASSWORD=password #建议去除
    volumes:
      - /bt:/bt
      - /share/Container/tinymediamanager:/config:rw
      - /share/Container/tinymediamanager/media:/media:rw

VNC 网页默认密码 password

口口字体问题

进入容器内bash，安装字体

1
2
3
4

docker exec -it  tinymediamanager bash
wget https://mirrors.aliyun.com/alpine/edge/testing/x86_64/font-wqy-zenhei-0.9.45-r2.apk
apk add --allow-untrusted font-wqy-zenhei-0.9.45-r2.apk
#  fc-list 查看字体

然后先将字体改成最后几个， 然后再改语言。

然后restart容器。注意不是重启stack（会删除容器，重启创建

tmm on Windows

利用网络挂载文件夹，用tMM软件刮削.

要注意动漫属于电视剧

多季度动漫管理

基础命名规则如下：

1
2
3
4
5
6
7
8
9
10
11
12
13

剧集英文名 （上映年份）/这是文件夹
---Specials /这是文件夹，存放OVA，特典，剧场版之类
------剧集英文名 S00E01.mp4
------剧集英文名 S00E02.mp4
------......
---Season 01 /这是文件夹，有几季就建几个文件夹
------剧集英文名 S01E01.mp4
------剧集英文名 S01E01.mp4
------......
---Season 02 /同上
------剧集英文名 S02E01.mp4
------剧集英文名 S02E02.mp4
------......

其中Specials里，视频文件后的S00表示这是“特典”，后面的E01代表“第几个特典”。

请根据TheTVDB里的数据确定你的ova视频的编号。

问题

在DNS索引网站查看域名的中国服务器IP地址

实际ping速度，修改win10的hosts文件在C:\WINDOWS\system32\drivers\etc

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

https://www.bilibili.com/read/cv18956570/

简介

基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上。

structure

Docker vs VMWare

相对于传统虚拟机，Docker 没有硬件虚拟化/hypervisor，可以运行在物理机、虚拟机, 甚至嵌套运行在 Docker 容器内，并且其不携带操作系统的，会轻巧很多。而且调用资源时利用 Docker Engine 去调用宿主的的资源，这时候过程是虚拟内存->真正物理内存。

{ align=left }

{ align=right }

Linux内核的潜在兼容性问题

Portainer 统一管理

• 安装Portainer Community Edition (CE)而不是Portainer Business Edition (BE)
• WSL的安装和linux类似

  1 2 3 4 5

  # 创建 Portainer Server 将用于存储其数据库的卷 docker volume create portainer_data # 下载并安装 Portainer Server 容器, 9000为WebUI端口， 8000 是可选的，仅当您计划将边缘计算功能与边缘代理一起使用时才需要。 docker run -d -p 8000:8000 -p 9000:9000 --name portainer --restart=always -v /var/run/docker.sock:/var/run/docker.sock -v /portainer_data:/data portainer/portainer-ce:2.11.1

• Portainer里的docker部署: 建议使用 Stacks 下的 docker-compose 来进行

1
2
3

# docker在服务器上时，可以关闭防火墙访问，也可以ssh代理到本地
brainiac1# ufw status
Status: inactive

Install

1
2
3
4
5
6
7
8

# 安裝 docker
curl -sSL get.docker.com | sh
# 將目前使用者新增到 docker 群組內，需要重新登入才會生效
sudo usermod -aG docker $USER

# 安裝 docker-compose
sudo curl -L "https://github.com/docker/compose/releases/download/$(curl -sL https://api.github.com/repos/docker/compose/releases/latest | grep tag_name | cut -d'"' -f 4)/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
sudo chmod +x /usr/local/bin/docker-compose

Relationship

• Image like a static configed/compiled software using dockerfile/gcc.
• And container is a running process that we can control.

Dockerfile

First, write an installation script for all of your dependencies. This script is written with Docker specific syntax and is called a Dockerfile(1).
{ .annotate }

1. A Dockerfile is a script used to create a Docker image, which is a lightweight, standalone, and executable package that includes everything needed to run a piece of software, including the code, runtime, system tools, system libraries, and settings.

`Images > Build image`

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# Use an official base image
FROM ubuntu:20.04

# Set environment variables
ENV MY_ENV_VARIABLE my_value

# Run commands to install packages and set up the environment
RUN apt-get update && apt-get install -y \
    package1 \
    package2 \
    && rm -rf /var/lib/apt/lists/*

# Copy files from your local machine to the container
COPY local_directory /container_directory

# Set the working directory
WORKDIR /app

# Expose a port
EXPOSE 8080

# Define the command to run when the container starts
CMD ["command_to_start_application"]

Cheat Sheet

查看容器出错日志：docker logs --tail 1000 1fed0d4782cf最后一项是容器ID

换源

1
2

root@UGREEN-A0E9:~# docker info|grep Registry
Registry: https://index.docker.io/v1/

1
2
3
4
5
6
7
8
9

{
    "registry-mirrors": [
        "https://y0xk2hg9.mirror.aliyuncs.com",
        "https://registry.hub.docker.com",
        "http://hub-mirror.c.163.com",
        "https://docker.mirrors.ustc.edu.cn",
        "https://registry.docker-cn.com"
    ]
}

代理

在构建 Docker 镜像时，如果需要通过代理访问外部网络资源（例如，安装软件包或依赖项），你可以通过以下几种方式设置代理：

单个Dockerfile

1
2
3
4

docker build \
--build-arg http_proxy=http://your.proxy.server:port \
--build-arg https_proxy=http://your.proxy.server:port \
-t your-image-name .

1
2
3
4
5
6
7

ARG http_proxy
ARG https_proxy

# 继续其他 Dockerfile 指令..., 但是不能代理 From 指令
RUN xxx
COPY xxx
ADD xxx

1
2
3
4

ENV http_proxy=http://your.proxy.server:port
ENV https_proxy=http://your.proxy.server:port

# 继续其他 Dockerfile 指令...

全局配置

1
2
3
4
5
6
7

(base) root@localhost /etc/systemd/system/docker.service.d  [04:47:18]
> sudo systemctl show docker --property Environment
Environment=GOTRACEBACK=crash HTTP_PROXY=http://p_atlas:proxy%[email protected]:8080 HTTPS_PROXY=http://p_atlas:proxy%[email protected]:8080 NO_PROXY=localhost,127.0.0.1
(base) root@localhost /etc/systemd/system/docker.service.d  [05:02:04]
> docker info |grep HTTP
HTTP Proxy: http://xxxxx:[email protected]:8080
HTTPS Proxy: http://xxxxx:[email protected]:8080

1
2
3

Dec 30 16:32:59 localhost.localdomain systemd[1]: Started Docker Application Container Engine.
Dec 30 16:33:12 localhost.localdomain systemd[1]: /etc/systemd/system/docker.service.d/http-proxy.conf:2: Failed to resolve specifiers in HTTP_PROXY=http://p_atlas:proxy%[email protected]:6688, ignoring: Invalid slot
Dec 30 16:33:12 localhost.localdomain systemd[1]: /etc/systemd/system/docker.service.d/http-proxy.conf:3: Failed to resolve specifiers in HTTPS_PROXY=http://p_atlas:proxy%[email protected]:6688, ignoring: Invalid slot

1
2
3
4
5
6
7
8
9

{
"proxies": {
    "default": {
    "httpProxy": "http://your.proxy.server:port",
    "httpsProxy": "https://your.proxy.server:port",
    "noProxy": "localhost,127.0.0.1"
    }
}
}

证书问题

https://ghcr.io/v2/“: x509: certificate signed by unknown authority”

编辑 Docker 配置文件 /etc/docker/daemon.json，添加以下内容：

1
2
3
{
"insecure-registries": ["ghcr.io"]
}


重启 Docker 服务：

1
sudo systemctl restart docker

docker push/pull

• It is in these containers that you will run or develop your code.
• If you would like other people to be able to use your Docker image you can push to DockerHub (with docker push),
• and if you want to use someone else’s image you can pull from DockerHub (with docker pull).[^4]

1
2
3

root@UGREEN-A0E9:~# docker pull dreamacro/clash
Using default tag: latest
Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled (Client.Timeout exceeded while awaiting headers)

docker build

Then, run these commands to build a Docker image of your environment by using docker build.

1
2

$ sudo docker build -t myrepo/myapp /tmp/test1/
$ docker build -t username/image_name:tag_name .

docker build use proxy

1
2
3
4
5

docker build --network=host\
    --build-arg http_proxy=http://127.0.0.1:7890 \
    --build-arg https_proxy=http://127.0.0.1:7890 \
    --build-arg "NO_PROXY=localhost,127.0.0.1,.example.com" \
    -t ithemal:latest .

You also can set the proxy in the Dockerfile.[^6]

1
2

ENV http_proxy "http://127.0.0.1:7890"
ENV https_proxy "https://127.0.0.1:7890"

docker tag

镜像的完整 tag 不仅包含镜像名字, 还指明了镜像从哪里来, 要到哪里去, 就像一个 URL。可以通过 -t 选项指定镜像的标签信息，譬如：

1

$ docker tag SOURCE_IMAGE[:TAG] TARGET_IMAGE[:TAG]

docker run

Once successfully built, you can instantiate copies of this image as many times as you would like by using docker run to create Docker containers.

[^2]

1
2
3
4

# 使用镜像nginx:latest以交互模式启动一个容器,在容器内执行/bin/bash命令。
$ docker run -it nginx:latest /bin/bash
# remove all stop container
$ docker container prune

Volumes 挂载

volumes allow me to interact with data outside of the docker container.

1
2
3
4
5

docker run \
-v <path to datasets>:/datasets \
-v <path to approx-vision>:/approx-vision \
-it mbuckler/approx-vision \
/bin/bash

docker-compose

• Compose 是用于定义和运行多容器 Docker 应用程序的工具。需要额外安装。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。
• 和docker共用代理配置，docker info |grep HTTP查看。

1
2
3
4
5
6
7
8
9
10
11
12
13
14

version: "3"

services:
  mihoyo-bbs:
    image: darkatse/mihoyo-bbs
    environment:
      - CRON_SIGNIN=30 9 * * *
      - MULTI=TRUE
    volumes: # 将主机的数据卷或着文件挂载到容器里。
      - .:/var/app
    logging: # driver：指定服务容器的日志记录驱动程序，默认值为json-file
      driver: "json-file"
      options:
        max-size: "1m" # 最多1m个文件,当达到文件限制上限，会自动删除旧得文件。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

# docker-compose up 命令来启动并运行整个应用程序。
# docker-compose down 可以将整个应用停止并删除相关资源。
$ docker-compose up -d 
# 在后台执行该服务可以加上 -d 参数
Creating network "automihoyobbs_default" with the default driver
Pulling mihoyo-bbs (darkatse/mihoyo-bbs:)...
latest: Pulling from darkatse/mihoyo-bbs
df9b9388f04a: Pull complete
a1ef3e6b7a02: Pull complete
7a687728470e: Pull complete
4ecf30de1710: Pull complete
a1f99e431609: Pull complete
7e9141a60a66: Pull complete
7aa39aec04ec: Pull complete
a75b4b3d5690: Pull complete
dee0a6b07871: Pull complete
abed80702fed: Pull complete
Digest: sha256:10958801df87675c390a8cdcc153c2f87a41af92d35f9f2cf9b7758aa3e10d1b
Status: Downloaded newer image for darkatse/mihoyo-bbs:latest
Creating automihoyobbs_mihoyo-bbs_1 ... done

实例

提供高版本GCC

宿主机往往因为OS的原因，提供不了合适的GCC版本，为此在docker里编译是一种便捷的选择。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

#!/bin/bash
docker_name="mihoyo-bbs"
docker stop ${docker_name}
docker rm ${docker_name}
echo -e "\033[5;36mOrz 旧容器(镜像)已清理\033[0m"

time_now=$(date "+%m%d%H")
docker build -f dockerfile --tag ${docker_name}:"${time_now}" .
echo -e "\033[5;36mOrz 镜像重建完成\033[0m"

docker run -itd \
    --name ${docker_name} \
    --log-opt max-size=1m \
    -v $(pwd):/var/app \
    ${docker_name}:"${time_now}"
echo -e "\033[5;36mOrz 镜像启动完成\033[0m"
docker ps -a #顯示目前的 container 及狀態
docker logs ${docker_name} -f # -f, --follow         Follow log output

奇怪的使用

启动docker并通过xhost保持tmux连接

• docker/docker_connect.sh 或者 https://blog.csdn.net/winter2121/article/details/118223637
• What if I want to use X forwarding from within a Docker container?[^4]

Docker of VNC

在Linux服务器上使用Docker运行图形化界面的应用程序。为了实现这一点，您需要使用一个特别配置的Docker镜像，该镜像支持图形用户界面(GUI)。这通常涉及到安装一个桌面环境和任何必要的图形驱动程序。

以下是实现这一目的的基本步骤：

1. 选择一个合适的基础镜像：您可以从一个已经包含了桌面环境的基础镜像开始，例如Ubuntu或Fedora。
2. 安装图形界面：在Dockerfile中，您可以安装一个桌面环境，如GNOME、KDE或Xfce，以及任何其他必需的软件。
3. 配置X11或其他显示服务器：为了让图形界面能够显示，您需要配置X11或类似的显示服务器。这可能涉及到暴露和映射一些端口，以及安装和配置VNC服务器或其他远程桌面软件。
4. 运行容器并连接到图形界面：一旦容器运行起来，您需要通过VNC客户端或其他远程桌面工具连接到它。

这里是一个示例的Dockerfile，用于创建一个带有图形界面的Ubuntu容器：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21

FROM ubuntu:latest

# 安装必要的软件包
RUN apt-get update && apt-get install -y \
    ubuntu-desktop \
    vnc4server \
    xterm

# 设置VNC服务器
RUN mkdir /root/.vnc
RUN echo "your-password" | vncpasswd -f > /root/.vnc/passwd
RUN chmod 600 /root/.vnc/passwd

# 设置VNC启动脚本
COPY vnc_startup.sh /root/vnc_startup.sh
RUN chmod +x /root/vnc_startup.sh

# 暴露VNC端口
EXPOSE 5900

CMD ["/root/vnc_startup.sh"]

在这个Dockerfile中，ubuntu-desktop和vnc4server被安装，以便提供图形界面和VNC访问。您需要创建一个VNC启动脚本（vnc_startup.sh），以启动VNC服务器并运行桌面环境。

请注意，运行图形界面的容器通常比标准的、无GUI的容器更加资源密集，并且可能需要更多的存储空间和内存。此外，确保遵循最佳安全实践，特别是在暴露VNC或其他远程访问服务时。

常见问题

1
2
3
4
5
6

sudo groupadd docker     #添加docker用户组
sudo usermod -aG docker $USER #将登陆用户加入到docker用户组中
sudo gpasswd -a $USER docker    # or
groups # 重新登录查看是否生效
newgrp docker     #更新用户组
docker ps    #测试docker命令是否可以使用sudo正常使用

1

docker network ls

1
2

docker network rm yyy
docker network create yyy

参考文献

https://cloud.tencent.com/developer/article/1395434

[^1]: How can Docker run distros with different kernels?

[^2]: Docker Commands for Managing Container Lifecycle (Definitive Guide)

[^4]: Developing in Docker

[^6]: https://cloud.tencent.com/developer/article/1806455 & http://www.debugself.com/2018/01/17/docker_network/

vue-chart

https://stackblitz.com/edit/vue-echarts-vue-3?file=src%2FApp.vue

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

个人网站的需求分析

功能需求

1. 博客的标签和分类是必须的
2. 搜索功能、评论功能(Mkdocs 内置搜索)
3. icon support and usage

个人需求

1. 少图片的冷淡风
2. 但是要有彩色或者加粗等功能来体现文中的重要程度。(Mkdocs 的提示框真好用)

个人主页

1. 基于Mkdocs
2. Hexo icarus
3. Hugo PaperMod
4. Hexo matery

部署位置

cloudflare pages

1. 不同于之前的教程, 创建位置有所调整。
   1. Workers & Pages 下 create an application, choose the Pages tab and follow the git connection tutorial.
   2. 最大的优点是集成了github和mkdocs，可以直接运行mkdocs build 实现部署。

GitHub pages

https://kirrito-k423.github.io/

使用自己的域名

替换shaojiemike.pages.dev 变成自己的域名 shaojiemike.top: cloudflare pages 下直接提供Custom domains 的解析 CNAME www shaojiemike.pages.dev

Goal

横向条形图排序赛跑叫Bar chart race

visualization using echart

1. 完整的中文官方教程和丰富的插件和相关项目
2. 可以支持vue
3. 支持动态折线图和动态柱状图

visualization using d3.js

参考项目

但是好像是静态的，而且只有一个排序的柱状图

visualization using anichart

参考文档, 使用template项目

1
2
3
4
5
6

git clone https://github.com/Kirrito-k423/leetcode-ranking-visualization-anichart.git

# Install Dependencies
npm install -g pnpm
pnpm i
pnpm build # error

由于项目还在开发，暂时不进一步尝试

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

CUDA编程水平高低的不同，会导致几十上百倍的性能差距。但是这篇将聚焦于CUDA的编程语法，编译与运行。