Waifu2x 8K Upscaling Bug

导言

最近沉迷于VR资源的收集和处理，想使用Waifu2x-Extension-GUI将IVE Love DIVE的视频从4k upscaling 到 8K。但是软件出问题了，尝试debug

问题

视频出现莫名卡顿和噪点

仔细检查软件生成的中间文件，发现将超分好的8K图片合成成视频片段时，视频内容会出现不明噪点。

总时间2:14:15 ，最后合成视频花费大约30min

[2024-04-15 16:52:15] 
错误! 无法将帧画面组装为视频!

ffmpeg version 2023-01-09-git-13d04e30d7-full_build-www.gyan.dev Copyright (c) 2000-2023 the FFmpeg developers
  built with gcc 12.1.0 (Rev2, Built by MSYS2 project)
  configuration: --enable-gpl --enable-version3 --enable-static --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-bzlib --enable-lzma --enable-libsnappy --enable-zlib --enable-librist --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-libbluray --enable-libcaca --enable-sdl2 --enable-libaribb24 --enable-libdav1d --enable-libdavs2 --enable-libuavs3d --enable-libzvbi --enable-librav1e --enable-libsvtav1 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxavs2 --enable-libxvid --enable-libaom --enable-libjxl --enable-libopenjpeg --enable-libvpx --enable-mediafoundation --enable-libass --enable-frei0r --enable-libfreetype --enable-libfribidi --enable-liblensfun --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-ffnvcodec --enable-nvdec --enable-nvenc --enable-d3d11va --enable-dxva2 --enable-libvpl --enable-libshaderc --enable-vulkan --enable-libplacebo --enable-opencl --enable-libcdio --enable-libgme --enable-libmodplug --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libshine --enable-libtheora --enable-libtwolame --enable-libvo-amrwbenc --enable-libilbc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-ladspa --enable-libbs2b --enable-libflite --enable-libmysofa --enable-librubberband --enable-libsoxr --enable-chromaprint
  libavutil      57. 43.100 / 57. 43.100
  libavcodec     59. 56.100 / 59. 56.100
  libavformat    59. 34.102 / 59. 34.102
  libavdevice    59.  8.101 / 59.  8.101
  libavfilter     8. 53.100 /  8. 53.100
  libswscale      6.  8.112 /  6.  8.112
  libswresample   4.  9.100 /  4.  9.100
  libpostproc    56.  7.100 / 56.  7.100
-vsync is deprecated. Use -fps_mode
Input #0, image2, from 'H:/W2xExTmp/cd5d2017e9c44ea730899d0557b7b71f/%05d.png':
  Duration: 00:03:04.12, start: 0.000000, bitrate: N/A
  Stream #0:0: Video: png, rgb24(pc), 7680x3840, 59.94 fps, 59.94 tbr, 59.94 tbn
Input #1, mov,mp4,m4a,3gp,3g2,mj2, from 'H:/18+/2D120fps4k/候选/IVE LOVE DIVE]  3D 180 VR_1920p.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2mp41
    encoder         : Lavf60.4.100
  Duration: 00:03:04.13, start: 0.000000, bitrate: 30214 kb/s
  Stream #1:0[0x1](eng): Video: hevc (Main) (hev1 / 0x31766568), yuv420p(tv, bt709, progressive), 3840x1920 [SAR 1:1 DAR 2:1], 30074 kb/s, 59.94 fps, 59.94 tbr, 19001 tbn (default)
    Metadata:
      handler_name    : VideoHandler
      vendor_id       : [0][0][0][0]
      encoder         : Lavc60.6.101 hevc_nvenc
    Side data:
      stereo3d: side by side
  Stream #1:1[0x2](eng): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, stereo, fltp, 130 kb/s (default)
    Metadata:
      handler_name    : SoundHandler
      vendor_id       : [0][0][0][0]
Multiple -r options specified for stream 0, only the last option '-r 19001/317' will be used.
Stream mapping:
  Stream #0:0 -> #0:0 (png (native) -> h264 (h264_nvenc))
  Stream #1:1 -> #0:1 (aac (native) -> aac (native))
Press [q] to stop, [?] for help
[h264_nvenc @ 000001e4ff42cf00] Width 7680 exceeds 4096
[h264_nvenc @ 000001e4ff42cf00] No capable devices found
Error initializing output stream 0:0 -- Error while opening encoder for output stream #0:0 - maybe incorrect parameters such as bit_rate, rate, width or height
[image2 @ 000001e4ff3c5380] Thread message queue blocking; consider raising the thread_queue_size option (current value: 8)
Conversion failed!

[2024-04-15 16:52:15] 错误! 无法将帧画面组装成视频! 软件将自动重新尝试可能兼容的指令.
[2024-04-15 17:21:39] 结束组装视频:[H:/18+/2D120fps4k/候选/IVE LOVE DIVE]  3D 180 VR_1920p.mp4]
[2024-04-15 17:21:46] 处理完成.

GPT：你是视频编解码的软件ffmpeg使用的专家。如何将文件夹内的7680*3840的240张图片组合成60fps的视频

要使用 FFmpeg 将文件夹内的 7680x3840 分辨率的 240 张图片组合成一个 60fps 的视频，你需要首先确保这些图片按顺序命名，比如 img001.jpg, img002.jpg 直到 img240.jpg。然后可以使用以下 FFmpeg 命令来创建视频：

1. 打开命令行工具。
2. 切换到存放图片的文件夹。
3. 执行以下 FFmpeg 命令：

ffmpeg -framerate 60 -i img%03d.jpg -c:v libx265 -crf 18 -pix_fmt yuv420p output.mp4

这里的命令参数解释如下：

• -framerate 60: 设置输入帧率为 60fps，因为你想要得到的视频是 60fps。
• -i img%03d.jpg: 指定输入文件的格式和序列。这里 %03d 表示数字序列，三位数，从001开始。
• -c:v libx265: 使用 H.265 (也称为 HEVC) 编解码器进行视频编码，这是一种高效的视频压缩方法。
• -crf 18: 设置常量速率因子为 18，这是一个质量与压缩的平衡值，数值越低，视频质量越好，文件也越大。
• -pix_fmt yuv420p: 设置像素格式为 yuv420p，这是大多数视频播放设备和服务所兼容的格式。

确保你的系统已经安装了 FFmpeg。如果没有，你可以从 FFmpeg 官网 下载适用于你操作系统的版本并安装。

执行这个命令后，你的视频将被保存为 output.mp4。根据你的具体需求，你还可以调整其他参数，如视频比特率、分辨率等。

猜想与验证

各种选项开关后，重新尝试都失败了

1. 先取消30s视频片段的限制，并且变为正常的分辨率7680*3840（需要满足切成一半是正方形分辨率）, 而不是我一开始认为的网络上的8K分辨率7680*4320，重新尝试生成。预估耗时7h。
   1. 额外问题: 没有视频分段的话，就不会保存中间图片，完成任务后就会删除。
   2. 注意到 [2024-04-15 16:51:18] 在特殊情况下, [智能加速]可能导致画面丢失, 并造成视频卡顿. 您可以通过降低[最大误差]或者禁用[智能加速]来修复此问题.
2. 关闭硬件加速，重新尝试一遍。
3. 弄错了，确实有一项叫智能加速 2.0，关闭后重新尝试一遍

[ ] 由于图片变视频失败，就尝试手动ffmpeg命令行生成。但是需要将视频帧拆分出来，然后按照图片超分处理，最后尝试ffmpeg合并

参考文献