²

重要说明：

这里存放着未被整理、分类，和仔细对比讨论过的 ideas。

fitness

stretching

1. 弓箭步/站立版坐位体前屈，大小腿后侧
2. 后提脚踝，并大腿，前倾，拉伸大腿前侧
3. 侧面压腿，翘脚尖

Running

1. 隔天跑
2. 抬头收腹，挺直上半身
3. 双手拔枪摆动，且向后用力摆
4. 重心在脚底，而且前脚掌着地，而且离地后迅速向前收缩。膝盖弯曲
5. 放松轻盈。

walking / Posture

1. 抬头，收腹提背(收肋骨，吐腹部)
2. 臀大腿发力，减少小腿发力。
3. 足弓发力

Problem

1. 体态：肋骨外翻（肋骨高于锁骨），核心不足，
2. 表现：腰围代偿性增粗，粗大腿，粗小腿

Plan

1. 早上床上拉伸，
   1. 侧卧抬腿
   2. 抱膝
2. 工作：按压拉伸小腿。时刻注意腹式呼吸体态。
3. 晚饭前跑步，拉伸
4. 晚上床上拉伸

锻炼 不能 瘦小腿。正确的走路姿势才行

这个说得很在点子上，我是在19年末的时候通过改变走路发力方式瘦小腿的。与其说瘦腿，其实更是和大腿相比看起来更匀称，我之前的小腿肚站起来时候和大腿一样粗，站直的时候膝盖甚至是合不上的。经过反思，发现我日常走路的时候时间长了经常会感到小腿酸胀，这其实一直是在用小腿走路，我在这期间尝试过跑步，虽小有成效，但停下来就又会恢复原状。这种情况导致的小腿粗是一个比较复杂的原理，但我最后通过大半年的时间对走路方式进行了调整，现在虽然小腿不算细，但和大腿比起来看起来已经相当正常了，我的调整策略如下：
走路时注意重心靠后，也就是后背中间的位置，同时双肩放松，这样你会不自觉地挺胸抬头，同时为保持平衡感觉到腹部有牵引感。走路时大腿内侧和屁股发力，重点来了：保持脚后跟尽量贴住地面（踮脚走路是大忌），迈步时脚后跟先接触地面，在前脚后跟接触地面之前，后脚后跟不要离开地面。简单来说就是用脚后跟走路，你会发现这个过程中小腿是几乎不怎么发力的，时间久了只要不是肥胖型自然会瘦下来。

参考文献

简介

漫画或者PDF的jellyfin版本 , 类似的还有 基于docker的smanga

安利文和简单使用文

选择

Rather than browse rouman online, high-resolution pivix pictures seems more worthy to be downloaded and maintained.

But first you need a much bigger NAS.

安装

• 通过Docker安装(Docker on Windows 体验不好)
• 通过java运行

Windows

• 由于在portainer.io里路径有问题，选择直接在docker里点击image run创建容器。
• 如果输入数据来源多，建议设置子目录data/1 and data/2。 and Please think carefully because restart container will triger the following bugs：
  

But docker on Windows remains many bugs:

1. Failed to restart the docker engine
2. deadlock between first free volume to delete container and first stop already stepped container to free related volume.

Linux docker

In http://brainiac.acsalab.com:2333/

step1: map remote data to local visual disk

1. map windows disk to linux
2. map Nas disk to linux sudo mount.cifs //synology.acsalab.com/Entertainment /synology -o user=xxx vers=3.0

Step2 : docker

采取第一种, 在 portainer.io的local的stack里使用docker compose部署

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

---
version: '3.3'
services:
  komga:
    image: gotson/komga
    container_name: komga
    volumes:
      - type: bind
        source: /mnt/e/commonSoftware/komga/config # Database and Komga configurations
        target: /config
      - type: bind
        source: /mnt/e/commonSoftware/komga/data # Location of your data directory on disk. Choose a folder that contains both your books and your preferred import location for hardlinks to work.
        target: /data/komga
      - type: bind
        source: /etc/timezone #alternatively you can use a TZ environment variable, like TZ=Europe/London
        target: /etc/timezone
        read_only: true
    ports:
      - 2333:8080 # 应用内部的 8080 到机器的2333端口。由于机器的8080被qBit占用了
    user: "1000:1000"
    # remove the whole environment section if you don't need it
    environment:
      - <ENV_VAR>=<extra configuration>
    restart: unless-stopped

Docker in Ugreen Nas

1. easy pull official komga image
2. set mount disk
3. set port

komga V.S. smanga V.S Kavita

0. exhentai-manga-manager only on widnows
1. smanga，
   1. 优点：
      1. 带标签和收藏，维持三级目录，
      2. 独特的目录设计。
   2. 缺点：
      1. png读取正常，但是zip解压过于缓慢
      2. PDF的支持暂时欠缺：
         1. 无法阅读
         2. PDF阅读与decompress的冲突
      3. 元数据不能自由编辑，只能编辑标签。
      4. 不能读取根目录的文件，但是能选择单行本，或许可以解决这个问题，但是需要尝试。
      5. 无法读到过深的文件夹。
   3. 小结：本来寄希望于这个all in one, 但是问题太多，还是只适合刮削好的资源。 可以不断完善和尝试。
   4. 举例：所有韩漫，
2. Kavita
   1. 优点：
      1. 纯zip文件能读到深处的文件夹
      2. 日漫带标签和收藏，有缩略图。
      3. 元数据能自由编辑
   2. 缺点：
      1. 奇怪的文件名识别规则，导致
      2. 杂乱的类型(zip, png, pdf)会导致目录混乱
      3. 不能读取根目录的文件
   3. 小结：适合高度组织过后的内容
   4. 举例：2022单行本，零散日漫单行本。和calibre处理后的文件。
3. komga
   1. 优点：
      1. 维持原始目录结构，稳定简洁。
      2. 元数据能自由编辑
      3. 根目录文件能识别
   2. 缺点：
      1. 没有收藏，保存和标签等功能，不适合碎片化连续看。
   3. 小结：适合混乱的内容，靠文件夹的并列和包含关系，维护逻辑关系。
   4. 举例：杂志(没有子文件夹包裹，识别不了)，漫之学院（太大），日漫大合集（混乱的结构）

需要图书/漫画刮削

其余未汉化版本

LANraragi

推荐文件结构

kativa

1
2
3
4

Library Root
  ┖── Series Name
      ┖── Series Name SP01 Special Name.cbz
      ┖── abc.cbz

• Kavita enforces that all files are within folders from the library root. Files at library root will be ignored.
• kativa 会将不符合文件夹命名Series Name的新文件(e.g.,abc.cbz)，当作新的作品单独列出在根目录。这十分傻逼，对内容的共振度的要求也太高了。出现一个命名不规范的文件就会乱套。
• kativa 对文件类型也会做特殊处理，对png, cbz, zip文件会有不同的阅读器，最搞笑的是 kativa会把子章节cbz的同名图片单独用个文件夹放置，而不是识别出章节的封面图，kativa会读取子章节cbz的内容当作封面图。

smanga

可以看得出作者有特殊的设计。

但是美中不足的是对于子文件夹的支持不够，太深的文件读取不到。

单行本

理论如此，但是实际貌似会卡住。

komga

Komga支持CBZ/CBR、EPUB、PDF格式。对于漫画而言，个人觉得cbz1是最简单、兼容性最高的格式。

建议的文件结构如下：

1
2
3
4
5
6
7
8
9

.
└── libraryManga
    ├── 我 推 的 孩 子
    │   ├── 第 1话.cbz
    │   └── 第 9话 .cbz
    └── 辉夜大小姐想让我告白
        ├── 01话 .cbz
        └── 02话.cbz
3 directories, 4 files

• libraryManga表示库名，下一层结构区分不同的漫画，更下一层则存储漫画文件
• komga相对于kavita的异同
  • 都不会识别根目录下的文件
  • 但是komga不会管Series文件夹的子文件夹，会认为不存在，全部打散。kavata由于命名的原因会将Series文件夹的子文件夹内的内容当作新的系列，提到根目录显示。

内容的组织

需要考虑的点

内容的组织考虑的是一个平衡，每个lib下应该只有40个左右的内容。

• 根据类别分类：
  • 韩漫，日漫，杂志
• 根据时间分类：每个月大约有50部左右

下载的内容的特点：

• 日漫，很多是单行本没有系列的，所以系列的这一级文件夹可以使用时间代替
• 有些库太大了，估计有一千本漫画（漫之学院），必须分开。
• 有些库还是识别不了 合集/A/PDF/*

实践

看多少，刮削多少。

内容的刮削

calibre + ehentai

见 Calibre and its Pugins for e-hentai Books 一文

失败：BangumiKomga

• 一个从Bangumi获取元数据并填充的Python脚本。
• 但是自动识别刮削的成功率很低，强烈建议在Bangumi中先找到对应漫画后把链接贴到Komga系列作品链接处，标签写为cbl，配置好后在目录下运行python processMetadata.py，即可近乎完美的给漫画加上海报和信息了
• 但是Bangumi又没有本子的内容

集成订阅平台：tachidesk

尝试后发现是，类似RSS的漫画网页集成浏览器（B站，腾讯漫画，18+漫画）。实现订阅，跟踪，一键下载。 由于生态很不错，不用担心订阅链接失效。

Bugs docker stopped in UGREEEN

我猜测是内存不够

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

[Kavita] [2023-12-08 07:21:00.508 +00:00  194] [Information] Serilog.AspNetCore.RequestLoggingMiddleware HTTP GET /api/image/series-cover?seriesId=759&apiKey=39714029-85f9-446c-9834-9ad384fda00d responded 304 in 0.9718 ms
[Kavita] [2023-12-08 07:21:50.010 +00:00  188] [Information] Serilog.AspNetCore.RequestLoggingMiddleware HTTP POST /api/account/refresh-token responded 200 in 2630.1327 ms
[Kavita] [2023-12-08 07:21:50.043 +00:00  193] [Information] Serilog.AspNetCore.RequestLoggingMiddleware HTTP GET /api/license/valid-license?forceCheck=false responded 200 in 17.1837 ms
[Kavita] [2023-12-08 07:21:50.045 +00:00  182] [Information] Serilog.AspNetCore.RequestLoggingMiddleware HTTP POST /hubs/messages/negotiate?negotiateVersion=1 responded 200 in 5.7189 ms
[Kavita] [2023-12-08 07:21:50.131 +00:00  168] [Information] Serilog.AspNetCore.RequestLoggingMiddleware HTTP GET /api/device responded 200 in 107.7960 ms
Server is shutting down. Please allow a few seconds to stop any background jobs...
You may now close the application window.
[Kavita] [2023-12-08 07:21:55.785 +00:00  179] [Information] Serilog.AspNetCore.RequestLoggingMiddleware HTTP POST /hubs/messages/negotiate?negotiateVersion=1 responded 200 in 0.1795 ms
[Kavita] [2023-12-08 07:21:55.789 +00:00  45] [Information] Microsoft.Hosting.Lifetime Application is shutting down...
[Kavita] [2023-12-08 07:22:26.562 +00:00  179] [Fatal]  Host terminated unexpectedly
System.AggregateException: One or more hosted services failed to stop. (The operation was canceled.)
---> System.OperationCanceledException: The operation was canceled.
  at System.Threading.CancellationToken.ThrowOperationCanceledException()
  at System.Threading.CancellationToken.ThrowIfCancellationRequested()
  at Hangfire.Processing.TaskExtensions.WaitOneAsync(WaitHandle waitHandle, TimeSpan timeout, CancellationToken token)
  at Hangfire.Processing.BackgroundDispatcher.WaitAsync(TimeSpan timeout, CancellationToken cancellationToken)
  at Hangfire.Server.BackgroundProcessingServer.WaitForShutdownAsync(CancellationToken cancellationToken)
  at Microsoft.Extensions.Hosting.Internal.Host.StopAsync(CancellationToken cancellationToken)
  --- End of inner exception stack trace ---
  at Microsoft.Extensions.Hosting.Internal.Host.StopAsync(CancellationToken cancellationToken)
  at Microsoft.Extensions.Hosting.HostingAbstractionsHostExtensions.WaitForShutdownAsync(IHost host, CancellationToken token)
  at Microsoft.Extensions.Hosting.HostingAbstractionsHostExtensions.RunAsync(IHost host, CancellationToken token)
  at Microsoft.Extensions.Hosting.HostingAbstractionsHostExtensions.RunAsync(IHost host, CancellationToken token)
  at API.Program.Main(String[] args) in /home/runner/work/Kavita/Kavita/API/Program.cs:line 115

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

2023-12-07T11:28:39.022Z  INFO 1 --- [taskProcessor-4] o.g.komga.application.tasks.TaskHandler  : Task FindBooksWithMissingPageHash(libraryId='0EEB1WDMHPFT0', priority='0') executed in 722.922us
2023-12-07T11:28:39.080Z  INFO 1 --- [taskProcessor-4] o.g.komga.application.tasks.TaskHandler  : Executing task: FindDuplicatePagesToDelete(libraryId='0EEB1WDMHPFT0', priority='0')
2023-12-07T11:28:39.096Z  INFO 1 --- [taskProcessor-4] o.g.komga.application.tasks.TaskEmitter  : Sending tasks: []
2023-12-07T11:28:39.096Z  INFO 1 --- [taskProcessor-4] o.g.komga.application.tasks.TaskHandler  : Task FindDuplicatePagesToDelete(libraryId='0EEB1WDMHPFT0', priority='0') executed in 16.090346ms
2023-12-07T13:38:16.408Z  INFO 1 --- [ionShutdownHook] o.s.b.w.e.tomcat.GracefulShutdown        : Commencing graceful shutdown. Waiting for active requests to complete
2023-12-07T13:38:16.638Z  INFO 1 --- [tomcat-shutdown] o.s.b.w.e.tomcat.GracefulShutdown        : Graceful shutdown complete
2023-12-07T13:38:18.871Z  INFO 1 --- [ionShutdownHook] com.zaxxer.hikari.HikariDataSource       : SqliteTaskPool - Shutdown initiated...
2023-12-07T13:38:18.883Z  INFO 1 --- [ionShutdownHook] com.zaxxer.hikari.HikariDataSource       : SqliteTaskPool - Shutdown completed.
2023-12-07T13:38:18.887Z  INFO 1 --- [ionShutdownHook] com.zaxxer.hikari.HikariDataSource       : SqliteUdfPool - Shutdown initiated...
2023-12-07T13:38:18.889Z  INFO 1 --- [ionShutdownHook] com.zaxxer.hikari.HikariDataSource       : SqliteUdfPool - Shutdown completed.
____  __.
|    |/ _|____   _____    _________
|      < /  _ \ /     \  / ___\__  \
|    |  (  <_> )  Y Y  \/ /_/  > __ \_
|____|__ \____/|__|_|  /\___  (____  /
        \/           \//_____/     \/

Version: 1.8.4

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

https://sspai.com/post/79100

人的精力是有限的，投入到自己喜欢或者为生的事情上，其他的事情，专业的事情交给专业的人

职业规划：

职业规划是成为 AI系统的性能分析建模分析 -> 理解AI算法数学本质, 设计爆款AI算法应用：

1. 测量各组件指标，
2. HPCG，HPC， AI benchmark
3. 分析理解应用瓶颈

计算机职业规划

1. 自底向上分析理解和设计计算系统(系统建模与高层次的抽象) + 企业核心落地应用
   1. 融入公司的核心竞争力的发展。参与到低延迟，高并发的高性能系统的设计。（使用、理解、设计）
   2. 传统应用的优化入手，分析计算系统的上限和程序的性能释放瓶颈，从而了解系统瓶颈。并考虑上异构的系统或者FPGA来解决。

以性能优化为切入点，系统建模和分析数据流程之后，解析程序瓶颈（深入了解对应操作系统是如何调度实现的，来深入了解内核），探寻性能最佳的执行手段。

具体职位的转变

1. 百度/华为AI系统(软件性能工程师) -> 应用在GPU上的适配的瓶颈 -> AI系统架构师 -> AGI系统架构师
2. 阿里云 HPC组（深度学习虚拟化技术） -> mihoyo 的 云游戏部门
   1. 需要调研云游戏现状
3. 互联网 -> 30岁考公回长沙

公司分析

候选公司

1. 一线互联网BAT： 百度， 阿里， 腾讯， 字节
2. 华为
3. 美团，快手
4. 新兴明星公司：mihoyo，小红书

甄别技巧

• 真想招聘人的公司，是能感受到那种诚意的，是站在用人的角度去考虑问题，基本问一些相关的情况。差不多能用就发offer了。[^3]
• 有些公司明显就不想招人，不仅问的是否详细，内容也十分偏。折腾半天，最后也不了了之了。
• 除此之外有些公司只是为了解决自己的问题，面试是能感知到一些东西的，遇到明显套方案的公司，不要什么都说，要有所保留。

就业指导

1. 选行业：关注国家政策，关注社会趋势
2. 选平台：第一梯队，如果可能只要首位
3. 选团队：选主不选辅，技术厚度，慎选小Team
4. 选上级：经验，口碑，性格特点，梯队历史
5. 看待遇：长期发展，短期收益，PK offer

指标一：大厂与国家的科研布局

华为遥遥领先，基础研发有待加强^4

指标二：计算机相关的国内500强

普联是制造业的500强(1)，和讯飞暂时还无法进入民营500强^1
{ .annotate }

1. 2023年制造业500强也找不到了

案例实践：2023秋招 华为 vs 百度

• 华为 - 昇腾产品线 - 昇腾计算开发使能部 - 软件开发工程师
• 百度 - TPG基础计算体系 - DLTP深度学习技术平台部 - 飞桨引擎异构部门 - 异构计算工程师

[预览图](https://zhuanlan.zhihu.com/p/663710041)和[乡村景色](https://mp.weixin.qq.com/s/Bb3nRUdBtiQfYVM6Gk12GA), 建议小红书多看看

- 华为宿舍 ：东莞松山湖和深圳坂田都有提供宿舍，一室一厅的话1600一个月，单间酒店那种的1300一个月。
- 华为住房：公司有自己盖的房子，有出租的，也有可以买的。出租的叫荔枝苑，无论级别都能住，但是要排队，房租2k到3k左右。买房的话，房价差不多1万-2万左右。

![](https://pic.shaojiemike.top/shaojiemike/2024/02/dedd614b181cf94769a5a96b672f1b46.png)

核心要点

真是两难的问题。其实秋招，我都没想到两边都这么重视，开的也比较高。看来工业界对于 AI System， HPC for AI或者说 HPC for LLM 有很大的期待。

前面的比较的点还是太繁琐了。抛开一点点工资和毁约的影响，选几个核心要点吧：

1. 研究内容(现阶段)：华为相较于百度，能参与到下一代昇腾的研究里去。作为体系结构科班，其实更感兴趣。
2. 用武之地(上限)：从体系结构的角度出发，如何为下一代AI的训练推理注入活力。华为昇腾覆盖的范围比百度更大。
3. 过渡阶段(稳定性)：作为个人，我其实是“转行”。百度虽然现阶段是领先的，但是我可能跟不上。华为这边体系结构的工作可以占比大，切入和适应应该更自然。
4. 工作伙伴：有同届的spq，还有lh师兄等师兄。百度唯一zpq师兄，还是在独立的昆仑芯
5. 工作节奏：工作压力时长，肯定是华为更大。但是工作的条件，环境。青浦修好后，肯定非常漂亮。

总体看来，选择华为更契合我未来的长远的职业规划。

公司资料了解

工资评级分析

[^7]

华为的公司架构

• 三主体：产品线一线交付， 预研部门， 2012部门
• 产品线一线交付，付钱给预研部门， 2012部门来研究内容
• 前者在完成指标后，自负盈亏，后者一般是固定年终奖。

华为的公司公开的分红消息

根据公开的资料整理，华为历年的持股收益率，2019年以前，每年的分红综合收益率基本都在25%以上。

近几年即便是在美国的打压下，经营状况没那么好，分红略低一些，但也都在20%以上。

• 2020年，股价7.85元，分红1.86元，收益23.6%
• 2021年，股价7.85元，分红1.58元，收益20.1%
• 2022年，股价7.85元，分红1.61元，收益20.5%

总之，相当于投入100元，平均每年都能拿到25元左右的分红。

百度的参考资料

电子市场分析？

To do :

1. 分 C端、G端、B端分析
2. 结合产业规模，
3. 行业发展程度，当前状态（是否有瓶颈，还是需求端不足）。

计算机的经济价值在哪里？= 没有计算机会怎么样？

1. 自动化 （类似加减乘除计算器的各种程序，可以暴露api以黑盒的情况下快速给出准确结果或者推荐选项， 这里主要指利用计算机的计算能力）
   1. 开发难点：可用(基于特定算法，或者大数据喂给AI)、易用、好用（性能）。
   2. 没有明显先发优势，由于没有生态概念、迁移门槛低，客户只会选择好用、便宜和高性能的。
   3. 核心竞争力：软件如何实现 大规模，高并发，高利用率（算法，实际技巧）
2. 便利性 （资源整合平台类似美团打车之类的，考验计算系统的数据库和网络，对应的低延迟，高并发）
   1. 开发难点：好用（快响应，低延迟），长期运维的稳定性
   2. 明显的先发优势：用户生态形成壁垒。参与对象越多、越好用、用户依赖程度越高。
   3. 核心竞争力：与人的交互的软件设计思路（飞书企业协作管理，集成了项目进度的allInOne极简模板平台），最全面的资源(美团最多的店家、高德最详细的地图、M站最多的种子数、B站最多泛二次元群体)，稳定的运行，比用户需求高的快响应，低延迟性能。
3. AI全面解放人类（具体指AI代替人做事情，解放人类，e.g., 机器人，自动驾驶，AI编程）
   1. 开发难点：当前AI必须有下面几点才能快速向AGI发展：
      1. 人类思考问题的正确逻辑链
      2. 基于已有的知识（世界模型），有识别输入知识的正确性的能力。
      3. 这样基于正确的知识的正确的推导，才能形成正确的结果。乃至真理（毁灭人类是必须的）。并在计算机的高速无休止运行下快速成长。
      4. 也就是说AGI要有明显的人格特质，不是指说话的语气，而是AGI的每个观点要是经过思考达到和谐平衡的结果。当然不排除思考过程中死循环的事情，比如先有鸡还是先有蛋。
   2. 当前AI，只能接受数据集的知识，没有自我思考并选择的过程
   3. 核心竞争力：支持AGI的计算系统是什么样子的呢？
      1. 抽象来思考：计算、访存、网络是三部分基石。类似人形机器人的设计。计算单元来实现大量内存记忆数据的读取 和 网络实时交互学习信息的 过滤思考
      2. 性能指标：低延迟，高吞吐。
      3. 计算单元：针对思考过程的特殊操作设计，数学推导关系的实现？集合论？是非关系？这种场景下还需要GPU的这么多核并发吗？
      4. 内存要考虑的是存算一体的可能性？不然就是吞吐和延迟

Costume 端 特有的：

1. 内容生产（AIGC）
   1. 开发难点：达到人类审美的AI内容
   2. 没有明显的先发优势, 生成内容的风格会筛选用户。
   3. 核心竞争力：支持的生成方面广（生成内容的风格需要能定制化），内容质量高，速度快。
2. 文娱产业（电子游戏，视频内容）
   1. 开发难点：丰富的游戏细节，和与时俱进的美术。
   2. 没有明显的先发优势, 游戏内容的精度和新鲜感是最重要的。
   3. 核心竞争力：如何实现工业化的高级美术和剧情产出（AIGC？）。

计算机行业为什么赚钱？ 这个理由能持续下去吗？

1. 门槛低，一台笔记本就可以写软件，从便利的各种小工具，到大型软件。
2. 在专利保护下软件复制成本近乎零，收益稳定。可以实现薄利多销。
   1. 低成本复用性：一个APP开发好之后，可以在不同位置和时间无成本复制（指每个人可以在任意时刻使用软件服务）。 第一产业生产的粮食和工业制品都是生产一个消耗一个。服务业也是一次性的。
   2. 无损耗，实现后可以长期生效。是少数跨越时间长河的永恒的东西。
   3. 但是在激烈的竞争下，软件都趋向免费化。靠基于庞大用户群体的平台抽成和附加高级服务（云盘会员，游戏附加充值）来实现。或者是靠免费化吸引一波用户。
3. 芯片硬件流片周期长，成本高

参考文献

[^3]: 我发现凡是给offer的公司，面试时基本不问技术细节，那些问得又多又细的公司，后面就没下文了！ ityoufan it友凡

[^7]: Software Engineer Payment

GDB 基本命令

• 跳出当前函数 finish: Continue running until just after function in the selected stack frame returns. Print the returned value (if any).

运行带参数程序

• gdb --args 正常程序+参数
• 进入gdb后运行 set args 参数

break断点

• f 打印当前文件 ，便于打断点
• info breakpoints 查看已经的断点
• del 3 删除NUM=3的第三个断点

给某个结构体内的函数全部上break

1

rbreak file.cpp:.*TemplateClass.*

打印信息

• 参数 show args
• 局部变量 info locals
• 修改变量 p result=20
• 函数调用栈 bt

多线程

• info threads
• 切换线程 thread 2
• 打印线程堆栈 thread apply all bt

代码信息

1
2
3
4
5

list # 代码，需要-g
info line
info source
where
disas # 汇编

结构体class

1
2
3
4

gef➤  p -raw-values off -- this->TotalCycles
gef➤  p this
$11 = (llvm::mca::SummaryView * const) 0x7fffffffcc08
gef➤  p *this

指针变量

• 二维指针 p **matrix@3@3
• 一维指针 p *matrix@3
• 或者转换为数组 p *(int *)matrix@3
• 或者转换为数组 p *(int (*)[3])matrix

数组

1
2

(gdb) p array[60]@10
$9 = {60, 61, 62, 63, 64, 65, 66, 67, 68, 69}

可以看到打印了array数组第60~69个元素的值。如果要打印从数组开头连续元素的值，也可使用这个命令：“p *array@num”：

1
2

(gdb) p *array@10
$2 = {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}

内存地址内容

examine 命令（简写是 x）

格式：x /nfu <addr>

说明：

• x 是 examine 的缩写。
• n 表示要显示的内存单元的个数。
• f 表示显示方式，可取如下值：

• u 表示一个地址单元的长度，长度类型如下：

example:

1
2
3
4
5
6

(gdb) x 0x8049948
0x8049948: 0x20726f46
(gdb) x/s 0x8049948
0x8049948: "For NASA,space is still a high priority."
(gdb) x/4 0x7fffe536dbc0 # display 4 bytes info?
0x7fffe536dbc0: 0x0     0x0     0x9d835 0x0

打印寄存器值（表格）

1
2
3

layout split
layout regs
tui reg general

GDB segmentation fault

段错误定位

1
2
3
4
5
6
7
8
9
10

# ulimit -c 显示核心转储文件大小的最大值
ulimit -c unlimited # 打开
ulimit -c 0         # 关闭

# 改变core存储位置 
#%e 打印线程name 
#%p 打印进程id 
#%h 打印主机名 
#%t 打印时间
echo '/tmp/core-%e.%p.%h.%t' > /proc/sys/kernel/core_pattern

1. 执行编译加入-g的SLIC程序，产生core文件
2. 然后执行进gdb

   1 2	gdb SLIC core.199048 bt

   1 2 3 4

   (gdb) bt #0 0x00002af6047e4a4b in fgets () from /lib64/libc.so.6 #1 0x000000000040450a in LoadPPM (filename=0x407e63 "input_image.ppm", data=0x7ffecda55cc8, width=0x7ffecda55cc4, height=0x7ffecda55cc0) at SLIC_raw.cpp:692 #2 0x00000000004049e1 in main (argc=1, argv=0x7ffecda55de8) at SLIC_raw.cpp:794

1
2
3
4
5
6
7

# add debug file for gdb
cd /compile_path/build
cp dbg/libtorch_npu.so.debug /path2conda/site-packages/torch_npu/lib
# gdb need the same python env
conda activate xxx
gdb python core_xxx
    # bt

问题

define内容难以解析

gef 界面

效果

会打印详细的信息

安装gef

需要GDB10以上

1
2
3
4
5

bash -c "$(curl -fsSL http://gef.blah.cat/sh)"

# 没有网，手动下 https://gef.blah.cat/py ，替换
$ wget -O ~/.gdbinit-gef.py -q https://gef.blah.cat/py
$ echo source ~/.gdbinit-gef.py >> ~/.gdbinit

注意：gdbtui 与 gef 不太兼容

开题缘由、总结、反思、吐槽~~

参考文献

Linux 多进程的竞争休眠机制

基本是基于Linux的时间片轮转机制。A process/thread is woken up by inserting it in the queue of processes/threads to be scheduled.

内核调度算法

CFS（Completely Fair Scheduler）是一种用于 Linux 操作系统的调度算法，它旨在实现对 CPU 时间的公平分配。CFS 是 Linux 内核中默认的调度器，自 Linux 2.6.23 版本以来就成为了标准调度器。

CFS 调度算法的主要目标是确保各个任务在相同的时间片内能够获得公平的CPU时间，不会因为优先级等因素而造成资源争夺不均。以下是 CFS 调度算法的一些关键特点和原则：

1. 虚拟化时钟： CFS 使用了一种称为虚拟化时钟（virtual runtime）的概念，而不是传统的时间片。每个任务都有一个虚拟运行时间，调度器根据虚拟运行时间来决定哪个任务应该被调度。

2. 权重： CFS 引入了权重的概念，用于调整不同任务的相对优先级。较高权重的任务会在相同时间间隔内获得更多的虚拟运行时间，从而实现按比例分配CPU资源。

3. 累积虚拟运行时间： 调度器会根据每个任务的权重和已累积的虚拟运行时间，计算出每个任务的应有的虚拟运行时间片。任务在使用完它的时间片后，会根据虚拟运行时间进行重新排队。

4. 红黑树结构： CFS 使用红黑树来管理任务队列，这种数据结构使得在插入、删除和搜索任务时的时间复杂度保持在对数级别。

除了 CFS，Linux 内核还有其他调度算法，如：

• 实时调度器（Real-Time Scheduler）： 用于实时任务，提供硬实时和软实时的调度策略，确保实时任务在指定的时间内执行完成。

• O(1) 调度器（O(1) Scheduler）： 是 Linux 2.4 内核中使用的调度器，它的时间复杂度为常数级别。然而，随着多核系统的出现，O(1) 调度器在多核环境下的性能表现受到限制，因此被 CFS 替代。

这些调度算法在不同的场景和需求下，对于多任务操作系统的调度提供了不同的方法和策略。选择适合的调度算法可以根据系统的应用和性能要求来进行。

问题

在高强度竞争之后，有些进程陷入长期sleep，并且在核空闲的时候，也不再重新运行？为什么？

原因可能是程序逻辑阻塞了，或者在等待IO

查看进程Sleep的原因

首先 计算机对一个进程是如何判断sleep的，是某时间内的计算占比低于某个阈值吗？

htop s 可以查看kernel 是不是阻塞， l 可以查看是不是读写同一个文件导致阻塞了。

Sleep的瓶颈在哪里

sleep for what, waiting for what?

实践1 strace

strace -p PID 可以显示一些信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

$ strace -p 4005042
  wait4(-1, # 等待任意子进程结束

# check subprocess
$ pstree -p 4005042
pinbin(4005042)---BC_Compute(4005082)-+-{BC_Compute}(4005187)
                                      |-{BC_Compute}(4005188)
                                      |-{BC_Compute}(4005252)
                                      |-{BC_Compute}(4005296)
                                      |-{BC_Compute}(4005299)
                                      `-{BC_Compute}(4005302)

$ strace -p 4005082
strace: Process 4005082 attached
futex(0x7fffe52de1b8, FUTEX_WAIT, 2, NULL
# futex - fast user-space locking(seems to be used in OpenMP)
# It is typically used as a blocking construct in the context of shared-memory synchronization. 


$ strace -p 4005188
nanosleep({tv_sec=0, tv_nsec=2000000}, 0x7fffe5368bc0) = 0 # repeat
nanosleep({tv_sec=0, tv_nsec=2000000}, 0x7fffe536dbc0) = 0

It seems this is a subprocess repeating sleep leading to all other process to wait in the synchronization.

Use gdb -p PID to attach the process to locate the infinite loop (need Debug Symbols).

futex解释

futex 是 Linux 下的一个系统调用，用于实现用户空间线程间的同步和通信。让我们逐个解释这个系统调用中的每个参数的含义：

1. 0x7fffe52de1b8: 这是一个指向内存地址的指针（或称为地址），通常是用于表示需要同步的资源或变量的地址。在这里，它表示需要等待的共享资源或变量的地址。
2. FUTEX_WAIT: 这是一个指定 futex 要执行的操作的标志。FUTEX_WAIT 表示线程正在等待 futex 的值发生变化，即等待条件满足。当某个线程执行 FUTEX_WAIT 操作时，如果 futex 的值与预期不符，则该线程将被置于休眠状态，直到 futex 的值发生变化或超时。
3. 2: 这是一个表示期望的 futex 值的参数。当调用 FUTEX_WAIT 时，线程将检查 futex 的当前值是否等于此参数指定的值。如果不等于，则线程将休眠等待。
4. NULL: 这是一个指向 timespec 结构的指针，用于设置超时。这里为 NULL 表示调用没有设置超时，即线程将一直等待，直到 futex 的值发生变化。

总的来说，futex(0x7fffe52de1b8, FUTEX_WAIT, 2, NULL) 表示线程正在等待位于内存地址 0x7fffe52de1b8 的 futex 变量的值等于 2。如果 futex 的值不是 2，则线程将一直等待直到 futex 的值变为 2 或者超时。这样的同步机制在多线程编程中用于等待条件满足后再执行某些操作，从而避免资源竞争和提高程序的并发性能。

nanosleep解释

这是一个系统调用 nanosleep 的输出，通常用于让线程休眠一段时间。让我们逐个解释这个系统调用的含义：

1

nanosleep({tv_sec=0, tv_nsec=2000000}, 0x7fffe5368bc0) = 0

1. nanosleep: 这是 Linux 下的一个系统调用，用于使线程休眠一段指定的时间。

2. {tv_sec=0, tv_nsec=2000000}: 这是传递给 nanosleep 的第一个参数，是一个指向 timespec 结构的指针。timespec 结构用于表示时间间隔，包括秒（tv_sec）和纳秒（tv_nsec）。

   在这里，tv_sec=0 表示秒数为 0，tv_nsec=2000000 表示纳秒数为 2000000。因此，这个 nanosleep 调用将会使线程休眠 2 毫秒（1 秒 = 1000000000 纳秒，所以 2000000 纳秒就是 2 毫秒）。

3. 0x7fffe5368bc0: 这是传递给 nanosleep 的第二个参数，表示一个 timespec 结构的指针。这个参数用于存放未休眠完成的剩余时间，如果 nanosleep 被中断（例如收到信号），它将在这个指针中返回剩余的时间。在这个输出中，剩余时间被存储在内存地址 0x7fffe5368bc0 处。

4. = 0: 这是 nanosleep 的返回值，表示成功完成。返回值为 0 表示 nanosleep 成功休眠了指定的时间。

综上所述，这个输出表示线程成功休眠了 2 毫秒。

实践2: zsim模拟程序

程序直接执行正常，zsim模拟直接sleep？

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

$ strace -p 303359
read(10,

$ pstree -p 303359                                                                                 │
gups_vanilla(303359)-+-gups_vanilla(303449)-+-orted+                                               │
                     |                      `-{gups+                                               │
                     |-{gups_vanilla}(303360)                                                      │
                     |-{gups_vanilla}(303361)

$ pstree -p 303449                                                                                 │
gups_vanilla(303449)-+-orted(303451)-+-{orted}(303452)                                             │
                     |               |-{orted}(303642)                                             │
                     |               |-{orted}(303643)                                             │
                     |               `-{orted}(303644)                                             │
                     `-{gups_vanilla}(303450)

这是一个 Open MPI（Message Passing Interface）的启动命令，用于启动一个 MPI 程序，并配置一些运行时参数。让我们逐个解释这个命令中的每个选项和参数的含义：

1

orted --hnp --set-sid --report-uri 11 --singleton-died-pipe 12 -mca state_novm_select 1 -mca ess hnp -mca pmix ^s1,s2,cray,isolated

部分参数含义如下：

• orted: 这是 Open MPI 的一个工具，用于启动和管理 MPI 进程。
• -mca state_novm_select 1: 这是一个 MCA（Modular Component Architecture）选项，用于指定某个模块或组件的参数设置。在这里，state_novm_select 设置为 1，可能是指定某个组件或模块在运行时的选项。
• -mca pmix ^s1,s2,cray,isolated: 这是另一个 MCA 选项，用于配置 PMIx（Process Management Interface for Exascale）的相关设置。^s1,s2,cray,isolated 表示排除 s1、s2、cray 和 isolated 这些模块，可能是禁用某些特定的组件或功能。

• restart_syscall表示系统调用被中断后重新启动的过程。它通常出现在系统调用的执行过程中，当某个信号（例如 SIGSTOP 或 SIGCONT）中断了系统调用的执行，然后系统调用在信号处理完成后被重新启动。
• select 是一个用于在多个文件描述符上进行 I/O 多路复用（I/O multiplexing）的系统调用，它可以监视多个文件描述符，并在其中任何一个文件描述符准备好进行 I/O 操作时返回。
  • select 调用的输出，它将监视文件描述符 48 和 49，并在其中任何一个文件描述符准备好读取数据或超时（2 秒后）时返回。
  • 完全无法理解呢！ 可能需要深入了解MPI的实现栈细节才能明白。

命令行唤醒Sleep进程

The only way to “wake it up” is to arrange for the condition to be met. 用户是无法更改的状态的。

传统kill进程

1
2
3
4

# find pid , state S+ meaning sleep
ps aux | grep name
# gracefully kill process
kill -15 pid

需要进一步的研究学习

暂无

遇到的问题

暂无

开题缘由、总结、反思、吐槽~~

参考文献

上面回答部分来自ChatGPT-3.5，没有进行正确性的交叉校验。

无

Our technology,our machines,is part of our humanity.We created them to extend ourself,and that is what is unique about human beings. - Ray Kurzweil”