Zeurd 的博客 https://www.zeurd.com/ 一个面向 AI / 算法 / 视觉系统 / 工程实践的研究笔记站。 Thu, 16 Jul 2026 12:49:17 GMT https://validator.w3.org/feed/docs/rss2.html https://github.com/jpmonette/feed zh-CN All rights reserved 2026, Zeurd <![CDATA[科技抱团掩盖了熊市真相]]> https://www.zeurd.com/article/tech-crowding-hides-the-bear-market https://www.zeurd.com/article/tech-crowding-hides-the-bear-market Tue, 23 Jun 2026 00:00:00 GMT
刚刚和朋友聊到老登股，尤其是茅台。
说实话，虽然我一直待在科技行业，也主要关注科技股，但我并不看空茅台。因为茅台的核心逻辑，本来就不只是白酒。
它更像是奢侈品和消费品的结合体。茅台不需要和其他白酒比较，就像爱马仕也不会天天和普通箱包讨论性价比。真正支撑它的，是品牌、稀缺性和社会共识。
而且酒比包还有一个很特殊的地方。
买了一只爱马仕，只要不是狂热收藏，短时间内通常不会再买一只，旧包也不会因为用过一次就消失。但茅台喝完就没了，实物直接归零，只要消费场景还在，需求就可以不断重复。
更现实一点，送爱马仕很容易被认定为明确的利益输送；两箱茅台放在饭局上，最后没喝完顺手塞进后备箱，在很多场景里甚至只会被说成铺张浪费。它既有奢侈品的身份属性，又保留了消费品的模糊边界，这也是茅台长期强势的一部分原因。
所以我看好茅台的商业逻辑，但这不代表我认为它现在就应该上涨。
我一直有一个比较坚定的判断：现在仍然是熊市。
经济放开以后没有如期回暖，本身就是很明显的信号。只是这一轮 AI 的产业逻辑足够硬，又碰上全球科技共振，资金开始极致抱团。科技股权重又高，少数大票不断上涨，就把指数托住了。
指数没崩，看起来就不像熊市。但把指数拿掉以后，现在的市场状态其实非常熟悉。
过去我们怎么理解牛市？
牛市不是只有几个方向涨，而是板块不断轮动。最开始涨确定性最高的资产，随后资金向其他行业扩散，最后连最差的股票也能补涨。直到市场找不到新的东西可涨，估值和情绪一起走到尽头，行情才会崩掉。
熊市正好相反。大多数股票持续下跌，资金不愿意承担扩散风险，只能集中到少数仍然有故事、有业绩或者有强烈预期的标的上。所谓熊市多妖股，本质就是缺少普遍机会以后，存量资金在少数方向里极致抱团。
现在除了指数没有明显崩掉，其他表现不就是熊市吗？
大部分行业没有持续赚钱效应，板块轮动很弱，资金高度集中在 AI 和科技，传统消费资产则不断承受经济预期下修。指数上涨更多是权重结构带来的结果，而不是经济和企业盈利普遍改善。
所以茅台真正要重新走强，靠的不会是某一次反弹，也不是资金忽然觉得它便宜了，而是居民收入、消费意愿和商务活动重新繁荣起来。
它需要等的是真正的经济繁荣，而不是现在这种由 AI 产业繁荣托起来的指数繁荣。
 
]]> <![CDATA[给 VLM 加一个标记 token，顺便补了下 tokenizer]]> https://www.zeurd.com/article/vlm-tokenizer-special-token-notes https://www.zeurd.com/article/vlm-tokenizer-special-token-notes Wed, 15 Jul 2026 00:00:00 GMT
最近要给我们自己的 VLM 加一个标记 token。以前一直直接用 Qwen 现成的 tokenizer，从来没认真看过分词表怎么来的。真正要改才发现，新增 token 这件事本身不复杂，后面还连着 embedding、lm_head、loss mask、LoRA 和生成停止条件，漏一个就有可能白训。
顺便把 tokenizer 相关的东西重新补了一遍，记在这里，免得以后又从头查。

BPE 和 Unigram

常见的子词算法主要有 BPE 和 Unigram。
BPE 从字符或 byte 这类小粒度单位开始，统计训练语料里最常出现的相邻 token 对，每轮合并一对，直到词表达到预设大小。它学到的是一套有顺序的 merge rules，实际分词时按照这套规则执行。
Unigram 的方向相反。它先从训练语料构造一个较大的候选词表，给每个 token 一个概率，再反复删除对整体似然贡献较低的候选，最后保留到目标词表大小。分词时可以比较同一句话的多种切法，选择概率最高的结果；训练阶段也可以采样不同切法做 subword regularization。
我最开始看到“从大候选词表开始”，第一反应是它需要事先穷尽所有大词，那使用范围应该很有限。这个理解不对。候选词表通常从训练语料里的高频子串生成，并不需要枚举语言中所有可能的词；常见字符、<unk> 或 byte fallback 还可以负责兜底。Unigram 的麻烦主要在候选集构造、概率估计和反复裁剪，算法与实现都比贪心合并更复杂。
现在很多 decoder-only LLM 使用 BPE，尤其常见 Byte-level BPE。Unigram 仍然用在不少 SentencePiece、机器翻译和多语言模型里，不能简单概括成已经被 Google 放弃。
这里说的“训练 tokenizer”也是传统算法训练，主要是频率统计、概率估计、动态规划和贪心合并，和训练神经网络没有关系。

tiktoken 和 SentencePiece

tiktoken 和 SentencePiece 是工具，BPE 和 Unigram 才是算法。
SentencePiece 同时支持 BPE 和 Unigram。它直接处理原始 Unicode 文本，并把空格转成特殊字符 ▁，所以经常会看到 ▁hello 这种 token。开启 byte fallback 后，词表覆盖不到的字符还可以继续退化成 UTF-8 bytes。
tiktoken 是 OpenAI 的高性能 Byte-level BPE 实现。文本先按 UTF-8 转成 bytes，最底层有 0～255 共 256 个 byte，理论上任意文本都可以表示。训练之后，常见 byte 序列会逐步合并成更长的 token。
tiktoken 在执行 BPE 前还会用正则做 pre-tokenization，先把字母、数字、标点和换行等内容拆成片段。后面的 BPE merge 通常不会跨过这些片段边界。
所以“常规 BPE 禁止多词组合”这个说法不够准确。限制多半来自 pre-tokenizer，BPE 本身只关心相邻符号能不能合并。SuperBPE 做的事情就是调整这层边界。第一阶段保留常规词边界，先学习 subword；第二阶段放开边界，继续合并高频的多词组合。

中文是怎么切的

英文有天然空格，中文没有。中文 tokenizer 一般会形成几层不同粒度的 token：
  • 最底层的 UTF-8 bytes，用来给生僻字和异常字符兜底；
  • 单个汉字，例如“中”“国”“人”“工”“智”“能”；
  • 常见词，例如“中国”“人工”“智能”“模型”；
  • 更长的高频组合，例如“人工智能”“大语言模型”。
Byte-level BPE 从 bytes 开始。以“中”为例，它的 UTF-8 是 E4 B8 AD，训练时可能先把这三个 byte 合并成“中”，再继续得到“中国”“人工智能”等更长 token。Qwen 这类 tokenizer 走的主要就是这条路线。
它的好处是编码统一、没有 OOV，也适合中英和代码混合。代价是词表里可能存在落在 Unicode 字符内部的 byte token。完整 token 序列仍然可以无损还原，但单独查看某个 token 时可能出现乱码，词表也没那么容易解释。
另一条路线是 Unicode SentencePiece BPE 或 Unigram，再配 byte fallback。常见汉字直接作为基础字符学习，多字组合继续合并，覆盖不到的字符才退回 bytes。这类词表通常更直观，也更容易避免把常见汉字拆在 UTF-8 中间。

词表大小

词表大小记作 V，模型隐藏维度记作 d，输入 embedding 的参数量就是 V × d。
词表变大以后，同一段文本通常可以压缩成更少的 token，序列更短，attention 和 KV Cache 的压力也会下降。与此同时，embedding 和输出层会变大，输出 softmax 更贵，低频 token 分到的训练次数也更少。
词表较小时，embedding 占用更低，单个 token 的出现次数通常更多，文本却会被拆成更长的序列，训练和推理需要处理更多位置。
所以词表大小同时影响参数量、文本压缩率、多语言覆盖和推理成本。
Qwen3.5-2B 的公开配置里，词表大小是 248,320，文本隐藏维度是 2,048。单个 embedding 矩阵有：
248,320 × 2,048 = 508,559,360
也就是约 5.09 亿参数。Qwen3.5-2B 配置了 embedding tying，输入 embedding 和 lm_head 共用这一个矩阵。没有 tying 的话，输出层还要再放一份同样大小的权重。tying 省的是参数量和模型存储，V × d 的输出投影计算仍然要做。
Token fertility 通常表示一段文本平均每个词会产生多少 token。英文可以按 word 统计，中文的“词”边界不统一，也经常按字符或固定语料的 token 数直接比较。fertility 越高，同样的内容需要的 token 越多，能放进上下文的有效内容越少，训练和推理成本也会跟着增加。

新增一个标记 token

先要区分它只是一个希望保持完整的普通 token，还是模型协议里的控制 token。
普通领域词只需要保证不被拆开，可以用 add_tokens。像角色边界、模态占位符、输出标签这类控制符，再放进 additional_special_tokens。special token 会影响 tokenizer 的特殊 token 处理逻辑，不需要把所有新增词都设成 special。
用 Transformers 增加一个控制 token，大致是这样：
resize_token_embeddings 会扩展输入 embedding。模型类实现了 tie_weights() 时，Transformers 也会重新处理 tied weight，一般不用自己手动绑定 token ID、embedding 和 lm_head。
后面还有几件事要检查：
  1. 新 token 是正常输入时，attention mask 设为 1。只有 padding 位置才设为 0。
  1. Loss mask 取决于模型要不要学会生成它。只作为输入提示或 padding 时可以设为 -100；它属于输出协议时要保留 loss。
  1. 只有确实表示生成结束的 token 才加入 eos_token_id 或 stopping criteria。普通分隔符不能一股脑设成 stop token。
  1. Chat template 只在对话协议跟着变化时修改。
  1. tokenizer 和模型要一起保存。只保存 adapter，漏掉改过的 tokenizer，部署时 token ID 很容易对不上。
  1. 训练数据里必须真的出现这个 token。扩一行 embedding 不会自动赋予它语义。
新增 token 也不一定要全参微调。普通 LoRA 默认冻结 embedding 和 lm_head，新 token 的向量确实学不到。PEFT 现在可以用 trainable_token_indices 只训练新增 token 对应的 embedding 行；也可以把 embedding 或 lm_head 放进 modules_to_save，代价是对应模块会整体保存和训练。
这里还要看模型有没有 embedding tying。tied 模型的输入和输出共用权重；untied 模型里，输入 embedding 和 lm_head 是两份参数，只训练输入侧还不足以让模型学会输出新 token。加完 LoRA 后最好直接检查新增行有没有梯度，保存、加载一次 adapter，再确认 token ID 和权重都还在。

Embedding tying

Embedding tying 就是让同一个 token 的输入表示和输出分类器共用一组向量。它能少掉一个 V × d 矩阵，也给输入空间和输出空间加了一层约束。
不做 tying 也有合理性。输入表示和输出分类毕竟是两个不同任务，拆开以后两套权重可以各自学习。不同模型两种方案都有，不能只看有没有 tying 判断结构好坏。
拿 CV 类比，embedding 有点像网络入口，lm_head 类似最后的分类层。这个类比只能帮助理解它们所在的位置。Embedding 实际是按 token ID 查表，第一层卷积还包含局部空间计算，两者的运算并不一样。

分词边界会不会影响模型

我之前还有个疑惑。同一句“今天天气真好”，切成“今天 / 天气 / 真好”，或者“今 / 天天 / 气 / 真好”，模型看到的序列完全不同，结果当然也可能受影响。
固定 tokenizer 对同一段完整文本的切分通常是确定的。训练时“今天天气真好”怎么切，推理时遇到完全相同的字符串仍然会怎么切。换成“今天的天气真好”以后，局部 token 组合可能变化，模型需要靠上下文表示去适应。
token 本来也不要求和人理解的词义一一对应。“今天”可以是一个 token，也可以拆成两个；后面的 Transformer 仍然会通过上下文把它们组合起来。切分质量会影响序列长度、低频片段的训练密度和模型对拼写变化的鲁棒性，影响大小要看语料与任务，不能只从某个词切得顺不顺判断。
Unigram sampling 和 BPE-dropout 还会在训练阶段主动给同一句话采样不同切法，提高模型对分词变化的适应能力。常规 LLM 在推理时一般仍然使用固定切分。

Packing

训练样本长度不一样，全部 pad 到同一长度会浪费很多计算。Packing 会把多个短样本塞进一个固定长度序列，尽量减少 padding。
实现时不能只做简单拼接。样本之间至少要放 EOS 或其他边界标记，还要处理好 labels、position IDs 和 attention 边界。SFT 里通常只给 assistant 输出计算 loss；是否允许不同样本互相 attention，也要和训练框架的实现对齐。

相关资料

]]> <![CDATA[光流估计论文阅读小结]]> https://www.zeurd.com/article/zhihu-1905637782333928584 https://www.zeurd.com/article/zhihu-1905637782333928584 Tue, 13 May 2025 00:00:00 GMT
最近在研究光流估计相关的论文工作，在此记录一下光流估计的发展历程。从最简单的 CNN 换个任务，到后续这么多年的发展，希望能梳理出一个脉络。也希望相关方向的大佬们不吝赐教，多多交流。

传说之始

FlowNet: Learning Optical Flow with Convolutional Networks【ICCV 2015】

传说，在最早的时候，CNN 能做的任务中并不包含光流估计。直到 FlowNet 给出第一套端到端监督 CNN，为 CNN 的传说又画上了浓墨重彩的一笔。
notion image
作者做了两套结构。FlowNetS 直接把两帧图像 cat 到一起，FlowNetC 用双分支提取特征，再通过 correlation layer 做匹配。这个 correlation 没有可学习参数，本质上就是两个位置特征向量的点积。decoder 会把上采样特征、encoder 同尺度特征和上一层 flow 拼起来，最终学习到四分之一分辨率光流，再插值回原图。
训练数据 FlyingChairs 一共有 22872 对图像，其中 22232 对训练，640 对测试。它用 Flickr 背景和椅子图片合成二维运动，画面很假，却比直接拿小规模 Sintel 训练有效。论文里，先用 Chairs 预训练再到 Sintel fine-tune，大约能少 1 pixel EPE；拿掉数据增强，Sintel 上还会再差约 2 pixel。
FlowNetC 也没有稳稳压过 FlowNetS。FlyingChairs test 上两者是 2.19 和 2.71，到了 Sintel Final test，FlowNetC 是 8.81，FlowNetS 则是 8.43。correlation 在训练域和干净画面上有帮助，碰到 motion blur、fog 或更复杂的运动就不一定了。
GTX Titan 上，FlowNetS 和 FlowNetC 分别耗时 80 ms、150 ms。可选的 variational refinement 会把时间增加到 1 秒左右，在 Chairs 上还会让误差变大。FlowNet 证明了端到端 CNN 能做光流，精度仍低于当时最好的传统方法。

初露峥嵘

FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks【CVPR 2017】

FlowNet 出来之后，问题很快就暴露了。作为开山作，性能却还不如传统方法，小位移和真实场景尤其拉胯。这怎么行，作者赶紧补了一篇 2.0。
FlowNet 2.0 主要改了三处。
  1. 调整训练数据和训练顺序。
  1. 堆叠多个 FlowNet，继续加算力。
  1. 增加小位移分支。

1. 改进数据

作者先在 FlyingChairs 上训练，再用更复杂的 FlyingThings3D 微调。原论文 Table 1 里，FlowNetS 只用 Things3D 训练后在 Sintel Clean train 上是 4.50，两类数据五五混合是 4.10，先 Chairs 再 Things3D 能到 3.79。论文把它叫作 curriculum learning，简单二维运动确实适合拿来做第一阶段训练。

2. 堆叠网络

notion image
第一个网络先预测 flow，用它把第二帧 warp 到第一帧。后面的网络继续接收两张原图、上一版 flow、warped image 和 brightness error，逐级修正结果。
Table 2 把 warp 的作用测得很清楚。单个 Net1 在 Chairs test 和 Sintel Clean train 上分别是 3.01、3.79。接第二个网络却不做 warp，Chairs 降到 2.60，Sintel 反而恶化到 4.29。冻结 Net1，再训练带 warp 的 Net2，两个数字变成 1.94、2.93。网络堆得更深也开始收益递减。C、CS、CSS 在 Sintel Clean train 上是 3.04、2.20、2.10，GTX 1080 上耗时则从 33 ms 增加到 51 ms、69 ms。

3. 针对小运动

作者又做了 ChairsSDHom，里面大多是小位移和大块平滑区域，再单独训练 FlowNet2-SD。这个分支去掉开头的 stride 2，把 7×7、5×5 大卷积换成多层 3×3，尽量保住小运动。最终模型把大位移分支、小位移分支一起送进 fusion network。
小运动训练有明确取舍。Middlebury train AEE 从 0.44 降到 0.38，KITTI 2012 train 却从 3.55 变成 4.05。最终 FlowNet2 在 Sintel test 上是 Clean 3.96、Final 6.02，GTX 1080 上耗时 123 ms。误差大幅降下来了，模型也膨胀到了 162M 参数。

魔童降世

Optical Flow Estimation Using a Spatial Pyramid Network【CVPR 2017】

在 FlowNet 茁壮成长的时候，一个小小的灵珠炸弹也在光流估计领域掀起了一点浪花。SPyNet 没有继续堆 FlowNet，走的是传统方法和 CNN 结合的路线。传统光流本来就在做 coarse-to-fine 空间金字塔，放到 deep learning 里同样可以用。
顺带说一句，我之前一直以为金字塔是目标检测那边搞出来的东西，这次看光流才知道，传统算法几十年前就在用了。
它先建立图像金字塔，从最粗的尺度开始估计 flow。到下一层以后，把上一层的 flow 上采样，用它 warp 第二帧，再让当前层的小网络预测 residual flow。大位移在低分辨率上会变小，每层网络只处理剩下的一点残差。
notion image
SPyNet 训练了 5 个尺度网络，每个都是独立的小 CNN，包含 5 个 7×7 卷积，各层不共享参数。整套模型只有 120 万参数、9.7 MB，比 FlowNet 小约 96%。论文表里给出的耗时是 69 ms，FlowNetS、FlowNetC 的 80 ms、150 ms 则引用自原论文。几组时间来自不同实验环境，只能看大致量级。
它也没有在所有 benchmark 上超过 FlowNet。Sintel Clean、Final test 分别是 6.69、8.43；针对 Final fine-tune 后是 8.36，仍高于 FlowNetS+ft 的 7.76。coarse-to-fine 对快速小物体尤其吃亏。Sintel Final 中位移超过 40 pixel 的区域，SPyNet+ft 的 EPE 是 49.71，FlowNetS 和 FlowNetC 分别是 43.24、40.78。小物体在粗尺度消失以后，后面的 residual 网络很难补回来。

PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume【CVPR 2018】

SPyNet 打开了传统方法结合 CNN 的大门，一年后 PWC-Net 横空出世。它在空间金字塔上加入可学习特征、feature warp 和局部 cost volume。
两帧图像先各自提取特征金字塔。每一层用上一层的 flow 把第二帧特征 warp 到第一帧坐标系，再和第一帧特征计算局部 cost volume，卷积网络据此预测当前层光流。最后还有一个 dilated context network。输出仍是四分之一分辨率，再插值回原图。
notion image
原论文 Table 5 把几个组件逐个拆开。只用 FlyingChairs 训练时，完整模型在 Sintel Clean、Final 上是 3.33、4.59，去掉 warp 后变成 3.79、5.30。context network 也有稳定收益，拿掉以后 Final 从 4.59 变成 4.74。cost volume 的搜索半径倒不用开得很大。每层最大位移设成 2、4、6 时，Final 分别是 4.50、4.59、4.60，金字塔已经把有效搜索范围放大了。
同一台 Pascal Titan X 上，FlowNet2 有 162.49M 参数，forward 84.80 ms；PWC-Net 是 8.75M 参数和 28.56 ms。PWC-Net-ft 在 Sintel test 上是 Clean 3.86、Final 5.13，KITTI 2015 test 的 Fl-all 是 9.60%。这些是各自 fine-tune 后的模型，不能当成一个模型同时拿到的结果。

LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation【CVPR 2018】

如果说 FlowNet 2.0 是对 FlowNet 的力大砖飞，那 LiteFlowNet 就是在逐个处理 FlowNet 2.0 里留下的问题。它在每个金字塔层先做 descriptor matching，得到 pixel-level flow，再做 sub-pixel refinement。后面还有一个 Flow Regularization 层，用 feature-driven local convolution 约束局部流场。这里使用 feature warp，FlowNet 2.0 使用 image warp。
notion image
Table 4 的消融很直接。这些 variant 都只在 FlyingChairs 上训练，再放到 Sintel 和 KITTI 的训练集看迁移。以 Sintel Final 为例，只有 matching 时是 5.69，加 feature warp 后降到 4.81，再加 sub-pixel refinement 是 4.45，最后加 regularization 到 4.17。KITTI 2015 也从 18.24 依次降到 14.52、12.32、11.58，feature warp 带来的那一步最大。
LiteFlowNet 的 “30 倍” 指参数量。相同 GTX 1080 上，它有 5.37M 参数、耗时 90.25 ms；FlowNet2 是 162.49M 和 122.39 ms，速度只快 1.36 倍。论文没有报告 FLOPs 或 MACs。精度也要分数据看。LiteFlowNet-ft 在 Sintel Clean、Final test 上是 4.86、6.09，低于 FlowNet2-ft-Sintel；KITTI 2015 test 的 Fl-all 是 10.24%，又优于 FlowNet2-ft-KITTI 的 11.48%。用 on par 概括更合适。

IRR-PWC: Iterative Residual Refinement for Joint Optical Flow and Occlusion Estimation【CVPR 2019】

PWC-Net 之后，IRR-PWC 又把传统优化里的迭代思想搬了进来，同时加入遮挡估计。
PWC-Net 原来每个金字塔层都有独立 decoder，IRR-PWC 改成不同层共享同一个 decoder，反复预测 residual 再更新 flow。多跑几轮不会继续增加 decoder 参数。
notion image
论文先在相同训练设置下比较共享迭代和直接堆网络。跑到第 5 轮时，共享 IRR 在 Sintel Clean train 上是 3.302，独立堆叠 FlowNetS 是 3.517；IRR 从第 3 轮的 3.325 往后已经基本不再提升。PWC-Net 上只加 IRR，Sintel Clean、Final 从 3.13、4.41 降到 2.79、4.10，参数量减少 61.2%。完整模型加入双向估计、遮挡和 refinement 后是 2.34、3.95，参数量仍比 baseline 少 26.4%。
遮挡分支同时预测前向和反向 flow，再用独立 decoder 预测 occlusion mask。全分辨率 occlusion upsampling 会把 Sintel Final 的 F1 从 0.602 提高到 0.624，flow EPE 反而略有上升。这组实验至少说明上采样模块主要在修 mask，没有顺手把光流也一起抬高。
最终 IRR-PWC 在 Sintel test 上是 Clean 3.84、Final 4.58，参数量 6.36M；相同 fine-tune 设置下的 PWC-Net-ft-final 是 4.39、5.04 和 8.75M。KITTI 2015 test 的 Fl-all 是 7.65%。论文没有报告 runtime、FPS 或 FLOPs，因此只能确认参数量下降，推理时间还没法从论文数字里判断。
后面有机会的话，再把 RAFT、GMFlow 这些工作接着补上。
]]> <![CDATA[[优化][ECCV 2022]Bootstrap Generalization Ability from Loss Landscape Perspective]]> https://www.zeurd.com/article/zhihu-719266623 https://www.zeurd.com/article/zhihu-719266623 Tue, 10 Sep 2024 00:00:00 GMT
起因是在上班刷知乎的时候看见了 @虚无 大佬的关于一个优化器损失调整方面的回答，感觉还挺有意思的，准备记录一下，下午工作的时候尝试一下。
论文名称：Bootstrap Generalization Ability from Loss Landscape Perspective

故事会环节

在做深度学习的时候，会发现一个事儿，就是如果训练数据和测试数据是一致的，那么效果一般都不错，但是如果不一致的时候（这个确实，在实际工业应用中，很少能有一致的情况发生，谁知道用户是用来测啥的）性能就会掉很多，这种情况就被叫做域偏移。常见的解决办法就是做域适应（DA），域泛化（DG）。作者表示DA需要目标域的访问权限，但是DG不用，所以DG被关注的很多，然后就开始说DG。（TIPS：我自己做域相关的比较少，但是就我自己接触的时候，我印象里是DA也很多，特别是UDA，在医学上好像被用的很广泛）DG方案分为3类，数据增强，域不变表示学习，学习策略优化。（这么看确实DG比较多，毕竟基本已经是深度学习默认使用的方案了）
作者在通过观察后发现，如果训练集和测试集的每个域之间没有什么差异，那么域不变学习不但没用，而且会变差，数据增强和学习策略优化效果很好，然后说这些都可以从landscape的角度解释，帮助模型收敛到平坦最优，取得更好的泛化性。
然后一堆方法表明平坦的最小值会让泛化性更好。作者于是提出了一系列基于损失的学习策略，来让模型收敛到平坦值。其中包括了：（i）提出一种蒸馏微调范式（ii）用大学习率，然后用一种新的学习率调度器，ALRS来帮助收敛。（iii）把模型加宽得到改进模型（这里其实我有一些，小疑问的，我其实很少看这种方法很多的论文，因为很清楚的知道，一般来说，有好几个改进的原因，都是怕审稿人觉得方法太简单，不够novelty，所以往往会有一两个凑数的方案，不知道本文有没有这种内容）

创新点

  1. 论文从loss landscape的角度解释了DG方法work的原因
  1. 提出了一系列方法

Method

本文所谓的蒸馏微调范式，总共4步：1-正常训练一个分类模型。2-使用自蒸馏蒸一下。3-把分辨率调大再训一个分类模型。4-再自蒸馏蒸一下。每次训练都是从头开始训，学习率重置.(在22年的时候不清楚，现在的话，学习率慢慢方法其实是一个通用trick，关注挑战赛的应该能发现，十几个工作有大半都会用这个方式，同时经常用的还有例如，多teacher教学之类的方式)
自蒸馏没什么好说的，用下面的公式计算loss，然后更新就行了，借鉴MESA的方法。本文同时还用了EMA更新teacher
notion image
这里主要想提的是这个优化器，前面优化器为SGD，后面阶段是AdamW，看回答下面的大佬有提到，这个优化方案在SGD中会比较有效，AdamW效果貌似不佳。其更新方法如下所示，来自大佬在深度学习中，loss下降的快慢或者曲率（但最后收敛在同一水平）会对下游任务的性能有什么影响吗？回答下面的code

总结：

论文中的不少方式现在都已经属于训练的通用设置了，我就不怎么提了，刚好因为自己现在在做low-level，训练集和测试集只能说毫不相关，正好看见这个优化器，有种耳目一新的感觉，下午来尝试一下效果。我个人还是比较喜欢这种，简单有效的工作。相比许多理论一大堆，复现困难不说，还很难拓展应用到自己工作的论文，好上太多了
尝试了一下ALRS算法，由于我是在low-level上使用的，会遇到一个问题就是SGD基本不收敛，可以看到蓝色的是使用了SGDM优化的模型，而其他是正常AdamW的模型，loss上有着巨大的差距。无奈放弃。
notion image
]]> <![CDATA[[光流][ECCV2024 Oral]SEA-RAFT: Simple, Efficient, Accurate RAFT for Optical Flow]]> https://www.zeurd.com/article/zhihu-1969851071414375676 https://www.zeurd.com/article/zhihu-1969851071414375676 Thu, 06 Nov 2025 00:00:00 GMT
最近在看ICCV oral的时候，发现了一篇关于光流的paper，准备研读一下，就发现这篇SEA-RAFT是其前置base model，仔细一看还有点意思，并且其方案复现简单，就自己尝试了一下，确实有效，就想着写一篇文章简单介绍一下。
论文地址：

Motivation

作者提出了一种简单有效且准确的RAFT光流新方法。（没啥motivation，就是数值碾压）也符合CV会议的精髓，对于故事会的要求比ACL低多了。

Contribution

  • 作者提出了一个Mixture of Laplace Loss
  • 作者不是从0开始初始化，而是预测一个初始流来初始化
  • 使用了刚性光流数据集做预训练

Method

Mixture of Laplace Loss：
这个loss其实就是这篇论文性能提升的主要来源。loss的假设是，光流本身具有不确定性，导致很多时候存在模棱两可的光流，有时候位移一个像素是对的，位移两个像素也是对的，这时候如果强制使用L1去学习的话，可能会学会一个偏执的，过拟合于训练集的错误光流，导致结果在测试集上不鲁棒。
作者认为这种时候的分布是基于拉普拉斯分布的，于是作者在预测光流的2个通道的同时，还预测了4个通道，他们分别是b通道以及weight通道。其中b通道是拉普拉斯分布的参数b，weight是一个区分的通道。作者的解释是用单一的拉普拉斯分布效果不好，所以他们用了2个拉普拉斯。
打个比方来说，你在给同学批改作业，每道题都是一个像素的答案，和标准答案有误差。大部分题目清楚易判，错一点就该扣分，所以让严格老师的来评分，错一点就狠狠的罚。而对于困难的题目，本身就模棱两可，很难打死板的分，那就让宽容的老师来评分。但是我们也不知道到底哪个题目是清楚的，哪个是困难的，所以让模型自己学了一个，来使用softmax来决定让哪个老师评分，这就是weight通道。简单来说，weight通道决定了方向（严格还是宽容），而b通道决定了振幅。（有多严厉以及有多宽容）为了让数值稳定一点，作者还用了对数形式来约束b。
公式可以直接看论文，说白了就是两个拉普拉斯分布mask加权求和，没啥意思
notion image
notion image
这个loss的具体实现源码里有现成的，不过在模型的forward里，不大常规，当时看的时候找了有好一会。地址在这儿https://github.com/princeton-vl/SEA-RAFT/blob/main/core/raft.py 感兴趣可以自己看一下，实现起来挺简单的。
Direct Regression of Initial Flow：
其实介绍完了这个loss，这篇论文已经没啥东西了，这里有一个初始流回归，说白了就是原来要初始化一个全0的张量然后在上面做refine，现在直接不用初始化了，前面的网络直接预测一个初始化的光流，然后在上面refine，感觉上除了加快收敛速度，其他没啥效果，事实上我自己做光流一直都是直接预测的，没想到这也能成为一个contribution。
Large-Scale Rigid-Flow Pre-Training：
使用刚性数据集，这个contirbution就更奇怪了，说实话我有点get不到，在我理解里，就是用了一个比flychair更简单的数据集做预训练，然后逐步换数据集加难度。
光流任务经常有这种，先训A，再训B，然后训C这种训练方式，看了这么多论文其实我一直没get到到底和直接一起训有啥区别，反正我自己先xxx，再xxx，和两个一起训久一点，在自己的实验里没发现有什么区别过。可能是属于肉眼感知不到，结果数值有优化的trick吧

Conclusion

这篇论文就写完了，当时看了挺久，还上手实现了一下。确实属于简单有效的方法，尤其是4通道在推理的时候还能丢掉。不增加额外算力，属于是0代价提升性能了。
不过这篇论文其实也存在一些问题的，比如：这个loss说白了，就是加权算loss，只不过是逐像素加权罢了。那么让模棱两可的部分权重小了，如果这个模棱两可的地方正好很重要应该怎么办？毕竟工程不是写论文，真用起来可不是给甲方报个数字就行了。又比如，这个方法刚需光流gt，但是事实上大部分光流任务都是自监督无监督的，有监督gt的光流数据集真的不多，而且性能受限于gt光流也是一个问题。还有一个就是，raft的通病，开销比较大，端侧基本用不了。（今年ICCV要处理的问题，下篇讲）
]]> <![CDATA[[CVPR 2025 Best Paper]VGGT: Visual Geometry Grounded Transformer]]> https://www.zeurd.com/article/zhihu-1927029499431744954 https://www.zeurd.com/article/zhihu-1927029499431744954 Tue, 31 Mar 2026 00:00:00 GMT
最近在看图像深度相关的内容，就准备刷刷论文看一看，随便一搜，就看见这篇VGGT: Visual Geometry Grounded Transformer 拿了去年CVPR的best paper，吓了我一跳还以为是VGG又崛起了，又要make CNN great again了，赶忙下下来看了一眼，就浅浅略读一下。
本篇主要想用比较直白的话来讲述一下VGGT干了啥，怎么干，目标是让和我一样，没接触过这个方向的同学也能大致了解一下到底在干啥。有些细节可能了解的不是很到位，欢迎专门做3D重建的大佬指正。
顺带说一句，看完论文感觉真就突出一个力大砖飞，我还特意看了眼单位，meta的，看的时候我还以为是谷歌的呢。meta给llama4不行找到借口了，搁这儿训VGGT呢。

Motivation

VGGT的motivation非常简单易懂，就是传统三维重建太复杂了，极其依赖几何计算，即使是NN的方法也依旧需要大量的几何处理。所以VGGT的motivation非常直接，能不能用网络直接完成三维重建，避免复杂的几何运算。然后以此开始研究怎么端到端三维重建。

Method

VGGT的method在我这个外行看起来，其实相当简单，不知道是不是有什么在三维重建领域非常标新立异的方法，有懂的朋友也可以指出来。
Feature Backbone
简单来说， 就是使用了一个VIT的架构，使用 DINO 将每帧切成 patch-tokens，再把所有帧 token 串起来输入VIT网络。 同时，略微修改了一下VIT，引入了Alternating-Attention的机制，一层 Frame-wise SA，一层 Global SA，循环往复 24 次。
Prediction heads
网络的预测那更是直接一网打尽，把相机参数、深度图、点云图 及点轨迹一次全部出来。具体操作上，有趣的是每个token 队列都加了1个 Camera Token ＋ 4 个 Register Tokens，在输出的时候再把register token丢弃。而且只有第一帧用了一套可学习的Token，同时其他帧用另一套，显示的告诉模型从哪里开始。
然后就是各个种类的一预测头了，用4个注意力层最后做个先行曾得到相机参数预测，用DPT得到深度，点云图。用CoTracker2架构得到追踪特征。这个地方我感觉应该属于即插即用，随时可以替换成最新的sota任务的头然后fintune，以保持一个有竞争力的效果。

实验：

实验主要做了大量的实验，对自己每个头对应的任务进行了实验，结果么，一言以蔽之，赢麻了。
]]> <![CDATA[[量化]HAWQ]]> https://www.zeurd.com/article/zhihu-719063685 https://www.zeurd.com/article/zhihu-719063685 Mon, 09 Sep 2024 00:00:00 GMT
本文讲述了HAWQ系列的三部曲，HAWQ v1，v2，v3
论文名称：HAWQ: Hessian AWare Quantization of Neural Networks with Mixed-Precision (ICCV 2019)
HAWQ-V2: Hessian Aware trace-Weighted Quantization of Neural Networks (NeurIPS 2020)
HAWQ-V3: Dyadic Neural Network Quantization (ICML 2021)
项目地址：https://github.com/Zhen-Dong/HAWQ

故事会环节

大背景说一下就是模型越来越大，特别是输入分辨率越来越大，所以降低模型的大小提高速度非常重要，然后写了一堆现在大家怎么做的，其中一种方案就是量化。也就是本文的重点。然后指出来，所有的网络都量化到一个bit会降精度，所以提出混合精度量化，对敏感层用高精度，非敏感层用低精度。所以在V1当中，提出了整个系列的关键做法，使用海森矩阵，计算Hessian谱，确定量化水平。在V2当中，作者就V1中的一些不足继续补充。
V1存在几个缺点，（i） HAWQ 使用基于顶部 Hessian 特征值的启发式度量作为灵敏度的度量，它忽略了 Hessian 谱的其余部分;（ii） HAWQ 仅提供不同层的相对灵敏度，仍然需要手动选择混合精度设置;（iii） HAWQ 不考虑混合精度激活量化。为了解决这些问题，作者提出了V2，解决以上3个问题：（i）使用平均Hessian轨迹，而不是启发式算法。（ii）使用基于 Pareto-frontier 的方法自动确定不同层的位精度。（iii）开发了混合精度激活量化，提出了快速计算Hssian信息的方法，计算激活。
V2呢，当然也有几个缺点，（1）一个是虽然量化了，但是在推理过程中 的操作，还是一个浮点计算，在硬件上还是慢.（2）V2的Pareto-frontier在不同硬件上表现有差异。所以又提出了V3，解决这两个问题，（1）使用了移位操作来代替除法运算，使得整个网络是纯整数推理。（2）提出了使用一个整数规划来通过求方程得到到底解决到底使用什么精度配置的问题。

创新点:

总结三篇论文，最终能用的创新点其实是如下几个，其中有一些创新点已经被迭代掉了。
  1. 使用平均Hessian轨迹来计算层的灵敏度。（V2）
  1. 使用了移位操作来代替除法运算，使得整个网络是纯整数推理（V3）
  1. 使用整数规划来确定到底哪些层4bit，哪些层8bit

Method

对于已经被迭代掉的方法暂且放下不提，本文只考虑最后被应用的方法。

平均Hessian轨迹

这个证明非常长，作者写了2页纸来证明这个公式，有兴趣的小伙伴可以自行去论文阅读。虽然读了貌似也不大明白，建议直接看代码，比推理看着好理解多了。
经过一个很长很长的公式推理之后，论文得出了平均Hessian轨迹
notion image
近似一下，估算的公式可以被看做是
notion image

纯整数推理

简单来说，就是把一个 的值，用 毕竟，然后作为scale，优点是真的快，因为没有除法而且是纯整数。缺点是会进一步掉精度。
notion image

量化层选择

这一点简单来说，就是把一个模型部署在一个设备上，必然有权重大小，推理延迟，带宽限制。说白了就是前面用Hessian矩阵计算了灵敏度，得到了一个层从重要到不重要的排序，但是中间的临界点在哪里，那就说不准了。所以作者说，很科学，要使用一个整数规划，去计算不同层的权重大小，推理延迟，带宽限制。然后如下所示，通过解一个整数规划来计算到底哪些层用4bit，哪些用8bit
notion image

总结：

作者的核心观点在于一个假设，就是通过Hessian矩阵轨迹，可以得到一个层的灵敏度，从而得出哪些层可以用低精度，哪些需要高精度。之后的一系列改进，都是在这个基础上，怎么更快，怎么更准。于是设计了纯整数量化，做整数规划等等。本文最大的价值其实在我看来反而是最后一个，考虑到了工程部署的问题，学界做的真的能落地能应用的东西真的太少了。
]]> <![CDATA[[多任务学习][NIPS2020]Gradient Surgery for Multi-Task Learning]]> https://www.zeurd.com/article/zhihu-14457677240 https://www.zeurd.com/article/zhihu-14457677240 Tue, 24 Dec 2024 00:00:00 GMT
最近在跑模型的时候，遇到了个问题，单独训练A loss ，模型可以达到想要的性能，训练B loss，也可以达到想要的性能，但是当A和B一起的时候，就两个任务都达不成了。搜了搜这个方向的论文，发现了这篇一千都引用的paper，试了一下，确实有点作用，故而记录一下。

论文题目：Gradient Surgery for Multi-Task Learning

代码地址：https://github.com/tianheyu927/PCGrad

因为是用于训练的论文，这里就不说很多有的没的故事了。简单来说，就是当发现在跑多任务的时候，如果发下任务冲突（文中的判断方式是余弦相似度为负）。那么就不能正常训练了。于是作者想了个办法，就是在传梯度的时候，对梯度做点小手术，把负向的梯度向下图所示，投影到正向上，这样不就余弦相似度是正的了么。然后试了一下，效果确实还挺管用。
notion image
公式1
公式1
论文的方法核心就是用公式1来解决梯度冲突的问题。不过官网的代码是tf的版本，我自己手写了一个pytorch的，方便使用。
上面代码是根据tf的代码化简写的，和本体可能有一定出入，仅供参考。
不过在使用pcgrad的时候，也是遇到了一些问题，特别的有下面2个点
  • 对于多任务，作者代码中使用的是随机选取主任务然后对其他做梯度手术，但是一般做多个loss的时候，其实是有主导性的，哪个loss比较重要，哪个没这么重要，都有说法，直接随机可能导致最重要的任务训练不充分。
  • 在做梯度手术的时候，对于内积为正，余弦方向相同的loss作者选择的是直接舍弃。但是就算方向完全相同，也不代表另一个loss不需要了，如果不加就能达成目的那根本就不需要多出来这额外的loss。这可能导致有些loss一直得不到优化。
后续准备再看看改进，有没有更好的解决方案吧，不过这篇论文工作确实不错，方法简单好用，值得推荐
]]> <![CDATA[如何从0开始，学习AI（二）]]> https://www.zeurd.com/article/zhihu-2426588400 https://www.zeurd.com/article/zhihu-2426588400 Tue, 22 Oct 2024 00:00:00 GMT
最近忙着做项目，一直没时间更新，今天抽出点时间写一下第二节。
在上一节 如何从0开始，学习AI（一）中，我大概阐述了一下应该如何入门机器学习，深度学习算法，以及如何入门AI的代码，并讲述了到什么程度，就叫入门了。在本节中，我会讲述应该如何从0开始，去阅读一篇论文，以及到底应该阅读哪些论文。

如何选择阅读的论文

在人工智能领域，论文数量浩如烟海，每天arxiv上更新的论文，就算一个人不吃不喝不睡，也不可能读的完。所以我们在阅读论文的时候，必然需要进行有选择性的阅读，才能在有限的时间里，吸收到足够的信息。
而关于论文阅读的目标，一般来说其实分为2个方向，一个是找灵感，一个是学写作。
找灵感说白了，就是找idea，如果没有老师给你安排idea的话，基本idea就是自己看论文找的了。而且这其实也是日后，不管是自己做科研，还是从事算法工作，最重要的能力。网上能看见很多博士论文发不出来，说白了就是硕士的时候，老师帮助太大，可能自己就读了几篇论文，老师直接丢给他一个课题他照着做，做完把结果写成论文，然后老师改完就中了所谓的顶会，申请读了博士。但是其实他自己压根没有独立发现问题，解决问题，找到灵感的能力，在读了博士之后，甚至教职之后，需要自己做科研的时候，就发现脑袋空空。
另一个就是学习写作，事实上，一篇论文能不能中，很大程度取决于你的写作水平，我自己在当时刚开始写作的时候，投的NIPS，然后在review阶段就被审稿人痛骂，说是虽然想法很新颖，实验结果很solid，但是这篇论文的写作让他怀疑实验结果的真实性，然后就低分out了。说白了，因为AI论文本身的验证，特别是现在LLM，验证成本以及难度很高，所以审稿人在审稿的时候，判断你的论文真实性最重要的依据，一个是你的idea的逻辑链条听起来是不是符合审稿人的认知，另一个则是你的写作水平，反应出的科学素养。
那么到底要如何选择，能帮助找灵感，提升写作能力的论文呢？

找灵感

对于找灵感的论文，总共分为两步
  1. 找到准备做的方向
  1. 大量阅读相关顶会的工作
第一步，也是最重要的，要找到一个自己准备从事的方向，组里有传承，就在组里传承的基础上接着做，如果组里没传承，需要自己找方向的，那就根据自己能得到的计算资源来选择研究方向。有传承的不谈，我只能留下羡慕的泪水，本文主要针对的是没有传承的同学。对于没有传承的同学来说，最重要的就是估算自己能调度的计算资源，然后选一个稍微热门一点的方向来做。
计算资源的原理很简单，你只有一块4090，甚至3090的卡，你妄想去做LLM相关的工作，这不是老寿星吃砒霜么？你的计算资源直接决定了你能做啥，至于怎么判断，每一篇论文的实验设置部分，都会写论文的显卡配置，找自己能承受的来。
至于选热门的方向，这个就仁者见仁了，AI领域有很多占山头的情况，那种冷门的小方向，很有可能整个方向都被某个组包圆了，只有他们自己在做，审稿的时候大家一看标题可能就大概知道是不是哪个组做的了，那你一个圈外人想发，难度就很大了。但是热门方向，就要考虑有没有可能做的人很多，你的一个idea有可能有很多组在和你一起做，最后就是分秒必争了。
典型的就是只要一个新的backbone出来，那关于它的，下游迁移，各种常规轻量化改造，马上就会在一两个月，两三个月内被人写了发arxiv抢山头。你出了xxx，明天就已经有人新建latex在准备mobilexxx，shufflexxx，resxxx，xxx for seg，xxx for detection，就都出来了。虽然没啥营养，但是确实能发呀，而且这种没啥营养的论文，万一这个backbone后来火了，他们也能分一杯羹，引用就高了。这就和打个王者，出一个新英雄就开始一堆主播冲国服，一般都不是技术主播，但是没事，新的英雄国服分低，比的是速度不是实力，最后这英雄出久了，他们小国都进不去，但是不要紧，历史标记是国标了已经。
在找到了方向之后，那就要开始大量的阅读顶会里的相关工作了。一开始建议读relate-work，一般如果是负责的论文，会把到底这篇论文为啥这么做，是从哪些工作找的灵感，都写的很清楚。当然，也有不负责的，比如中科大前两天不报出来说ICLR被评价为抄袭desk reject，部分原因就是因为relate-work直接照抄的，非常偷懒。评判这种其实也很简单，你看一下它的写作脉络，有没有那种娓娓道来的感觉，还是无脑的xxx用了xxx，xxx用了xxx，其实还挺明显的，多看几篇就知道了。了解整个脉络之后，就开始读这些论文的intro，看看他们领域里有什么问题，他们找到了什么问题，怎么解决的。
如果准备做小创新，那就沿着别人的思路做，看论文解决了问题之后，还有哪里不足，然后再想想怎么改。如果做中创新，那就是这个领域有什么问题，他这么做解决了，但是这么做不行，自己提出一个解决方法。如果要做大创新，那大哥应该不需要看我的入门，毕竟我自己好像也没做出过啥创新来。
在找到灵感之后，那就需要开始读提升写作能力的论文了。

学写作

很多朋友其实会很疑惑，学写作和找灵感，都是读论文，有区别么？为什么要分开说？这其实就涉及到一个准备发啥的问题。
因为很多同学的学校，是不认会议的，CVPR=EI会议＜SCI4区的事情在我们AI领域的学校里时有发生，你费劲巴拉好不容易发了一篇会议，结果发现评奖学金不认，毕业不认，那不尬住了？所以学习写作，最重要的还是要找到目标期刊。你要投会议，里面也差别很大，比如ICLR今年是10页，AAAI就只有6页还是7页，ICASSP更是只有4页，而期刊更是普遍不限制页数，只要你付得起版面费，那你写多少都行。版面能放多少东西，直接决定了你要写多少，论文每一个部分的轻重缓急，都不一样，需要对着你的目标会和目标期刊，从那里面找论文，然后学习写作，才有实际意义。更有甚者，我还遇到过实验室有人，投了个3区想水一篇，结果审了好几个月被打回来，因为写太好审稿人让转投更好的期刊的，结果一审又是几个月，浪费了大量时间。最后在毕业答辩前看看收到录取通知，当时他都已经写好中文核心准备投中文保毕业了，可想而知选错的代价有多大。

如何选择阅读的论文

在选择好自己要读的论文后，自然就要开始具体的读论文，这里又分成了几个部分，分别是关于每一块的阅读的侧重点。abs暂且不谈，主要是为了让你了解这篇论文是干啥的，有没有点进去的必要，属于必须通篇阅读的东西。其他的大致分为Introduction，Relate-work，Method，Experiment几个部分，其他有各种写法的，大致都可以归结到这里面去。

Introduction

Introduction可以说是一篇论文最重要的部分，一篇好论文的Introduction，可以非常清晰的勾勒出作者在思考这篇论文的时候的想法。论文的背景是什么？在这个背景下有什么问题？前人是怎么解决问题的？还有哪些不足?作者提出了什么解决了这些不足？大抵上是这样的一个流程。
阅读一篇introduction，最关键的部分，也就是上述问题之间的逻辑衔接了，背景问题不足这些东西阐述的是否有一个完整的逻辑链条，自己的方法是否真的解决了自己提出的问题，这些都是Introduciton需要考虑的，我们阅读一篇Introduction也正是如此。而判断一篇工作到底是不是有意义足够优秀，其实也主要看的是这些。别人在找论文的时候，第一个看到就是你提出的现在有的问题是不是别人遇到的问题，如果正好是，那你工作的意义就出来了。其次就是看有没有有效，如果正好有效被别人采用了，那就是一篇论文最大的贡献。但是如果一篇论文，它的大背景接的问题和背景没关系，问题也不是这个领域真的存在的问题，那大概率就是一篇不怎么样的论文。

Relate-work

Relate-work主要是阐述一下作者是通过哪些工作得到的灵感，顺便给不是很了解这个领域的人了解一下大致情况，如果已经很熟悉了，我自己感觉可以不看。

Method

论文的method部分，一般是在论文精读的时候看，我个人不是很赞成每篇论文的Method都看，因为这其实是一篇论文里看起来最费时的事，展现了论文具体是怎么实现的。就我个人习惯来说，我会现在Introduction，如果我觉得这篇论文是对我有帮助的，我才会看一下论文的Method，看下具体是怎么做的。同时还得看看abs有没有提供代码，如果没有代码，method又写的很抽象的，我也一样不看，因为我知道可能复现起来比我自己想一个写还累，同时还不一定真的有用，但是如果有代码，对照着代码看method，理解起来会方便很多。（当然，那种屎山代码，看了半天连作者Idea写在哪儿都不知道的除外）

Experiment

实验部分我问过好几个朋友他们是怎么看的，问下来的结果大差不大，直接看图看表就行了，文字部分其实没有那么重要，大部分都是对表格内容的阐述。
但是一篇论文看到Experiment，必须要有的一个概念就是，你需要对论文的实验结果有一个大概的预期，然后看实验部分来印证一下自己的预期，或者说，让你自己来设计实验，你会怎么设计？这比如我在Introduction的时候看论文说，做的轻量化工作，或者降低了内存开销，那就会着重看实验部分里这些内容的实验，有没有符合我心里的预期，或者结果怪不怪。前几天就遇到了一篇做降低内存开销的paper，结果实验通篇在测准确率，我就有点无语，是因为和刷点的比准确率比不过，所以换个赛道比么？但是人家做轻量化的也没一定要准确率呀，估计是两头都不拔尖，所以选择不比了。这种工作大概率就不是很硬。但是如果你对论文在读到这儿没有一个自己的预期的话，那就发现每篇论文结果都是最好的，实验看不看都一样，毕竟不好的结果他也不可能放出来。

小结

读论文的方法大概总结到这儿，如果能从浩如烟海的论文中找灵感，学写作，然后对一篇论文能有自己的理解与解释，我个人认为阅读论文的能力就已经非常可以了。下一期，看后续忙不忙吧，可能会出如何写作，也可能就懒更了，继续记录自己看的论文，看心情哈哈。确实感觉上班不比上学的时候松弛了，可惜没念个博，以后看机会能不能念一个哈哈哈
]]> <![CDATA[[降噪][ECCV 2020]Practical Deep Raw Image Denoising on Mobile Devices]]> https://www.zeurd.com/article/zhihu-716143319 https://www.zeurd.com/article/zhihu-716143319 Fri, 23 Aug 2024 00:00:00 GMT
论文题目：Practical Deep Raw Image Denoising on Mobile Devices

故事会环节：

传统的去噪网络很难在移动设备上部署，所以设计了一个能在一动设备上部署使用的轻量化去噪模型。（过去模型呢，需要在不同噪声水平训练不同的模型使用，不然盲降噪性能很差），本文使用了k-sigma变换将不同的ISO变换到一个空间。性能达到了sota

创新点

  1. 这是旷视出的用于商业的模型，确实能用（能用在水文漫天的AI领域里也算重中之重了）
  1. 提出了一个k-sigma变换，用来把不同水平的噪声归一化到同一个域里面，用一个模型解决不同的噪声问题
  1. 提出一个轻量化的网络

k-sigma变换：

notion image
这里对于具体的证明过程就不细说了，文章中写的很细，细到从光子成像开始说了都，可以好好的去读一下。简单来说就是作者通过对高斯泊松噪声的分解，分析，标定，简化，得到了一个结论，k与sigma只和g相关，g是由ISO决定的，通过k-sigma变换，可以把噪声建模成一个和ISO无关的表示，从而把不同等级的噪声放到一个网络里去训，做到盲降噪。

网络结构：

网络具体结构如下：
a图为整体网络结构，b图为一些块的具体细节
a图为整体网络结构，b图为一些块的具体细节
简单来说，就是一个经典的U-net架构（虽然基本上像素级任务都是这么个架构）特点是加上了一个Sep block，用了个5×5的卷积核增加了点感受野。在长连接的时候也进行了一些操作，没有直接加上来，但整体大差不差把，把身子缩小把支路放大的操作。

总结：

总结来说，这篇论文最大的创新点就是提出了一个k-sigma变换，把不同噪声放到同一个域里，至于网络结构，只能说U-net NB吧，不过k-sigma变换是基于高斯泊松噪声的前提推导的，如果噪声标定不是用的这种方式，或者直接就是真实噪声，不确定效果
]]>