一个面向 AI / 算法 / 视觉系统 / 工程实践的研究笔记站。

老登还是小登？

科研没有单元测试，AI 也替代不了研究员

给 VLM 加一个标记 token，顺便补了下 tokenizer

上海吃饭清单

科技抱团掩盖了熊市真相

突然有点理解 LeCun 为什么喷 LLM 了

看完爆火的 AutoResearch，饭碗暂时保住了

[CVPR 2025 Best Paper]VGGT: Visual Geometry Grounded Transformer

Kimi Claw使用感受-----不建议任何人使用

[光流][ECCV2024 Oral]SEA-RAFT: Simple, Efficient, Accurate RAFT  for Optical Flow

AI会议Rebuttal技巧

关于人工智能未来发展的一点思考

光流估计论文阅读小结

浅谈降噪轻量化

[降噪][论文解读]PNNP

[多任务学习][NIPS2020]Gradient Surgery for Multi-Task Learning

浅谈图像降噪

如何从0开始，学习AI（三）

如何从0开始，学习AI（二）

如何从0开始，学习AI（一）

[降噪][CVPR 2024]AFM

[优化][ECCV 2022]Bootstrap Generalization Ability from Loss  Landscape Perspective

[量化]HAWQ

Github

模型量化学习-权重打包

模型量化学习-线性量化

[降噪][TSMC 2024]HWformer

[降噪][ECCV 2022]NAFNet

[盲去闪烁][ECCV 2024]BlazeBVD

[降噪][ECCV 2020]Practical Deep Raw Image Denoising on Mobile Devices

[降噪][CVPR2019]CBDNet

知乎

科技回撤三十个点以后，我重新想了一遍老登与小登的区别，以及为什么现阶段仍然更愿意留在科技里。

AI Coding 在工程任务中已经非常成熟，但科研没有明确的预期输出，也缺少可以直接验收结果的单元测试。AI 可以辅助实验，研究员仍然必须对代码、结果和结论负责。

因为要给 VLM 新增一个标记 token，重新梳理 BPE、Unigram、词表大小、embedding tying、packing，以及新增 token 在 LoRA 训练里的处理。

指数被 AI 与科技权重托住，并不代表市场已经进入牛市。真正值得观察的，是板块轮动、赚钱效应，以及传统消费资产何时重新获得宏观支撑。

最近因为 GPT-5.5 太牛了，我开始翻了一些 LLM 和 VLM 相关的论文。与此同时，我又分别和不同朋友聊到了同一个问题，结果得到了两个截然相反的结论。这让我非常好奇，也产生了一些新的思考。 先叠个甲。 我本人没有训练过 LLM 和 VLM，对这个方向的认知基本…

最近 AutoResearch 的风很大。 大到什么程度呢。 打开知乎，全网都在吹。 从 Karpathy 的 AutoResearch ，到清华的 AutoSOTA，再到各种二创解读，整体画风基本就是一句话，AI 负责科研，你负责睡觉。 我第一次看到这个说法的时候，说实话，心里是有点慌的。…

最近在看图像深度相关的内容，就准备刷刷论文看一看，随便一搜，就看见这篇 VGGT: Visual Geometry Grounded Transformer 拿了去年CVPR的best paper，吓了我一跳还以为是VGG又崛起了，又要make CNN great again了，赶忙下下来看了一眼，就浅浅略读一下。本…

这两天不知道为什么，天天能刷到opecnclaw，然而因为工作比较忙，懒得配置环境，所以看见kimi出了claw，免配环境，就花了199订阅了一个月试了一下。说实话很肉疼，我的gpt plus才160块，国产ai都已经贵的这么离谱了么。 配置：配置起来，确实非常方便，冲完…

最近在看ICCV oral的时候，发现了一篇关于光流的paper，准备研读一下，就发现这篇SEA-RAFT是其前置base model，仔细一看还有点意思，并且其方案复现简单，就自己尝试了一下，确实有效，就想着写一篇文章简单介绍一下。 论文地址： https://arxiv.org/abs/2405.14793Moti…

最近rebuttal nips的时候遇到了review全改分成正分还被拒稿的情况，和朋友聊天发现他们即使有负分也有时候会得到ac青睐被录用，仔细交流之后，发现自己曾经对rebuttal的认知，可能存在一些误解，所以在此记录并分享一下rebuttal到底应该如何做。 最近在 NIP…

大家好久不见！评论区有不少朋友催更，希望能更新一些模型轻量化，low level方面的内容。但是最近投稿屡投不中，刚刚NIPS正分被拒，AAAI被一轮因为奇葩理由拒稿，眼看就要全聚德，搞得我有点无心算法。所以这次不聊技术，单纯唠唠嗑，分享一下自己最近对AI…

从 FlowNet 到 IRR-PWC，记录六篇光流论文的核心结构和关键消融，补充训练数据、参数量与 benchmark 对比。

Introduction在上个月的时候，谈了一下自己做了半年图像降噪任务的感想 浅谈图像降噪，正好最近在做降噪模型的落地轻量化，也接近年关，写个随笔谈谈自己的工作和感想。在轻量化的领域里，最经典的几个方法，基本不外乎以下几个： 知识蒸馏量化剪枝重参本文…

这两天看了下 @墨天明 大佬推荐的去年的最新工作，论文全称叫做Physics-guided Noise Neural Proxy for Practical Low-light Raw Image Denoising，是噪声建模方面的工作，自己之前的噪声建模就是参考的大佬的ELD以及PMN，看见新工作立马来拜读一下。看本博…

最近在跑模型的时候，遇到了个问题，单独训练A loss ，模型可以达到想要的性能，训练B loss，也可以达到想要的性能，但是当A和B一起的时候，就两个任务都达不成了。搜了搜这个方向的论文，发现了这篇一千都引用的paper，试了一下，确实有点作用，故而记录一…

Introduction在工作之后接触的主要任务就是做图像的降噪任务，然后发现一个很让人痛苦的点，就是工业场景中的降噪，和论文中的降噪，存在非常大的割裂，这其中的割裂之大甚至感觉到了两个领域，导致自己吃了不少亏。所以准备单开一章，记录一下自己对于图像…

这应该也是最后一期了，主要讲一下在找到了自己的idea之后，如何去写一篇属于自己的论文。至于到底如何做工业落地实践，这个我自己还在摸索阶段，按下不表了就。 Experiments和阅读论文的顺序以及侧重不同，在做一篇论文工作的时候，首先第一个就是要根据id…

最近忙着做项目，一直没时间更新，今天抽出点时间写一下第二节。 在上一节 如何从0开始，学习AI（一）中，我大概阐述了一下应该如何入门机器学习，深度学习算法，以及如何入门AI的代码，并讲述了到什么程度，就叫入门了。在本节中，我会讲述应该如何从0开始…

一直以来，虽然我自己一直在从事AI的学习，以及AI的工作，但是其实一直都和很多朋友唱衰AI，因为我自己的学校不好，不如那些好学校的学生靠学校就可以进各种面试，然后刷刷题就能获得一份算法的工作，为了能从事算法这个行业，需要付出多少只有自己清楚。 …

论文题目：Robust Image Denoising through Adversarial Frequency Mixup代码地址：https://github.com/dhryougit/AFM 故事会环节：一上来先说说大背景，图像去噪取得了巨大的成功，然后说传统的去噪网络用噪声标定的方式训练。提出问题：这些噪声标定和真实世界并不一…

起因是在上班刷知乎的时候看见了 @虚无 大佬的关于一个优化器损失调整方面的回答，感觉还挺有意思的，准备记录一下，下午工作的时候尝试一下。论文名称： Bootstrap Generalization Ability from Loss Landscape Perspective故事会环节在做深度学习的时候，…

本文讲述了HAWQ系列的三部曲，HAWQ v1，v2，v3 论文名称： HAWQ: Hessian AWare Quantization of Neural Networks with Mixed-Precision (ICCV 2019) HAWQ-V2: Hessian Aware trace-Weighted Quantization of Neural Networks (NeurIPS 2020) HAWQ-V3: Dyad…

资料来源： https://www.deeplearning.ai/short-courses/quantization-in-depth/权重打包是由于当前的pytorch并不支持int4以下的精度，所以需要用一种别的方式，用8bit的形式来保存4bit，8bit的值。说白了，顾名思义，打包就是两个4位打包成一个8位，4个2位打包成一个8位，用一个值代表几个值。 def pack…

资料来源： Quantization in Depth - DeepLearning.AI， zz123211投稿视频-zz123211视频分享-哔哩哔哩视频由于工作需要进行模型量化，此前从未接触过相关工作，只得从头学起，简单记录一下学习经过，首先，从线性量化和pipeline开始。一开始看的是吴恩达的…

论文名称： Heterogeneous window Transformer for image denoising代码地址： https://github.com/hellloxiaotian/HWformer 故事会环节：上来先讲图像去噪的定义，然后经典传统算法怎么样，深度学习怎么做。然后着重引出使用Transformer的图像去噪是怎么做的，分为长距离。（虽然…

论文名称： Simple Baselines for Image Restoration代码地址： github.com/megvii-research/NAFNet 故事会环节：在图像复原领域，深度学习方法很好用，在SIDD和GoPro上都取得了成功（写这个那大概率就是后面的对比数据集了）。然后就开始写，尽管方法好用…

论文题目： BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video Deflickering 故事会环节：这篇文章的故事首先从标题开始,看完题目就想大喊一声maga，感觉比之前的bert，eva啥的还有梗。 然后就是正常的讲故事了，视频在现代社会很重要，…

论文题目： Practical Deep Raw Image Denoising on Mobile Devices故事会环节：传统的去噪网络很难在移动设备上部署，所以设计了一个能在一动设备上部署使用的轻量化去噪模型。（过去模型呢，需要在不同噪声水平训练不同的模型使用，不然盲降噪性能很差）…

论文题目： CVPR 2019 Open Access Repository代码地址为： https://github.com/IDKiro/CBDNet-pytorch故事会环节：过去的方法使用高斯噪声建模进行噪声数据合成，但是这是不对的。于是我们使用了高斯泊松噪声进行噪声建模。同时，由于高斯泊松噪声也不能完全表征真实数据，于是…