人工智能

模型已经越来越强了。我更期待的下一步，是我和它一起做过的事情，真的能让下一次变得更容易。

AI Coding 在工程任务中已经非常成熟，但科研没有明确的预期输出，也缺少可以直接验收结果的单元测试。AI 可以辅助实验，研究员仍然必须对代码、结果和结论负责。

因为要给 VLM 新增一个标记 token，重新梳理 BPE、Unigram、词表大小、embedding tying、packing，以及新增 token 在 LoRA 训练里的处理。

最近因为 GPT-5.5 太牛了，我开始翻了一些 LLM 和 VLM 相关的论文。与此同时，我又分别和不同朋友聊到了同一个问题，结果得到了两个截然相反的结论。这让我非常好奇，也产生了一些新的思考。 先叠个甲。 我本人没有训练过 LLM 和 VLM，对这个方向的认知基本…

最近 AutoResearch 的风很大。 大到什么程度呢。 打开知乎，全网都在吹。 从 Karpathy 的 AutoResearch ，到清华的 AutoSOTA，再到各种二创解读，整体画风基本就是一句话，AI 负责科研，你负责睡觉。 我第一次看到这个说法的时候，说实话，心里是有点慌的。…

最近在看图像深度相关的内容，就准备刷刷论文看一看，随便一搜，就看见这篇 VGGT: Visual Geometry Grounded Transformer 拿了去年CVPR的best paper，吓了我一跳还以为是VGG又崛起了，又要make CNN great again了，赶忙下下来看了一眼，就浅浅略读一下。本…

这两天不知道为什么，天天能刷到opecnclaw，然而因为工作比较忙，懒得配置环境，所以看见kimi出了claw，免配环境，就花了199订阅了一个月试了一下。说实话很肉疼，我的gpt plus才160块，国产ai都已经贵的这么离谱了么。 配置：配置起来，确实非常方便，冲完…

最近在看ICCV oral的时候，发现了一篇关于光流的paper，准备研读一下，就发现这篇SEA-RAFT是其前置base model，仔细一看还有点意思，并且其方案复现简单，就自己尝试了一下，确实有效，就想着写一篇文章简单介绍一下。 论文地址： https://arxiv.org/abs/2405.14793Moti…

最近rebuttal nips的时候遇到了review全改分成正分还被拒稿的情况，和朋友聊天发现他们即使有负分也有时候会得到ac青睐被录用，仔细交流之后，发现自己曾经对rebuttal的认知，可能存在一些误解，所以在此记录并分享一下rebuttal到底应该如何做。 最近在 NIP…

大家好久不见！评论区有不少朋友催更，希望能更新一些模型轻量化，low level方面的内容。但是最近投稿屡投不中，刚刚NIPS正分被拒，AAAI被一轮因为奇葩理由拒稿，眼看就要全聚德，搞得我有点无心算法。所以这次不聊技术，单纯唠唠嗑，分享一下自己最近对AI…

从 FlowNet 到 IRR-PWC，记录六篇光流论文的核心结构和关键消融，补充训练数据、参数量与 benchmark 对比。

这两天看了下 @墨天明 大佬推荐的去年的最新工作，论文全称叫做Physics-guided Noise Neural Proxy for Practical Low-light Raw Image Denoising，是噪声建模方面的工作，自己之前的噪声建模就是参考的大佬的ELD以及PMN，看见新工作立马来拜读一下。看本博…

最近在跑模型的时候，遇到了个问题，单独训练A loss ，模型可以达到想要的性能，训练B loss，也可以达到想要的性能，但是当A和B一起的时候，就两个任务都达不成了。搜了搜这个方向的论文，发现了这篇一千都引用的paper，试了一下，确实有点作用，故而记录一…

这应该也是最后一期了，主要讲一下在找到了自己的idea之后，如何去写一篇属于自己的论文。至于到底如何做工业落地实践，这个我自己还在摸索阶段，按下不表了就。 Experiments和阅读论文的顺序以及侧重不同，在做一篇论文工作的时候，首先第一个就是要根据id…

最近忙着做项目，一直没时间更新，今天抽出点时间写一下第二节。 在上一节 如何从0开始，学习AI（一）中，我大概阐述了一下应该如何入门机器学习，深度学习算法，以及如何入门AI的代码，并讲述了到什么程度，就叫入门了。在本节中，我会讲述应该如何从0开始…

一直以来，虽然我自己一直在从事AI的学习，以及AI的工作，但是其实一直都和很多朋友唱衰AI，因为我自己的学校不好，不如那些好学校的学生靠学校就可以进各种面试，然后刷刷题就能获得一份算法的工作，为了能从事算法这个行业，需要付出多少只有自己清楚。 …

论文题目：Robust Image Denoising through Adversarial Frequency Mixup代码地址：https://github.com/dhryougit/AFM 故事会环节：一上来先说说大背景，图像去噪取得了巨大的成功，然后说传统的去噪网络用噪声标定的方式训练。提出问题：这些噪声标定和真实世界并不一…

起因是在上班刷知乎的时候看见了 @虚无 大佬的关于一个优化器损失调整方面的回答，感觉还挺有意思的，准备记录一下，下午工作的时候尝试一下。论文名称： Bootstrap Generalization Ability from Loss Landscape Perspective故事会环节在做深度学习的时候，…

论文名称： Simple Baselines for Image Restoration代码地址： github.com/megvii-research/NAFNet 故事会环节：在图像复原领域，深度学习方法很好用，在SIDD和GoPro上都取得了成功（写这个那大概率就是后面的对比数据集了）。然后就开始写，尽管方法好用…

论文题目： BlazeBVD: Make Scale-Time Equalization Great Again for Blind Video Deflickering 故事会环节：这篇文章的故事首先从标题开始,看完题目就想大喊一声maga，感觉比之前的bert，eva啥的还有梗。 然后就是正常的讲故事了，视频在现代社会很重要，…

论文题目： Practical Deep Raw Image Denoising on Mobile Devices故事会环节：传统的去噪网络很难在移动设备上部署，所以设计了一个能在一动设备上部署使用的轻量化去噪模型。（过去模型呢，需要在不同噪声水平训练不同的模型使用，不然盲降噪性能很差）…

论文题目： CVPR 2019 Open Access Repository代码地址为： https://github.com/IDKiro/CBDNet-pytorch故事会环节：过去的方法使用高斯噪声建模进行噪声数据合成，但是这是不对的。于是我们使用了高斯泊松噪声进行噪声建模。同时，由于高斯泊松噪声也不能完全表征真实数据，于是…