Leveraging CORAL-Correlation Consistency Network for Semi-Supervised Left Atrium MRI Segmentation

博主： tony102
发布时间：2024 年 11 月 16 日
202 次浏览
2 条评论
4102字数
分类：资料深度学习

## 前言

这是我的第一篇工作，开始于 2024 年 1 月 4 日。当时苏老师喊我过去开组会，中午和师兄师姐一起吃了午饭（吃白食当然是很开心），走的时候苏老师让我下午一点去办公室。

苏老师说，3月8日有一个 MICCAI 的 DDL，让我冲一冲赶一赶。当时我还不知道什么是 MICCAI。当时我还刚刚看完    UMich eecs 498-007 / 598-005: Deep Learning for Computer Vision 的 CNN。心里很慌，但又感到十分的激动。决定挑战自己一下，就答应了下来。

当时距离 DDL 大概是两个月左右，先花了两周的时间迅速过完了那门课的所有内容。然后开始着手于选题。

现在回过头来看，真得好好感谢当时的自己。选择>>>>>>>>>>>努力。具体来说，我当时的方法论是这样的：

- 第一次做，不选新任务做，选**成熟的任务做**。这样之前的工作多，可供参考的文章、代码都丰富。
- **尽量选择比较简单的 Backbone/Framework。**

对于第一个问题，我选择了 Segmentation 这个任务来做。对于第二个问题，很幸运的是时至今日医疗图像分割的主流还是 U-Net ，一个以 CNN 为基础的模型。

因为当时对科研的流程是什么样的完全不了解，所以纯粹是无头苍蝇到处乱创。所以又有了方法论3。其实不是我的方法论，是雷神的：

> 世界上 $99\%$ 的问题都有标准答案，找个懂的人问问。

所以当时我找到了我的师兄润林，和系里技术最最最最好的伍导求教。

当时苏老师给的建议是，**如果实在是找不到创新点，就看图有什么缺陷。但是一个问题是，当时我基本没有怎么看过文章，也没有见到过真的 MRI，所以盯帧也看不出个所以然出来。**结论是，还是**从自己熟悉的领域出发**。于是，我决定先看几篇文章，从算法的缺陷上突破。

因为当时看文章速度太慢了，所以这篇文章初期开工的时候，我其实只看过两篇文章。一篇是 MICCAI 的 SS-Net，还有一篇也是 MICCAI 的 CAML。**这就不得不感谢一些当时我的运气了，这两篇文章有用相同的数据集做测试**。于是乎，先找苏老师要了卡（哎哟给我爽到了，两张 A100 轮上寒假大家工作强度不高的时候天天独享），把代码数据集弄下来，有的地方还跑不通。魔改了两三天终于是通了，有一些组件因为当时还不知道怎么配环境，所以有一些组件是手写的（乐）。有的觉得源代码实现的比较糟糕的地方，被我自己实现了一下。最后训练出来直接涨点了（难绷）。

后来就是花了一周的时间构思了一些创新点（都写在 Paper 里面了）。整个过年都在做实验（大年夜还在让卡加班真是辛苦它了）。

想起来，现在的自己也没有，可能以后也没有这样的激情在大年夜跑实验了。等哪一天我有顶会的水平了，可能会有吧。

接下来就是比较痛苦的一个环节，写 Paper。因为完全没实战过 Academic Writing，写作水平不佳。我当时写的是 Method 部分，因为这一部分的~故事性~ 不强，主打的是把方法讲清楚。所以基本对着别的文章讲方法的流程讲了一遍。

好不容易花了一周把 Paper 写完了，交给苏老师看，结果是基本要大修。从标题到摘要，以及 Introduction ，全部都得推倒重来。因为当时不知道串联的两个组件应该怎么做消融实验，所以当时的文章是没有消融实验的（这也为第一次投稿被拒绝埋下了很大的伏笔）。最后是换了一种方法讲故事，前后改了大概15版，在 DDL 前交了上去。

## 第一次投稿: MICCAI

第一次投稿还是挺紧张的，生怕出什么差错。在DDL前的两个小时还在 T7 的实验室跟苏老师伍导润林师兄讨论最后的版本。最后在 DDL 前的 15 分钟交稿了。

后面就是一个多月左右的等待，收到进入 Rebuttal 的通知。其实这个项目能做到这里我已经很满意了，因为我知道自己的工作，姑且不论工作的质量是不是令人满意的，至少一些实验、写作说明、论证都是不怎么完善的。

![image.png](https://tony102.com/usr/uploads/2024/10/1714108140.png)

[MICCAI 审稿意见和 Rebuttal 结果](https://tony102.com/usr/uploads/2024/10/378894852.zip)

**现在是 2024 年 11 月 16 日** 突然发现自己其实更博听不勤快的，大家可以时不时可以催催我。博客现在也是一个挺小众的方式了，如果能收到陌生人的催更邮件我肯定会回复的（不保证更新）。

话归正题，当时的 Rebuttal 其实面临了这篇文章当时的几大核心缺陷：

1. 叙事：本身效果并没有得到广泛的验证。叙事有一点点过于宏大，导致卖点不突出，信服度也不强。
2. 量化实验：投 MICCAI 的时候，我们没有说注重于 Left Atrium，然而实验又只在 LA 数据集上做（这我就要点名批评 CAML 和他的审稿人了，凭什么他们也说自己是算法，也只在 LA 上做的实验，就给中了），但是论文像是在提出一种新的算法。所以有效性被质疑了。
3. 消融实验：当时觉得串联的不好做消融实验，干脆是没做还是把 CORAL 换成了 Cosine Similarity 来着。后患无穷，反正是被狠狠质疑了。

综上，现在回过头来看，这篇文章能进到 MICCAI 的 Rebuttal 都是一个奇迹了。硬伤太多了，真没办法。

所以当时的 Rebuttal 简直跟跑打差不多。反正就是你审稿人说我这里有问题，我就硬说没有。失败自然也是必然的。

**但是在这里还是要十分感谢苏老师和我们的团队，真的给了我很多帮助。可以说这篇文章 $90\%$ 的功劳都是他们的**

此外，第一次投稿就遇到了逆天审稿人。哪怕文章当时写的不好，但是超参数的设置我是一五一十的写在了 Experiments 里。第二个审稿人还在问:

> What is the temperature?

就一个 Reject 还是他给的，confidence 分数还给自己贼高。就一纯纯普信男，真不想多说什么。本科生审稿亮点不会抓只喜欢看天气预报是吧。

后来就是一直懒惰+期末考试快来了，磨磨蹭蹭就来到了六月份出结果。当然是喜提一个 Reject！人生里程碑，达成！

## 第二次投稿：BIBM

哎呀呀，当时 ccfddl 上的接受率太吓人了，搞得我不敢投。当时我想投灌水小将宝藏会议 ICASSP。
![ICASSP](https://tony102.com/usr/uploads/2024/11/1594906488.png)

~~你看这诱人的接受率，能不心动吗？~~ 唯一可以蛐蛐的点在于使在印度开会吧，可能要自备泡面 or  肠胃药。 但是当时苏老师和朱老师都建议我投 BIBM。但是 BIBM 的接受率只有 $21\%$ 的样子，当时不知道没算 Short Paper，所以不敢投。

**实际上，当时我的跑步进入 PhD 的方案是这样的：**

1. 6.14 MICCAI 出结果：中了，皆大欢喜；没中：6.18 BIBM 第一轮投稿
2. 8.15 BIBM 第一轮出结果：中了，皆大欢喜；没中：8.16 AAAI 投稿

当时正值 Mamba 一炮当红之际，各行各业灌水小将都在涌入这条赛道。当时我也一头扎进了 Mamba 的赛道，同一时期群友 yaw （21AI，我们的 NUS 生信大师兄）也在做 Graph Mamba 相关的工作。

大概 6.14 晚上接近通宵，基本设计了一个新的联合 Mamba 的模型。然后睡了三四个钟，第二天继续激情的战斗。大概是晚上的时候把代码跑通了开始做实验。我记得当时我改的是 Mamba U-Net （港科广的那一篇在 MICCAI 2024 上的，他们被 Early Accept 了，果然手速快就是好）。**好景不长，发现加了 Mamba 还降点了！wdnmd，然后开始坚信是超参数没有调好的原因。并且尝试了大概 $3 \times 4 \times 4 = 48$** 种不同的 seed/Lambda(温控参数)/Loss Weight Parameter/Epoch Number(因为出现了梯度消失) 。最后在 6.17 承认失败。

妙哉，第一次跑步进入 PhD 失败了。

然后开始了暑假漫长的咕咕咕，直到：

![被苏老师鞭策了，我确实是需要](https://tony102.com/usr/uploads/2024/11/660714876.png)

然后开始了长达半个月的修改论文。期间苏老师至少给我改了十多版，在这里给他磕个头。真的无敌感动！

最后就交了，检查好格式。开始等待。

## 终于等到中稿

还记得那天是周一，10.15，下午正在上无聊的 DCN 的 Lab。正好是课間，手表震了一下。然后在 Mac 上看到了那封 Short Paper Accepted 的邮件。激动的喊了一声”中了！“，范进中举似的。

就此，完结。

## Paper with Code

Paper 已经准备上 arxiv 了，预计下周一上线。正式版要等12月。

Code 已经开源：[Repository for CORN](https://github.com/Powertony102/corn_official)

先挂到 Arxiv 上了：[Paper (Arxiv)](https://arxiv.org/abs/2410.15916)

最后修改：2024 年 11 月 16 日

如果觉得我的文章对你有用，请随意赞赏

2 条评论

暴力膜托
November 16th, 2024 at 02:40 am

暴力膜托暴力膜托暴力膜托暴力膜托暴力膜托暴力膜托暴力膜托%%%

回复
TosakaUCW
November 16th, 2024 at 02:19 am

前排狂暴膜托！

回复

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

rlenitkthe
真好呢
暴力膜托
暴力膜托暴力膜托暴力膜托暴力膜托暴力膜托暴力膜托暴力膜托%%%
TosakaUCW
前排狂暴膜托！
菲兹克斯喵
竟然……又找到一个校友……而且初中和高中都是同一个学校……天哪...
暴力膜托
快给黄明珍开个方子吧，可怜孩子补太猛了

Leveraging CORAL-Correlation Consistency Network for Semi-Supervised Left Atrium MRI Segmentation

tony102 • 2024 年 11 月 16 日

## 前言

当时距离 DDL 大概是两个月左右，先花了两周的时间迅速过完了那门课的所有内容。然后开始着手于选题。

现在回过头来看，真得好好感谢当时的自己。选择>>>>>>>>>>>努力。具体来说，我当时的方法论是这样的：

- 第一次做，不选新任务做，选**成熟的任务做**。这样之前的工作多，可供参考的文章、代码都丰富。
- **尽量选择比较简单的 Backbone/Framework。**

对于第一个问题，我选择了 Segmentation 这个任务来做。对于第二个问题，很幸运的是时至今日医疗图像分割的主流还是 U-Net ，一个以 CNN 为基础的模型。

因为当时对科研的流程是什么样的完全不了解，所以纯粹是无头苍蝇到处乱创。所以又有了方法论3。其实不是我的方法论，是雷神的：

> 世界上 $99\%$ 的问题都有标准答案，找个懂的人问问。

所以当时我找到了我的师兄润林，和系里技术最最最最好的伍导求教。

后来就是花了一周的时间构思了一些创新点（都写在 Paper 里面了）。整个过年都在做实验（大年夜还在让卡加班真是辛苦它了）。

想起来，现在的自己也没有，可能以后也没有这样的激情在大年夜跑实验了。等哪一天我有顶会的水平了，可能会有吧。

## 第一次投稿: MICCAI

![image.png](https://tony102.com/usr/uploads/2024/10/1714108140.png)

[MICCAI 审稿意见和 Rebuttal 结果](https://tony102.com/usr/uploads/2024/10/378894852.zip)

话归正题，当时的 Rebuttal 其实面临了这篇文章当时的几大核心缺陷：

综上，现在回过头来看，这篇文章能进到 MICCAI 的 Rebuttal 都是一个奇迹了。硬伤太多了，真没办法。

所以当时的 Rebuttal 简直跟跑打差不多。反正就是你审稿人说我这里有问题，我就硬说没有。失败自然也是必然的。

**但是在这里还是要十分感谢苏老师和我们的团队，真的给了我很多帮助。可以说这篇文章 $90\%$ 的功劳都是他们的**

此外，第一次投稿就遇到了逆天审稿人。哪怕文章当时写的不好，但是超参数的设置我是一五一十的写在了 Experiments 里。第二个审稿人还在问:

> What is the temperature?

就一个 Reject 还是他给的，confidence 分数还给自己贼高。就一纯纯普信男，真不想多说什么。本科生审稿亮点不会抓只喜欢看天气预报是吧。

后来就是一直懒惰+期末考试快来了，磨磨蹭蹭就来到了六月份出结果。当然是喜提一个 Reject！人生里程碑，达成！

## 第二次投稿：BIBM

哎呀呀，当时 ccfddl 上的接受率太吓人了，搞得我不敢投。当时我想投灌水小将宝藏会议 ICASSP。
![ICASSP](https://tony102.com/usr/uploads/2024/11/1594906488.png)

**实际上，当时我的跑步进入 PhD 的方案是这样的：**

1. 6.14 MICCAI 出结果：中了，皆大欢喜；没中：6.18 BIBM 第一轮投稿
2. 8.15 BIBM 第一轮出结果：中了，皆大欢喜；没中：8.16 AAAI 投稿

妙哉，第一次跑步进入 PhD 失败了。

然后开始了暑假漫长的咕咕咕，直到：

![被苏老师鞭策了，我确实是需要](https://tony102.com/usr/uploads/2024/11/660714876.png)

然后开始了长达半个月的修改论文。期间苏老师至少给我改了十多版，在这里给他磕个头。真的无敌感动！

最后就交了，检查好格式。开始等待。

## 终于等到中稿

就此，完结。

## Paper with Code

Paper 已经准备上 arxiv 了，预计下周一上线。正式版要等12月。

Code 已经开源：[Repository for CORN](https://github.com/Powertony102/corn_official)

先挂到 Arxiv 上了：[Paper (Arxiv)](https://arxiv.org/abs/2410.15916)

Leveraging CORAL-Correlation Consistency Network for Semi-Supervised Left Atrium MRI Segmentation

2 条评论

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

名人传

VP: AtCoder Beginner Contest 222(ABC222)

写在 CSP-S2021 前

机房标准化岚语发音对照

VP: AtCoder Beginner Contest 221(ABC221)

长郡中学天文台探星指北

BZOJ1023 [SHOI2008]cactus仙人掌图

多项式全家桶

Luogu4141 消失之物

2020.10.22 四校联考5

Leveraging CORAL-Correlation Consistency Network for Semi-Supervised Left Atrium MRI Segmentation

2 条评论

发表评论 取消回复 使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款

Leveraging CORAL-Correlation Consistency Network for Semi-Supervised Left Atrium MRI Segmentation

发表评论取消回复
使用cookie技术保留您的个人信息以便您下次快速评论，继续评论表示您已同意该条款