games003课程笔记05-面向实验结果的方案优化

games003 科研基本素养 “lec.5 面向实验结果的方案优化” 笔记

由于提出的方法一般都是不work的，所以要对方法进行改进。

1.1 从文献中学习

学习related works的三个目的

1. 检查创新点是否已经重复

2. 获得技术insights

   相关论文如何分析相关技术的insights和技术优势

3. 学习关键tricks

如何从相关工作中学习

1. 查找相关技术论文

   了解相关技术的动机和技术优势，总结challenge-insight。

   不需要阅读每篇论文的代码，除非与研究内容十分相关。 -> 将其代码框架融入自己的框架里，形成自己的框架，充实函数以及调用。

1.2 向其他researchers学习

与他人讨论的三个好处

1. 找到机会组织idea
2. 获得对自己idea的反馈
3. 激发新的idea variants

如何与他人讨论

1. 讨论的目标受众

   • senior advisors
   • 实验室同学
   • 具有类似研究兴趣的同行

2. 通过报告介绍问题和方法

   从人物设定、failure case & 本质的技术原因、解决问题的直觉、动机、粗略的pipeline、想讨论的问题五个方面进行高效的讨论

2 提出idea variants

思考更多idea variants的好处，根据文献和同行的反馈提出

1. 避免陷入local minima

   类似于优化过程，设定几个seed以防止陷入local minima，避免陷入惯性思维

2. 培养技术创造力

3 idea实现

如何高效的实现idea

4 设计实验

核心原则

减少实验中包含的探索点的数量

1. 分解pipeline（解耦，将idea分为不同的组件）
2. 分解实验设置，从简单setting开始探索

5 分析实验结果

需要加快idea更新过程 -> 避免项目被scooped!!

如何减少：

1. 有扩展的代码框架

   从别人那里cv过来，并经常维护常用的脚本和函数

2. 提高编程能力

3. 并行进行实验

如何获得更好的梯度

1. 保持良好的实验记录习惯

   

2. 对实验结果进行分析。

   通常是分析实验结果不满意的原因。

6 改进idea

三要素

1. 不要轻易放弃当前的idea
   • 最初的尝试通常是不work的，需要更多的实验和调整来找到正确的方法
   • 研究是一个迭代的过程
   • 解决问题的过程往往有助于获得technical insights，有助于对问题更深入的了解，以便完善idea或找到新的解决方案
2. 不断质疑当前的idea是否存在根本缺陷
   • 避免陷入local minama，更客观的评判自己的idea
   • 帮助我们确定问题
   • 推动创新pipeline
3. 知道什么时候可以放弃这个idea
   • 发现了当前idea的缺陷
   • 发现资源（计算资源、数据资源）不足以支持这个idea