杂思录
做一个项目什么更重要
拿到一个没接触过的项目,重要的是什么?没接触过的知识点和设计要比把这个项目跑通更重要。
没接触过的知识点多和 GPT 聊聊天,到底是什么过程。比如我学 VAE 的时候,开始我大概觉得就是把输入特征加到正态分布里面,然后采样,这样既保证符合正态分布又能利用到原始信息。其实根本不是这样。 编码器把输入数据分离,分离越多,解码器越能识别各个数字之间的不同;但是要保证数据都在正态分布里面,这样才不会退化成简单的 auto encoder 只做简单的压缩复原。KL 就是约束分离的,希望数据不太分散。
抱着科研学习的目的去学习新知识。学到了一个新的 trick,是很有收获感的。
在 GitHub 查看讨论 ↗