其他
深度学习调参(炼丹)的权威指南！！！
在平时的模型开发中，每个人都会根据自己的实际经验进行模型调参，最终可能得出的调参经验（迷信）如：
Random seed = 42 是个万能调参技巧 ！（注：42这个特殊数字， 源于科幻小说《银河系漫游指南》中，在书的最后，超级计算机Deep Thought揭示了“生命、宇宙和一切”这个重大问题的答案是 “42”）-------- 有一说一，我也非常擅长调随机种子！ Batch大小应该是 2 的幂次方 神经网络各层神经元数目要按照1/2衰减 ...
我们也常常需要借助一些自动化调参工具较为快速地训练模型，如：
网格/随机搜索(Grid / Random Search)：是对超参数组合的子集简单地做固定次数的随机搜索，找到表现最佳的超参数子集。对于规模较大的参数空间，采用随机搜索往往效率更高。 贝叶斯优化(Bayesian Optimization)：与网格/随机搜索最大的不同，在于考虑了历史调参的信息，使得调参更有效率。（但在高维参数空间下，贝叶斯优化复杂度较高，效果会近似随机搜索。）
为了破解炼丹奥秘，近期来自谷歌大脑、哈佛大学的研究人员发布了《Deep Learning Tuning Playbook》，为深度学习提供了份系统及科学地调参理论！