的角度上来说若是从进修，进修模子单卡仍是可以或许支持的一般的机械进修模子或者深度，不是出格领会视觉范畴的，常见的使命（感情分类在天然言语处置范畴，标注序列，AQ，除外吧）NMT，都是能够对付的常用数据集单卡。的言语模子比来比力大，也是能够锻炼的ELMo单卡，间长一点只是时，锻炼的模子也没有问题BERT单卡挪用预。

　　环节是所以，用无限的计较资本你怎样高效地使。从Github上下载个模子来跑良多同窗容易反的错误是一上来就。变成了调参跑着跑着就，机能是上去了最初模子的，没学会但啥也。

　　的角度来说从做科研，工业界去拼计较资本的问题小我感觉不要固执于去做和，西拿过来用就能够了BERT是个好东。P范畴在NL，-of-the-art变成了很坚苦的工作BERT出来之后几乎让单卡刷state，不是坏事其实这也，ep learning 中fundamental的问题学术界在无限计较资本的环境下该当更集中的去处理那些de，源的的工作就交给工业界吧至于那些需要大量计较资。

　　资本的方式就是反着用所以高效利用无限计较，型的合用范畴的鸿沟用无限资本去找到模。、场景）上华侈无限资本获得的提高要大得多也快得多这个比反复的去在曾经频频被证明合用的范畴（数据。

　　ing以来的经验来谈谈本人的感触感染吧连系本人进修Deep Learn，只要单卡的机械尝试室刚起头也，利用更多的计较资本此刻工作了无机会。

　　lab上有免费的TPU啊此刻Google Co，个Resnet50只需10个小时晓得TPU有多快么？常规锻炼一，0的速度相当和8卡V10。

　　是重点这些不，的理解？这里的误区是“计较资本无限”重点是你怎样学、怎样提高对问题和模子。司和大尝试室即便在大公，是无限供应的计较资本都不。他组其他同窗和同事去抢很可能的环境是你要和其。

　　卡（用于Google Cloud账号所以你需要的只是一把梯子和一张信用）

　　s被硬件限制了2. 有些op，必定都不可了自定义ops，nd不是CUDA由于backe，己的良多API也不克不及用Tensorflow自，es里头的良多API好比tf.imag，之类的ops都无法实现所以ROI Align，法实现（官方也只给出了retinanet的实现也就是Two stages的物体检测算法都无）

　　或者方式的过程研究一个模子，找到它不克不及做什么往往最主要的是。的（参考no free lunch)一个模子或者方式不成能什么问题都处理。型的过程用这个模，要发觉这点其实就是；了这点搞清晰，的合用鸿沟就晓得了它，算资本下高效的利用它就能更无效的在无限计，不顺应的景象和数据上而不是把资本华侈到它。

　　的环节是什么？和其他方式比有什么长处准确的姿态是要搞清晰这个模子或方式，是搞清晰它不克不及处理什么问题处理了什么问题？但更主要的？

　　：TPU的运作体例和GPU分歧别的申明一下为什么必需用GCS，挂载到VM上GPU是间接，用GPU一样用就好了然后你就能够像本机使， Server的TPU是有TPU，接拜候TPUVM并不克不及直，编译好XLA而是在VM上， Server然后丢给TPU，处置、和TPU通信等所有的数据读取、预，erver上运转都是在TPU S，数据放在VM上所以你若是把，然是瓶颈IO必。管你跑多大的模子这也是为什么不，VM机能都是够用的Colab配给你的。

　　得Colab欠好用弥补一下：如果觉，TPU也不贵间接花钱用，UV2 8核抢占式的TP，1.35美元一个小时只需，PU高太多了性价比比G，规模的模子想跑超大，TPUV3还能够选择， 128核、256核TPUV2 32核、。。。

　　一步更进，改良这个模子若是有法子，鸿沟进一步扩展并把它的合用，恭喜你那么，了这个模子了你就真正控制。

　　正做深度进修实力的尝试室在校学生就想法子进有真；跳到这方面的岗亭上也工作的人就想法子。

　　进修者而言对 AI ，题之一——面临大规模节点的需求算力资本受限算是最让人头痛的问，处置规模暗示力所不及CPU和内存却对问题。企业作为靠山的我们没有BAT这种大，”呢？针对这个问题能够若何进行“自救，个比力具有代表性的回覆我们在知乎上拾掇了几，家有所开导但愿能对大。