觉得有人看再多说两句
本人情况是,保研某中上985,实在受不了偷偷跑出去实习了,目前一篇论文待投,一段中厂实习,一段大厂实习中。
主要还是跟保研的孩子讲吧,考研的孩子可能选择少一点我还没想到更好的方法。
不管保研和考研,大家都很优秀。但是目前来说,大部分搞深度学习的老师并不优秀,可能在他们原来的领域他们很出色,但是来到深度学习,可以理直气壮地告诉这些大人们,这不是他们的时代了。
所以选择很重要,我个人觉得都是985,名头并没有那么重要,重要的是老师能不能给你们想要的资源,核心我觉得是一点,能不能让我进步?有项目有机器稍微push点的;无项目放羊任你飞的;我都觉得挺好的。但是这些都是理想型,要发挥自己的主观能动性,
发挥自己的主观能动性,就是无论保研前还是保研后,和老师同学处好关系,要让自己进步,也要让老师和同门认同你。这有很多方式,有很多路,都得自己走,不用那么焦虑,努力加自信就完事了。
也还没毕业,突然感慨,说多了。哎~
---------------------------------------------------------
不支持楼上的回答,但也不敢实名diss
本人也是类似的情况,十来号人的实验室,人均0.5张1080Ti,发论文,没问题。但是你想发好点的论文,总得跑个大数据集吧?跑一个实验要一周,你做个ablation study怎么得有四五个吧?那么理想情况得四五周吧?这还是你运气爆好,idea非常work的情况下。
但是,目前个人感觉来讲,深度学习仍然是实验科学。理论上work的东西,不一定实现了就work,而不work的东西却说不定就work了。举个例子,检测中目标如果存在旋转问题,有些人做了旋转的数据增强,效果变差了,有些人没做,效果非常好;但是换个数据集,是结果反过来。为啥?第一个数据集做数据增强,underfitting了呗,模型结构又很好,没必要做;第二个又可以找一个理由来解释。
所以大家常说没有银弹,针对不同数据集有不同的操作,而这些都是经验加直觉试出来的。
再说,2021年了,用的还是1080,楼上觉得这个老师是真的懂深度学习?难道不是觉得深度学习能捞笔钱才进去踩坑的?
我的建议是,1.有钱就自己搭服务器;2.能实习早点出去实习;3.转开发
我们实验室最开始也只有1080显卡,8个人,4张卡,日子过得紧巴巴。但前期入个门,跑跑简单的实验其实足够用了。
如果想刷比赛或发论文,硬件可能确实是道坎,下面我分享4个方法帮助你解决显卡不足的问题。
在学校的时候,我们NLP组最初只有2张1080,做小实验还好,就是跑BERT-large模型的时候比较尴尬,只能把 batch_size 设置成1。
后面为了做比赛和发论文,我主动向老板提出申请,希望改善配置。其实老板心里很明白“巧妇难为无米之炊”的道理,升级了硬件,push 学生的时候更合情合理了;等这批人毕业,还能留给下一批学生继续用;甚至连实验室招生通知上都能写人手一张 xx 显卡,简直一举多得。
最终老板为我们采购了4张16G的Tesla V100,虽然花了10万,不过感觉还挺值的。
所以最简单的方法就是给老板做思想工作,帮他分析一下利弊。升级到真香的 3090,大部分老师还是愿意的。
除了实验室,很多平台也提供了免费的GPU计算资源供用户使用。
例如过去两年,我在Kaggle上参加了多个算法比赛,累计使用超过500小时的GPU时长,没花1分钱。
之前我在知乎上也做过分享,如何通过Kaggle免费使用16G显存的Tesla V100。具体方法可以参考下面这篇回答:
类似的白嫖平台还有Google的Colab,百度AI Studio等。
薅薅国产免费GPU计算资源——百度AI Studio测评与免费GPU获取方法
早点实习既可以积累项目和实战经验,为校招进入职场做准备,又能免费利用公司的GPU,是性价比很高的选择。
以我司字节为例,通过线上集群调用,工程师们可以同时调用多块Tesla V100-SXM2 GPU,显存32G,基本不用担心模型训练地慢了。
关于如何准备深度学习相关的算法实习,我也分享过很多次,基本从理论基础、项目/比赛/paper、coding三个方面准备即可。如果还有疑问,欢迎和我交流。
分享几篇以往的高赞回答:
计算机研究生刚上岸,深度学习方向,想要就业的话,应该如何规划研究生三年?
研一,在学机器学习和深度学习,为什么感觉越学越不会,怎么解决这个问题?
众所周知,前端后端测试等开发岗位,对于显卡没有特别要求;而且既没有算法这么内卷,和算法的校招薪资差距也在越来越小。
当然,单纯因为显卡不足转开发可不见得是好的选择。提这一点,是希望能帮助你思考,自己喜欢的到底是什么?
是真的对深度学习算法感兴趣呢,还是看身边人都在卷AI,想上去凑个热闹?
了解自己的兴趣爱好、性格特质和优势,真的很重要。
最后,对于土豪们而言,可能直接“显卡自由”了,自己搭服务器也是不错的体验哦。
最后和你正式介绍一下自己哈:
我是叶琛,一个爱旅行,懂养生的算法工程师兼干货答主,也是个喜欢用接地气的文风为年轻朋友分享职场经验和算法知识的人。希望我的文字可以为你提供帮助!
总结不易,如有帮助请给 @Giant点个赞哟,谢谢啦!
最近我整理了硕士期间看过的100本AI算法书单,包含机器学习、深度学习、求职面试各个方面。在我的公众号【NLP情报局】后台回复【书单】就能免费领取啦!
匿了,实验室一块显卡没有。入学前憧憬的实验室实际就是一个空有工位和空调的自习区。
回顾研究生这两年,老师是拼命拉了一堆横向让我们做。他赚了不少钱,给我们发的钱少就算了,也不愿意回馈一点出来给实验室公用。最近我们明示或暗示买块显卡供大家一起用,毕竟大家都在用自己笔记本跑模型,动不动就炸显存。然而老师就是装作没听见,几次和我们说:“看情况租GPU服务器也行,我报销。”然而半年过去了,仍旧没有一点想帮我们报销的意思。
用着垃圾笔记本跑实验也就算了,还被要求发几区sci。我验证个想法,跑一次baseline,跑一次搭积木的最终模型。效果要是ok,就中间做几个消融实验,一两周就过去了。这还不一定能成,也许又重新再来。大的数据集是不敢用的,大的模型更是想都不敢想,组里全跑的参数量10M以内的轻量化模型。
再看看两个隔壁组,一组不是搞AI的实验室也有几块20系卡,另一组搞AI直接几块3090。
而我们老师就是,一点支持没有,还会让我们给他审稿,写项目书,做各种杂七杂八的琐事。
对于在研究生培养方面,研究生方向是什么?没有!自己摸索去。遇事不决就加个XXXX作为方向,说什么自己小论文方向和课题组的大方向结合起来。但是他又说一套做一套,嘴上说着课题组大方向是XXXX,然而拉得到什么横向那么组里的方向就是啥,有一段时间,组里同时做着三个完全不同领域的东西。
要说最近两年最后悔的是什么,就是后悔选了我这个老师。
我读博期间实验室计算资源也不多,在高校里面弄一台服务器在经费财务上是很麻烦的事情。我的博士成果基本都是在业界完成的,也是和导师沟通过的结果,保证导师成果的前提下尽可能给自己寻找资源。
如果想做比较费资源的基础CV研究的话,也可以考虑我们达摩院CV实验室基础视觉团队的research intern。实习生和在学校里一样全身心做paper,GPU也是充足的,论文我们不在乎作者单位和通讯,保证成果可以用于学生的毕业和导师评职称。我们会手把手一起和实习生做实验和写论文,我们很多实习生表示导师都没有这样细致指导过他们,所以实习生都还是做得挺开心。正好CVPR马上结束后一批实习生结束了实习周期,空出来一些实习生名额,有兴趣可以联系我。
我真搞不懂为什么上网买个球拍,还能牵扯出来这种糟心的事?有规定必须双一流学校才能买吗?还是说我们河南人不能买?
听完老板的回应,我这个河南人火更大了:
客服他们20多岁做这个工作不容易,因为别人投诉,情绪不好才说出这话的。
明显是这个客服素质不行,就别在这装委屈。
好多人还会说断章取义,那我先把事情说清楚:
一个学生买了球拍,对赠送的礼物不满意,过来询问,之沟通中客服就开始魔幻操作。
地域歧视,这句话没得解释,但是常年经受地域黑的我已经习惯了,我还真是感恩,谢谢你让大家知道我们河南人很穷;
河南是一个农业大省,河南人就只知道种地,每年调出 400 亿斤原粮和加工制成品,为保证国家粮食安全做贡献,可偏偏发展最不好、最不受重视、最不怎么见起色的就是农业。
河南是一个人口大省:1,搞不动教育,全省仅有一个211的高校,好几个从河南大学独立出去的院系都已经是211高校了,河南省委屈啊,没有好的教育资源,所以河南每年高考都是数一数二的内卷大省;
2,不懂得搞经济,没有好的教育环境,就留不住人才,人口外流严重,自己没有人才就缺少经济头脑,就更难以发展经济。
所以河南确实穷,大家都知道,没必要专门讽刺我们,只会让大家觉着你这个人没素质。
除了这些,恐怕作为名校毕业的你,早就忘记了初中历史书上说的“得中原者得天下”。
没错,四川大学作为双一流学校,确实比河南理工大学好,但是买东西没有必要歧视一本的学生?并且人家现在已经考上郑州大学的研究生。
大学是一个对学生综合素质的教育,没有任何大学教育可以说是浪费时间的大学,你没学好,只能说是你自己的问题。
四川大学马克思毕业的,真是验证:不管受过什么样的高等教育,学过多少理论思想,永远启蒙不了屁股歪的人。
话说:阿迈威运动专营店的客服,为什么我都给你主动发信息一个多小时了,你还不回复我??
这个问题问得很好啊,我的建议是看今年年会的摘要集:
中国化学会第32届学术年会 - 论文检索系统 - 中国化学会
可以看到有很多分会,不过计算化学分布得比较散,夹杂在各个分会中。各分会的主题可以从这里找到,可能相关的包括:
有一些主题是理论计算夹杂着实验的,还需要仔细辨别。回到摘要集,以第一分会为例:
中国化学会第32届学术年会摘要集-第一分会:物理化学前沿 - 论文检索系统 - 中国化学会
可以看到题目和单位全都标出来了,而且还可以下载。
显然,能找到相关方向的摘要的单位,就是开设了相关方向的院校,甚至还能精确到具体的某个课题组。
刚发现Wi-Fi6也搞了两个release,和Wi-Fi 5(即802.11ac)时候的wave 1和wave 2差不多。
对于一般Wi-Fi 6的用户影响不大,Wi-Fi主要的PHY的特性,比如高阶调制之类的在release 1里面已经支持,主要的MAC特性,也就是OFDMA也在release 1里面支持的,包含OFDMA的上行和下行传输。还有SRP相关的BSS Color,Adaptive-CCA,Dual-NAV之类的,差不多也在release 1里面。所以基本上大家所关注的一些主要特性都在release 1里面有了。
至于release 2里面目前看介绍主要就是两个部分,一个是上行MU-MIMO,这个理论上能够提升不少速率,毕竟支持多用户同时上行接入了。在MU-MIMO的一开始,也就是802.11ac的时代,这个是不支持的。只不过估计落地成本和技术手段限制,所以release 2才放进去。802.11ax协议里面是没有分release 1和release 2的。可能相比MU-MIMO,在Wi-Fi 6里面OFDMA更重要点,而Release 2里面的上行MU-MIMO更多的是一个锦上添花的功能,如果价格不用添加或者添加很少,那么估计还是受欢迎的,如果价格过高,那么还是看看吧。至于另外一个就是TWT了,TWT技术是从节能手段来做的,其实个人感觉哎,新的802.11ba标准,即wake-up radio的机制可能更适合802.11的节能,而TWT说实在的,有点复杂,而且其节能模式实际上可以理解成基于调度的机制,比如下面一张图可能更好理解些。
左边的就是没有启用TWT的,那么所有的节点虽然工作在节能模式下,但是大家还是要互相争抢,这个争抢过程还是要耗能的。右边的就是TWT,其实就是对于每一个节点对象,其节能的时间点进行了调度,一个节点醒了,然后传输,其他节点这个时候还接着睡。其实总体而言,Wi-Fi 6的MAC和传统Wi-Fi 5以前相比,其实就是一个无序到有序控制的过程。下面这张图今天看的,感觉就很直观
Ref:CommScope Ruckus的slide所以实际上TWT看起来还是有效果的,而且属于Wi-Fi 6里面一个主要特性。Release 1版本其实有很多公司都做了,只不过兼容性的问题挺多的,这次release 2的版本不知道能不能彻底解决这个问题。大致就是这些了。
刚发现Wi-Fi6也搞了两个release,和Wi-Fi 5(即802.11ac)时候的wave 1和wave 2差不多。
对于一般Wi-Fi 6的用户影响不大,Wi-Fi主要的PHY的特性,比如高阶调制之类的在release 1里面已经支持,主要的MAC特性,也就是OFDMA也在release 1里面支持的,包含OFDMA的上行和下行传输。还有SRP相关的BSS Color,Adaptive-CCA,Dual-NAV之类的,差不多也在release 1里面。所以基本上大家所关注的一些主要特性都在release 1里面有了。
至于release 2里面目前看介绍主要就是两个部分,一个是上行MU-MIMO,这个理论上能够提升不少速率,毕竟支持多用户同时上行接入了。在MU-MIMO的一开始,也就是802.11ac的时代,这个是不支持的。只不过估计落地成本和技术手段限制,所以release 2才放进去。802.11ax协议里面是没有分release 1和release 2的。可能相比MU-MIMO,在Wi-Fi 6里面OFDMA更重要点,而Release 2里面的上行MU-MIMO更多的是一个锦上添花的功能,如果价格不用添加或者添加很少,那么估计还是受欢迎的,如果价格过高,那么还是看看吧。至于另外一个就是TWT了,TWT技术是从节能手段来做的,其实个人感觉哎,新的802.11ba标准,即wake-up radio的机制可能更适合802.11的节能,而TWT说实在的,有点复杂,而且其节能模式实际上可以理解成基于调度的机制,比如下面一张图可能更好理解些。
左边的就是没有启用TWT的,那么所有的节点虽然工作在节能模式下,但是大家还是要互相争抢,这个争抢过程还是要耗能的。右边的就是TWT,其实就是对于每一个节点对象,其节能的时间点进行了调度,一个节点醒了,然后传输,其他节点这个时候还接着睡。其实总体而言,Wi-Fi 6的MAC和传统Wi-Fi 5以前相比,其实就是一个无序到有序控制的过程。下面这张图今天看的,感觉就很直观
Ref:CommScope Ruckus的slide所以实际上TWT看起来还是有效果的,而且属于Wi-Fi 6里面一个主要特性。Release 1版本其实有很多公司都做了,只不过兼容性的问题挺多的,这次release 2的版本不知道能不能彻底解决这个问题。大致就是这些了。
刚发现Wi-Fi6也搞了两个release,和Wi-Fi 5(即802.11ac)时候的wave 1和wave 2差不多。
对于一般Wi-Fi 6的用户影响不大,Wi-Fi主要的PHY的特性,比如高阶调制之类的在release 1里面已经支持,主要的MAC特性,也就是OFDMA也在release 1里面支持的,包含OFDMA的上行和下行传输。还有SRP相关的BSS Color,Adaptive-CCA,Dual-NAV之类的,差不多也在release 1里面。所以基本上大家所关注的一些主要特性都在release 1里面有了。
至于release 2里面目前看介绍主要就是两个部分,一个是上行MU-MIMO,这个理论上能够提升不少速率,毕竟支持多用户同时上行接入了。在MU-MIMO的一开始,也就是802.11ac的时代,这个是不支持的。只不过估计落地成本和技术手段限制,所以release 2才放进去。802.11ax协议里面是没有分release 1和release 2的。可能相比MU-MIMO,在Wi-Fi 6里面OFDMA更重要点,而Release 2里面的上行MU-MIMO更多的是一个锦上添花的功能,如果价格不用添加或者添加很少,那么估计还是受欢迎的,如果价格过高,那么还是看看吧。至于另外一个就是TWT了,TWT技术是从节能手段来做的,其实个人感觉哎,新的802.11ba标准,即wake-up radio的机制可能更适合802.11的节能,而TWT说实在的,有点复杂,而且其节能模式实际上可以理解成基于调度的机制,比如下面一张图可能更好理解些。
左边的就是没有启用TWT的,那么所有的节点虽然工作在节能模式下,但是大家还是要互相争抢,这个争抢过程还是要耗能的。右边的就是TWT,其实就是对于每一个节点对象,其节能的时间点进行了调度,一个节点醒了,然后传输,其他节点这个时候还接着睡。其实总体而言,Wi-Fi 6的MAC和传统Wi-Fi 5以前相比,其实就是一个无序到有序控制的过程。下面这张图今天看的,感觉就很直观
Ref:CommScope Ruckus的slide所以实际上TWT看起来还是有效果的,而且属于Wi-Fi 6里面一个主要特性。Release 1版本其实有很多公司都做了,只不过兼容性的问题挺多的,这次release 2的版本不知道能不能彻底解决这个问题。大致就是这些了。