百科问答小站 logo
百科问答小站 font logo



为什么有些算法工程师从来不谈业务,不谈解决问题,不谈价值挖掘,开口闭口就是算法模型,炼丹调参工程化? 第1页

  

user avatar   wang-zhe-58 网友的相关建议: 
      

这是一个非常好的问题,问到算法的根本上来了。我觉得从两方面答才能把这个问题答清楚,一个角度是从产品经理的角度,一个角度是从我们算法工程师角度。

先看看产品经理们是怎么想的。我五年前开始当算法部门的技术经理,每天跟产品经理们“混”在一起,我深刻的知道PM们的需求,在一个不太专业的PM眼中,算法模型就像“银弹”一样,可以消灭一切效果问题,想提升CTR就提升CTR,提升CTR的同时还要照顾多样性,还最好让CVR也一起上来。提升不起来那就是这个模型效果不行,算法团队的水平不行,解决问题的能力不行。

其实工程师并不是惧怕某个问题有多难,工程师惧怕的是这个问题根本就没定义清楚。因为问题的定义直接影响着优化目标,甚至是模型的精确的objective function。所以一个不合格的算法PM就像一个搞不清楚状况的单身男女一样,“我期待爱情,但我却不知道我要的爱情是什么?”,算法工程师是希望给你“爱情”,但真的麻烦告诉我你要的“爱情”是什么,因为我真的没办法把“爱情”这个玄幻的东西写进objective function里面去啊。

所以其实硅谷大量成功的PM是工程师转过来的,在对产品有深刻理解的同时,要有精确定义问题的能力。比如说现在我们要解决一个物品冷启动的问题,那么我看中的metrics是在30天内提升物品的覆盖率,同时整个系统的核心商业指标不下降。这个定义就非常精确,有AB Test期限,有优化目标,有问题约束。但你要说我既要提升物品覆盖率,又要提升商业指标,又要兼顾short term/long term revenue。我只能说你是个搞不清爱情到底是什么的痴男怨女了。

我一直坚信在一个大型机构里,一定要坚持让专业的人做专业的事情,这样这个机构才能成功。一个专业的PM就应该擅长提出问题,定义问题,而一个专业的算法工程师就应该擅长在一个固定的问题框架下解决问题。这些角色之间当然应该有合作,但绝对不可以说对方应该把自己的事情做了,要是算法工程师们都是业务专家,擅长定义问题,拓展业务,那么还要PM做什么呢?

那么问题的另一方面肯定是算法工程师的角度了。

我个人在带人的时候最不喜欢的一类新人,就是公司的这也看不上,那也看不上,觉得不是最新的技术,不是最新的模型。其实他们不知道的是,在一个算法上线之前,可能其他工程师已经把所有可能的解都试遍了,挑了一个最合适这个场景的。也许这个问题的提问者是遇到了这类新人吧。我是完全不相信工作了5年以上的算法工程师还成天嚷着要用最新的技术,不用考虑业务和问题本身。

对于算法工程师来说,虽然说定义问题,拓展业务更多是PM的事情,但请务必深刻理解要解决的问题,甚至比PM还要清楚这个问题的细节。我在接到一个问题的时候,会做三件事情,一是打开APP/Device,去真真切切地看一下我要优化的场景,二是去探索一下数据,看一下跟这个问题相关数据的大致分布,用户行为和物品属性的特点,三是从一个“人”的角度而不是机器的角度思考一下,哪些特征是真正重要的。这三件事情做完,才去做算法模型的设计。接到问题之后,两眼一抹黑,直接开始建模,眼睛一直盯着AUC,一眼也没看过产品。我严重怀疑这是在实验室呆久了,只会写学术论文了。

所以问题答完了,不能清晰定义问题的PM不可能是好PM从来不去了解业务的算法也不可能是好算法。两方各司其职,各有所专,这样大家才能都有光明的未来。


user avatar   huangzhe 网友的相关建议: 
      

前面几位大佬写得挺好。我再补充点。为什么是「有些」算法工程师从来不谈业务?(如果你看编辑记录,其实那个「有些」也是我改的,毕竟不能一杆子打死一船人)

如果从行业来说

可能是因为有的产品或者领域,业务模式太清晰,参与者太多,竞争实在太卷了,所以需要专业的人做专业的事,由于业务模式太清晰(例如做人脸识别的系统),产品经理研究对手和竞品,所以算法工程师需要把时间都花在调参,以试图帮助产品经理多压榨点性能,或者试图在某项数字上超越对手,好让老板做个漂亮的ppt。

也可能是因为一个残酷的事实:很多算法工程师所做的事情,都是在PoC(概念验证)阶段,或者是Prototype阶段,根本没有上线运营过,要想谈业务,无从谈起。从poc到production,路径还是很长的。

如果从职业角度来说

首先,作为算法工程师,理解业务的目的都是为算法服务。如果上深度学习就能获得较好效果,那么理解业务就显得有点「性价比低」了。想要提升性能,调参呗。

即使对于业务逻辑复杂的产品,理解一个复杂产品的业务从而去提升性能,是很累的。而通过调参的方法来提升性能,是在自己舒适区内的,况且效果可能更好。


彩蛋

讲讲我们对算法工程师的要求(不过我们叫数据科学家)。我是做信贷风控以及反洗钱的,幸运的(也许也是一种不幸),我们不能直接使用「黑盒子」的深度学习模型作为我们的主要模型。原因是监管要求模型具有可解释性。这种情况下,我们和竞争对手之间的差异,在于谁对业界的理解更深入从而构建更有效的方案(当然也离不开谁的老板在业界更有名气)

我们是如何招算法工程师的。

  1. 首先是技术面。面试的环节包括基本的知识,例如概率论,基本的模型原理等等。然后包括编程能力,leetcode中等难度的题目能做出来的水平就够了。
  2. 然后是考察其思维以及推理能力。我们对于新人,并不要求他具有金融风控专业领域知识,我们会出一些开放的题目,告诉面试者我们目前拥有某些数据,让他讲讲如何从这些数据中挖掘特征。

我们怎么培养新进来的算法工程师的呢?说实话,针对技术上的培训我们从来没有,新人一进来,就要开始着手业务了。我们准备了一些业务逻辑的文档,让新人自己看,然后和产品相关的讨论会,都拉上他。在我们公司,确实没有使用sota模型的机会(当然我们也可以自己玩玩,公司给了大家自由使用的算力平台,想研究的话,可以自己在上面试验最新模型,但仅供学习,不太可能有机会融入到产品里)。对产品有一定了解后,就会跟着对接客户,理解客户的业务,把对客户业务的理解转换为有效特征。所以我偶尔会无奈的「吐槽」自己对技术的关注太少了。当模型的复杂度被限制了,我就只能捣鼓特征了。

最后贴个老回答。


user avatar   NickWey 网友的相关建议: 
      

我们也被勒索过,这个ACCN太坏了,专门欺负小厂,眼泪汪汪

因为共同的爱好,我们6个人的小团队做了款大富翁类的游戏。本身游戏类型也比较小众,再加确实技术有限,成本有限,游戏画面也比较糙,总之玩家一直比较少。

直到去年2月,运气很好,得到了TapTap棋牌桌游类游戏的编辑推荐,在TapTap的首页榜上露了下脸,为我们带来了曝光机会。

就在我们为终于有曝光机会而高兴的时候,马上ACCN的人就来联系我们了,他们要求交1万的保护费。紧接着我们的服务器就遭到了DDoS攻击。

勒索聊天截图我找不到了,我贴一个当时我们的紧急公告

显然我们根本没想到会遇到这种事情,也被吓到了。我们一共就3个程序员,平时的开发工作已经占据了我们几乎所有的时间,哪还有时间精力去跟黑客周旋,况且对于DDoS攻击,也没有太好的办法,如果去买阿里云的高防服务,花费的钱甚至比给黑客交保护费还贵很多。。。

对于那时的我们来说,时间就是生命,好不容易上榜终于有了曝光量,如果大量新玩家下载了游戏,而又因为服务器瘫痪无法正常打开游戏,给了差评。那我们的损失远远大于保护费的这1万块。

很惭愧也很抱歉的说,最终,我们向黑客低头了。。。。

他们保证之后不再骚扰我们,直到今年3月我们又上榜了。。

ACCN的人又来了,而且要价比上次更高

哼!!!说好的再也不来骚扰呢!!毫无诚信啊!摔!!!

这次我们没有再妥协,毕竟大不了停服呗,他们发起攻击也是有成本的。

很高兴的说,虽然服务器和网络受到了一些影响和波动,但是这次我们坚强的扛了过来。

呼吁同行小厂们:不要向恶势力低头,否则他们会变本加厉,我们的妥协是他们能长久生存的资本,我们要一起坚决抵制这样的行为,才能让环境越来越好,加油~♥

对了,还要感谢TapTap这个平台,让我们这个6人小团队活了下来~♥


user avatar   lykquitphy 网友的相关建议: 
      

首先这是Fed一月 memo

先说结论:

FOMC 维持利率在 0-0.25% 不变。且确定 3 月完全停止 QE,同时 3 月加息也是箭在弦上,基本会后声明皆符合市场预期,没有太多的意外。

Powell 记者会确实是偏一点点的小鹰派,但我也认为,Powell 的说法不至于拉升市场加息预期至 5次 、并拉升缩表预期至上半年,反而比较像是在强化加息 4 次之预期。

另外我个人觉得,一些中文媒体似乎误读了Powell 记者会的部分片段,下面 Allen 再进一步说明。


1. 3 月加息停止 QE 早已定价

本次会议 Fed 再次确认 3 月将准备第一次加息,并同时停止 QE。

Fed 也再次重申,货币政策是要支持美国经济达到充分就业、与通膨长期均值维持 2.0% 的两大目标。

这部分我想市场早已定价,这裡完全不会是问题,所以我们不讨论太多。


2.未来加息在每次会议都可能发生 (?)

Powell 的原文说法是:Won't Rule Out Hike Every Meeting.

但我有看到部分中文媒体写:不排除每次会议都加息的可能性。

上述我想或许是误读了 (还是其实是我自己误会中文的意思 ?)

我的理解是:Powell 是说加息在未来每场会议都可能发生,指的是“不会在特定月份才加息”,不是说每场都要加息。

Powell 说得很合理,经济本来就是动态的,加息本就不会侷限在什麽月份才启动,端看当时的经济状况而定。

我认为Powell 上述说法,并未延展今年加息预期至五次或更多,若有这种想法,那绝对是误读了。


3.更大规模的缩表?

Powell 在记者会上提到,Fed 需要更大规模的缩表,但请大家不要恐慌,因为我又觉得部份中文媒体过度解读了。

我认为Powell 说到的“更大规模缩表”,在思维上指的是:

因为当前 Fed 资产负债表高达 8.9 万美元,这是新冠疫情爆发之前的两倍大,显然在绝对规模上是非常巨大的。

而上一轮 2017-2019 年 Fed 缩减资产负债表,是自 4.4 万亿美元缩到 3.7 万亿美元停止,缩表的幅度大概是 15.9%,共缩减了约 7000 亿美元。

确实每次缩表的经济背景绝对是不一样的,所以幅度也绝对不会相同,但我们随便抓,假设本轮缩表将缩减 10% 资产负债表规模,那麽这也要降低 8900 亿美元,规模当然很大。

但我认为,不需要过度恐慌在“更大规模缩表”这几个字上。更重要的,我认为是“Fed 缩表的速率是多少?”

我相信缩表没问题,缩表太快才是问题,因为缩表速度若太快,将直接影响的会是美债殖利率升速、以及殖利率曲线的斜率。

这点Powell 也非常清楚,Powell 在记者会上也不断强调,联准会内部尚未具体讨论到一切缩表的进度,要等到 3 月再说。


4.缩表比较可能落在下半年

Powell 在记者会上说明,希望在加息至少一次之后,再来开会讨论缩表的事情,且委员会至少将讨论一次,才会做最终拍板。

更重要的,Powell 希望缩表的进程是有秩序的、是可被预见的过程。

从上述Powell 丢出的时间表看,我个人认为缩表将落在 2022 下半年,最快可能是 6 月份,因为在 3 月加息后,Fed 才会来讨论缩表。

我个人相信 Fed 现在内部早已在讨论缩表,但委员会显然尚未准备好来与市场沟通缩表的前瞻指引。

而缩表这麽大的事情,我个人认为 Fed 需要起次跟市场沟通 2 次,并把缩表规划说得非常清楚之后,才会开始进行,所以比较合理的缩表时间,估计将会落在下半年。


5.最大风险:高通膨

Powell 在记者会上,大概提到了 800 万次的“高通膨压力”,并认为目前美国通膨风险仍在上升阶段,但预计 2022 通膨还是会回落。

Powell 说明,目前美国通膨居高不下,主要仍是供应链所致,白话来说就是供需仍然失衡,且供给侧 (Supply Side) 改善的速度是低于预期。

Powell 强调,目前美国高通膨持续存在,而美国经济要的是长期扩张,所以若要长期扩张,物价势必需要保持稳定。

这边开始进入正题了,我认为这是本次会议的最重要核心,是让我体感上,觉得 Fed 鹰派的地方。我认为 Fed 承认自己落后给菲利浦曲线 (Behind the curve),简单而言,Fed 这次的加息速度大幅落后给通膨。

由于 Fed 在 2021 年对于通膨的误判,先前 Fed 在 2021 年认为通膨在年底就可望自然回落,但也就是因为这件事没有发生,反而通膨还更为严重,所以目前才有使用加息来追赶通膨的压力。但当前宏观环境看,通膨的压力是来自于缺工、供应链紧俏等问题,再加上拜登政府的大力推行财政刺激在那边推波助澜~

所以这一次的通膨是来自于实体经济上的供需失衡问题,并不是金融市场过度投机、企业超额投资等问题,我认为 Fed 在这次的通膨问题上,能做得空间非常有限。

这裡将产生一个不确定性的较大风险,就是 Fed 只能靠货币紧缩去压通膨预期,但实体经济的根本性通膨问题,还是没有获得解决。变成最终 Fed 只能再用更剧烈的紧缩政策,去引导通膨预期走低后,尝试来压低实际通膨率,所以这裡将让 Fed 的紧缩路径,存在著较大不确定性。

比较好的处理方式,应该是直接去解决实体经济上的缺工和供应链/例如我之前提到的塞港问题,让实际通膨率自己走低、而不是靠 Fed 挤压通膨预期之后去引导。

谁可以去把坐在白宫裡疑似患有阿兹海默的白髮老头一巴掌打醒...还我特~


结论:我个人认为 Fed 今年将加息四次,不至于加息五次,而加息四次之预期,相信市场应该已经定价;至于缩表,相信市场尚未定价,估计将落在 2022 下半年,最快可能是 6 月。

如果 Fed 今年加息五次,我会感到非常意外,因为这意味著 Fed 很可能在 2023 年底、2024 年初,就因为美国经济放缓太快而需要降息,Fed 这波操作就会变得非常韭。

最后说说股市的想法目前 Nasdaq 已经插水一段时日,抑制通胀是当务之急,而股市所谓修正才多久已出现V转。对通胀而言意义不大,修正数月才可能有帮助~所以我之前一直描述为“恐慌”。因此对白髮老头而言,怎麽做才有利于中期选举就很清晰了。

最好还是坚持认为市场或已定价加息四次之预期,但缩表预期则是尚未定价的观点。

配置上美股我倾向持有科技权值股,一些 Megacap 的估值我认为合理、前景确定性较高,而这样也可以让你的收益贴著 QQQ 走。

考虑到一堆成长股腰斩,我也愿意加仓接刀成长股,但建议佔据投资组合的比例,或许不要超过 15%,如果选股功力不错,这裡就会开始让你的收益拉开与 QQQ 之类的差距。

最后,我相信人人都会想在市场下跌的环境裡接刀,接刀不是不行,但若接刀失败,斩缆我建议速度要快,我个人不考虑价投的话一次斩缆的比例都是 50% 以上。


user avatar   day-1-80 网友的相关建议: 
      

真·天龙人来了。

我屁股下的这个embody罗技款不知道值不值天龙人的一台电脑?

不知道有几个天龙人当初跑到香港自提首发四公主?

不知道天龙人的电视几万?我这个早买的了,75z9d。psvr也是入的首发。

再比比打机环境?

朋友帮忙给我找的原价国行。(不帮买,朋友的店里之前就已经排队到了一百多人)



这电脑在天龙人里什么水平?为了玩4k的原神换的xg43uq和3080,纯娱乐用,非图形工作者。

其他小玩意就不显摆了。

就想说一句话,玩个游戏还玩出优越感的都是什么心态啊????

之前看了一个回答说得很好,你以为你是婆罗门,实际上在别人眼里你们都是印度阿三。

拿原神对比3A,想得出来什么结论?原神比不上那些3a,所以原神玩家就比不上3a玩家?我呸,那游戏是你做的?


装半天13其实没有真正回答这个问题,因为觉得懂得都懂,但是鉴于一些朋友很“幸运”没有接触过这类人,我就多唠叨几句。

天龙人,不是单机玩家(我就是单机玩家)的代名词,是以玩过看过听过甚至知道3a大作为荣的一群人。就像百万塞尔达不是指野炊玩家(我就是野炊玩家),而是看着像就说抄袭,像疯狗一样攻击别人,疑似水军的人。

天龙人鄙视原神,但是原神在进步,成绩也越来越好,打了曾经预言原神会暴毙人的脸。

玩家喜欢原神,自然热度高,还会夸,但这在天龙人眼里就是尬吹,他们通过用3a顶级大作去对比原神,说明原神辣鸡,去鄙视原神玩家,各种侮辱性的模版语录被传播,逻辑不严谨,但侮辱性极大。

其中最让我无法接受的就是“玩过好游戏的不可能玩原神”,“你觉得原神做得好是因为你没玩过好游戏”。这两句话把天龙人的优越感体现的淋漓尽致,何不食肉糜溢出屏幕,且不说画风不同,萝卜白菜各有所爱,就是人们的时间和设备也有很大差别,选择哪款游戏喜欢哪款游戏是玩家的自由,你哪来的脸指指点点说三道四?更何况,我遇到的很多说这话的人只是知道几个游戏,甚至玩盗版,模拟器,属实是精神天龙人了。

所以你喜欢鄙视是吧?那我就让你尝尝被鄙视的滋味。


玩家“尬吹”原神有没有错,个人认为只要不到处ky,踩一捧一,那吹一吹没问题。换位思考,我吹过p5天下第一,mhw天下第一,血源诅咒天下第一。

这时候有个不玩游戏的过来和我说,“什么电子海洛因就天下第一?玩游戏玩傻了吧?玩游戏有什么意思,几百几千的东西,来玩模型/文玩/改装车啊,随便一件就顶你们一堆。”

大家觉得这话有错吗?人家说的没错啊,确实一个模型几千上万,一件好的文玩也价格不菲,确实顶一堆。

但这人说话合适吗?太欠揍了,因为大家本就不是一个圈子的,我玩我的,碍着你了吗?你有病啊跑我这来?

同理,天龙人跑到原神这来用3a对比也是这样。有人可能会说,原神和3a同属游戏,是一个圈子。真的是吗?原神虽然上了ps5,但他的模式和以往的单机作品是不一样的,他可以算作是一种网游,生产周期,盈利模式,游玩设备,和以往的几年出一作的传统单机完全不一样,玩家群体也很不相同,根本不算一个圈子。

如果你觉得是一个圈子,那我没啥好说的,游戏/模型/文玩还都属于休闲娱乐圈子哩。

所以大家明白为什么天龙人用3a对比原神恶心了吗?首先主语是天龙人,他的对比就不是想好好对比,而是粗暴的把3a当武器,去攻击原神和玩家。其次这群天龙人见不得别人吹原神,跑到圈子里来恶心人。最后您要想说原神圈子里也有恶心的人,这我承认,哪个圈子没极端?甚至我看到这种言论也说他两句。当然如果你认为你遇到的所有原神玩家都极端…那请你先审视下自己的话有没有问题吧。我见过不少说原神玩家听不得别人说原神的一点不好。我翻看他的资料看他说的“一点不好”,呵呵,全是偏见与傲慢。不被喷才怪。


哎,管理员告诉我不样挂人,行吧,我都删了,反正大家知道有几个特别懂礼貌的高贵天龙人来私信我请我喝欧泡果奶就行了,咱也不知道咱是ky了还是尬吹了,现在以其人之道,还治其人之身也要被骂了?反正这些人不是破防了,一定不是。

还有某位同学呀,坐井观天不可取,你不能自己还啃老呢,就觉得别人都啃老。我啃我自己,放我自己家的照片也碍着您了?想反驳我也要找好角度是不是?你看看评论区有几个朋友反驳的就很好,当然他们要是能对天龙人也一视同仁就更好了。


再次声明,本人觉得一个人一个活法,一个人一个爱好,鄙视链装13不可取,本无意扮小丑,只是以暴制暴,恶心天龙人,非天龙人请勿在意,如引起您的不适我先道歉了。


请大家友好交流,很多评论不予显示或者被删除了,这里面没有一条是我删的,都是系统判定不友善。




  

相关话题

  有没有手算根号pi的方法? 
  一堆n维空间的由m个点组成的点集,m大于n,我们只知道它们之间的距离,能否判断所在空间的维数? 
  苹果的 Differential Privacy 差分隐私技术是什么原理? 
  面试题:一个长度为n的数组,其中数组中每个元素的值都不大于n,如何用O(n)的算法判断数组中是否存在重复元素? 
  机器学习里的 kernel 是指什么? 
  如何计算一局三国杀所进行的回合数的数学期望? 
  算法A时间复杂度O(n²),算法B时间复杂度为O(n³),为什么选择算法B而不选算法A的6个理由? 
  一个程序员的水平能差到什么程度? 
  是否存在时间复杂度是O(tan N)的算法? 
  std::list::sort 用了什么算法?为什么速度这么快? 

前一个讨论
一个部门离职率太高说明什么?
下一个讨论
毛晓彤拍摄电视剧《不良人》 1250 万片酬遭拖欠,对方已无财产可执行,毛晓彤现在应该怎么办?





© 2024-12-27 - tinynew.org. All Rights Reserved.
© 2024-12-27 - tinynew.org. 保留所有权利