为什么 Non-Convex Optimization 受到了越来越大的关注？ 第1页
1
you-hong-you-zheng 网友的相关建议:
简单总结下我知道的几类能够快速得到globally optimal solutions的nonconvex optimization:
1. Geometric Programming
https:// stanford.edu/~boyd/pape rs/pdf/gp_tutorial.pdf
思路: 通过变量代换将nonconvex problem转化为convex problem。这个例子说明(non)convexity是coordinate dependent的。
2. Compressed Sensing
参考Donoho, Candes 和Tao的一系列发表在TIT上的文章。具体的我也不懂，就不乱说了。
3. Quadratically Constrained Quadratic Programming (inequality constraints数量小于等于2)
https:// web.iem.technion.ac.il/ images/user-files/becka/papers/13.pdf
思路: 考虑dual problem，证明strong duality。当inequality constraint数量为1的时候一个重要的特例是Trust region subproblem。
4. Large-scale Separate Nonconvex Optimization Problem
http://www. mit.edu/~dimitrib/Duali ty_Gap.pdf
思路: 通过Shapley-Folkman Theorem证明了当separate terms趋于无穷的时候，duality gap趋于0，因此可以通过求解dual problem来得到原问题的optimal solution。一个通信中重要的应用是
http://www. comm.utoronto.ca/~weiyu /01658226.pdf
5. Singular Value Decomposition及其应用
先来两个小例子热热身
(Principle component analysis)
令 的SVD为, 则第一个问题的最优解是
第二个问题的最优解是
在通信和信号处理里面非常重要的一类问题有下面的形式
其中 是matrix increasing且concave的, 是任意的Hermitian matrix. 注意到当 时，这个问题退化成上面的第3类问题。当 是一个任意的满足matrix increasing以及concave的函数时，我们可以对 做SVD: , 然后通过manifold optimization来刻画出unitary matrices 和 的结构，最后优化 .
这是目前想到的比较重要的几类，有空继续更新。
eyounx 网友的相关建议:
非凸优化本就该受到高度的关注，原因就如同上面“月光宝盒。。。”说的一样，现实问题中凸问题测度为0，绝大多数优化问题都是非凸的。所以我觉得问题应该是，为什么非凸优化现在才开始受到越来越多的关注。 凸优化与梯度方法紧密联系在一起，并不是因为梯度方法有多强，而是因为凸优化有多简单。其实优化的原理很简单，寻找关于最优解的信息，然后走向最优解。凸优化之所以简单，那就是每一个局部点的（负）梯度方向都指向最优解，因此求导就知道该往哪个方向走。而非凸、尤其是有大量局部极值的非凸优化问题，梯度与最优解不再有什么关系，最多是指向局部极值，因此梯度方法在有许多局部极值的非凸问题上不再有效。 上面有人讲了很多凸放松的例子，比如用L1范式代替L0、用nuclear norm代替rank等等，只有在很有限的范围下，这样的放松不会改变问题，更一般的情况，非凸问题进行凸放松，往往会改变原始问题。这是数学家最爱做的事，把不能解决的问题拉到能解决的范围。虽然优化变得好解了，然而离我们的目标可能更远了。 关于深度神经网络，似乎用梯度效果不错，是不是梯度方法就够了，可见最近ICML'17上的文章 “Failures of Gradient-Based Deep Learning“。 所以，优化是学习最重要的部分吗？我觉得不是，学习可以看作“表示+评价+优化”，优化只是学习的实施工具，泛化才是最关键的问题，如何设计更好的数据表示、更好的模型结构、更好的目标，以取得更好的泛化能力，是更需要考虑的问题。 然而，当我们只有梯度这一种实施工具的时候，表示得想着线性、模型要顾着简单、目标最好是凸的，削足适履，牺牲了设计机器学习系统的自由，失去了更多的可能性。 非凸优化的研究，是否是在凸优化的基础上继续往前走就可以解决，凸优化是否是非凸优化的基础，我感觉不会。两者是性质差别巨大，会搭积木也不是会盖大楼的基础，不同的问题需要有不同的方法。 顺便推销一下，其实有另一类优化方法——“非梯度优化”，更适合非凸优化问题。可见 https://www.zhihu.com/question/38677354/answer/151325951 这一类方法已显示出很好可用性，但还有很多富有挑战的问题有待研究。（打个广告）欢迎尝试非梯度优化python工具包 ZOOpt https://github.com/eyounx/ZOOpt 其中示例有非凸损失分类器学习、直接策略优化强化学习、L0范数稀疏回归直接求解等。梯度与非梯度的混合，可能更具潜质。 欢迎加入非梯度优化和学习的研究！ for more possibilities! for freedom!
mirukuzhang 网友的相关建议:
离完美的全能本还差几步？——华硕 天选3评测（i7+3070版）
天选系列从诞生至今，一直有着极高的讨论度和不错的销量。无论是二次元属性的天选姬，还是备受好评的「魔幻青」配色都是一道非常靓丽的风景线。
此外，天选系列的前2代总有着特殊的引发讨论技巧：
1代面世时除了其首发AMD的4000系CPU之外，那块45%NTSC色域的144Hz屏幕也成功打破了「高刷屏都是好屏幕」的定律，QLC表面固态硬盘也是2020年华硕非常独家的特色；
2代改进了屏幕刷新率，换上了TLC固态，但性能释放沦为了2021年游戏本基石单位，不支持独显直连更是进一步奠定了其稳定的地位。
这些并没有妨碍天选系列不错的销量，也好在产品经理没有躺在销量数据和拥趸的支持之上，在这次的3代做出了不小的进步。
独显直连有了，性能释放好了，机身还更轻薄了，青天就有了！（x
购入渠道
这次的首发供货非常少，京东渠道出货不到1万台。我是从咸鱼加价400入手的。（可能是经历了去年，居然感觉加价400完全可以接受…）
配置一览
对这样高功耗的i7-12700H、RTX 3070，同时还能有90Wh的电池，机身做到了2.05kg，重量控制非常好。某种程度上完全可以起到部分全能本的职能。
最遗憾的是不支持PD充电。
故外带时要带上1斤4两的240瓦适配器，出行重量骤增。
测试环境/跑分原则
室温保持在24.0°C~26.0°C之间（空调调温，没法做到恒温，望见谅）。
机器在控制台中有3个模式可以选「安静模式」、「性能模式」和「狂飙模式」，可用Fn+F5进行切换。
若无，测试均采用「增强模式」。
除了续航测试使用「集显输出」（iGPU）之外，其他测试均开启MUX的「独显直连」选项。
「独显直连」图形性能更好，「混合输出」续航更好。
所有跑分、帧数测试都会重复5次，每次跑完后静置5分钟再开始下一次，取最高分。
外观
英特尔版天选3的3070显卡只有「日蚀灰」配色可选，无魔幻青。黑色有个小缺点，就是手上的油容易沾染，看上去比较明显。幸好比较好擦。
A面有LOGO「TX」代表天选（和企鹅没啥关系），位于上部。
B面&屏幕素质
B面为一块2160*1440分辨率、165Hz刷新率的屏幕。没有采用16：10的屏幕稍有可惜，下巴2指宽。
屏幕来自京东方。
作为一块广色域屏幕，色域容积142.7%sRGB、101.1%DCI P3；色域覆盖99.9%sRGB、98.9%DCI P3。
sRGB基准下，色准并不理想。有条件的话最好自行校色。
屏幕最高亮度为310尼特，边缘仅250尼特左右，在同定位&同价位游戏本里明显偏低。
C面键盘布局
键盘布局方面，风格延续上一代，WASD采用了反色设计。方向键半高。空格左半部分的突出被取消。数字小键盘相对完整，Delete和小键盘切换按键被做到了一起，对我来说需要适应。键盘手感回弹偏软。
最大可开合角度如图。
机器有运输模式，不插电无法直接开机。
CPU：i7-12700H（90W）
之前已经测过了，而这也不会是最后一台，应该未来很长一段时间时间内很熟悉很主流的CPU。
15轮R20：稳定分6622
除了开头2次之外，之后基本稳定在6620分左右，取后5轮中位数6622。
观察功耗可以发现，第一次较高，第二次逐步下降到100W，第三次出现波动，第四次开始比较平稳，打包功耗90W，IA大约83W，符合跑分曲线。
大小核频率如图。（蓝线大核频率，橙线小核频率）
R23跑分：多核16619，单核1803
功耗表现如图（蓝线打包功耗，橙线IA功耗）
大小核频率如图（蓝线大核，橙线小核）
显卡：RTX 3070（140W）
RTX 3070是我心目中笔记本最值得选购的旗舰级显卡，处于一个性能与价格的甜区。
跑分
TimeSpy图形分 10261分
FSE图形分：13134
Superposition 1080P Extreme：6637
游戏表现实测
网游
测了DOTA2、CSGO和《彩虹六号·围攻》3款网游在1440P和1080P下的表现。
DOTA2：全最高特效，比赛编号6040722034，完美世界视角。
CSGO：开多核渲染，其他全部最低，创意工坊BenchMark。
彩虹六号围攻：全最高档，性能测试。
可以看出网游部分的1080P和1440P分辨率下，帧数基本非常接近。可以任意按照自己喜好开高。
单机游戏
对比上面的网游，单机中，1440P和1080P分辨率下，帧数差距还是比较大的。帧数和清晰度不可得兼。
续航测试
机器电池为90Wh。
把机器切换至核显输出，系统为「均衡模式」，中心亮度150尼特，开WIFI，关蓝牙，PC Mark 8的Conventional测试，办公场景下的中高负载，成绩比较接近实际使用。
实测续航为5小时15分，Conventional 3.0 Score为3572分。
烤机/散热测试
室温在25°C附近。
单烤CPU
使用AIDA64中的Stress FPU单烤CPU。
20分钟后，CPU功耗为90W，温度为87°C，大核3.6GHz，小核2.9GHz。
图上可以看出一个小插曲：单烤CPU期间，桌面突然变成一片白…我寻思又不是海涛，给我看一片纯白干甚…之后在任务管理器启动Explorer才恢复正常。
单烤期间功耗如图。
前期会冲到115W左右，前3分钟会保持在约100W（中间有过瞬间掉下去），之后稳定在90W。
单烤显卡
使用Furmark 1.10.6（比较老的版本了，只不过我之前电脑都用这个烤的，所以暂时还没换新版本）。
关抗锯齿、1920*1080、勾选Burn-in和X Burn-in。
20分钟后，GPU温度75.8°C，功耗139.5W，频率1260MHz。
除了偶尔掉到过125W左右，其他时间基本全程在140W左右。
双烤
同时进行上面2项测试。数据取20-30分钟的平均值。
CPU功耗48W，温度为82°C，大核频率2.54GHz，小核频率2.29GHz。
GPU功耗115W，温度78.1°C，频率837MHz。
CPU功耗、GPU功耗与总功耗如图。
从110秒左右开始区域稳定，达到CPU 48W加上GPU 115W的功耗水平。
测试时电脑和分贝仪有固定位置，大概是在这个位置关系，比较接近人耳所听到的噪音，可能会比其他测试者的数据低一些。
烤机全程最高为52.3分贝，总体还算可以接受的水平。
此时键盘表面温度如图。
腕托为室温，WASD区域仅30°C附近比较低，键盘最热的区域在上部，键帽最高温在F8按钮名为48.4°C。中间有一个倒三角区域相对偏热，其他的地方温度都不算很高。
另外，这台机器用瓶盖垫高机身之后，双烤成绩上除了CPU和GPU的频率稍微提高，其他部分几乎完全一致，可能是原本已经有4个出风口充分散热的关系，底壳基本不出风。
拆机
拆机不难，机器底面除了右下角的螺丝之外的11颗螺丝全部拧下。
注意拆的时候右下角一颗螺丝是和后盖一体的，无法取下，但一定一定也要拧松。
先从这个螺丝周围开始撬开，右边撬开之后就比较方便可以拆下了。
机器为双风扇、五热管、四出风口的散热设计。贴纸下面有硬盘和内存。
内存
我这台机器内存是三星的，跑分如图。读写都在56GB/s左右，延迟102.3ns偏高（DDR5目前的通病）
硬盘
硬盘为美光的3400，大文件读写的跑分如图。
ASSSD的10GB读写跑分如图。
CrystalDiskMark的32GB读写跑分如图。
硬盘初始状态没有分盘，全部在一个C盘下，还剩余396GB（图为393是因为我装了测试软件）
机器总结部分
优点
1.机身轻
一拿到手的时候，就能感觉到，机器总体的重量比以往任何一台15.6寸的3070游戏本都要明显轻，这种第一印象是很好的。
在这样的机身重量下，双烤成绩弱于部分更重、更大的游戏本，其实是完全可以接受的。
2.游戏表现达到主流水准
双烤47+115不算特别出色，但已经完全不拉跨了。相比于上一代天选2的3070，那这一代进步非常明显。
游戏的表现也都达到了主流水平。除了个别像2077这样优化不好的游戏，或者像《全战·三国》这样同屏单位多的游戏，其他大部分单机游戏都能1440p开预设的高档位拿到60帧以上，这个成绩是很令人满意的。
3.散热和隔热还行
键盘的键帽温度热区在中间，基本避开了WASD部分，而且腕托很凉快。
同时，噪音比想象中要小很多，也不是特别吵的那种，使用体验是OK的。
缺点
1.屏幕素质有待提高
当价格来到五位数的时候，我认为屏幕最高亮度至少也得有350尼特吧…310尼特真的有点拿不出手了，这点真的不得行啊。
机器的其他硬件已经都没啥问题了，硬盘、内存都没缩，网卡也是AX201，但就是这个屏幕给了个300尼特屏…淦…
同时，作为一块广色域屏幕，在色彩管理上基本没花心思和力气，非常放任。
2.不支持PD充电
这点其实是我感觉特别难受，要是这台机器支持PD，那我就不出二手留下自用了。
不满意的地方在于，明明ROG是支持PD的，而且之后会发售的天选Air也是支持PD的，天选3不支持PD完全是有意而为之的选择，真的感觉很不爽…
这样一来，机身轻的优势完全被不支持PD给削了一大部分。
我要是出趟门，你猜我更愿意带这三个充电器里左边这两个，还是右边这个？
尤其对我这种有紫米20充电宝的，我就更希望会支持PD了，这样找不到插头还能用充电宝应急。
3.i7+3070版目前只有一个配色
不是很清楚为啥机器没有天选3经典的「魔幻青」配色。倒不是我多喜欢这个颜值，只是黑色真的容易看起来脏。
而且锐龙版3070也有，怎么这Intel版的3070就没这个颜色了…很奇怪。
缺货，需要加价
这个没啥好说的，英特尔版京东放货7000台，锐龙版甚至不到5000台…目前需要加价购买。
购买建议
总得来说，天选3是天选最均衡的一代，这次测试的3070版表现也远超个人的预期。
由于个人原因经常在多个城市之间来往，手头的17.3寸笔记本多有不便，今年也一直在考虑换一台笔记本。天选3差一点就成了我的落脚处，可惜最终由于屏幕不够亮、不支持PD两个主要原因，算是擦肩而过了…
总得来说，如果你对天选系列的外观垂涎已久，那天选3就是目前最值得购买的一代。
如果你需要当一个便携的全能本来用，那记得要把适配器重量也考虑在内。
如果上面提到的2个问题你不在意，又需要换一台12代的新3070游戏本，那目前天选3的3070版是值得考虑的。
至于上面提的2个主要缺点，大家多吐槽吐槽，按照天选以往每年的进步来看，说不定天选4就会更好。
这台机器，原价10299，我10700入手，按惯例一般是自刀300。
不过这台机器涨价买，而我无论如何都不太能接受自己的二手价高于首发价，会有点良心不安，因此折价500，按10200出。
等我视频做完就会放上海鲜二手平台，有兴趣的朋友可以去蹲一下。
1
相关话题
人脑有海量的神经元（参数），那么人脑有没有「过拟合」行为？机器学习的算法和普通《算法导论》里的算法有什么本质上的异同？
wasserstein 距离的问题?
为什么 Non-Convex Optimization 受到了越来越大的关注？
你遇见过什么当时很有潜力但是最终没有流行的深度学习算法?
测试集在构造的时候需要人为控制其中应该正确的和应该错误的数据比例吗？
既然使用神经网络也可以解决分类问题，那SVM、决策树这些算法还有什么意义呢？
小样本学习中关于虚拟样本有效性的问题？
在机器学习中，L2正则化为什么能够缓过拟合？
CVPR 2015 有什么值得关注的亮点？
相关的话题
机器学习能否用于综合评价？具体怎么操作？机器学习中非均衡数据集的处理方法？
机器学习该怎么入门？
你见过哪些“人工智障”?
如何评价 马毅教授 的 NeurIPS 2020 中稿文章 MCR2 及 自称弄明白深度学习了？
什么是迁移学习 (Transfer Learning)？这个领域历史发展前景如何？
如果有一天人类被AI取代，他们将以什么样的方式生活，娱乐，工作？
统计模型和概率模型的区别是什么呢？
为什么deep lab v3起，输出不再接 DenseCRF了？
机器学习为生物学和医学研究带来了哪些改变？能解决哪些医学难题？
为什么在SGD中使用L1正则化很难获得稀疏性？
谈谈机器学习在网络安全领域的局限性，以及是否乐观？
能否训练一个AI模型来预测房价，寻找投资机会挖掘价值洼地？
MPI 在大规模机器学习领域的前景如何？
机器学习小白来提问：关于联邦学习FedAVG和FedSGD的问题？
机器学习如何才能避免「只是调参数」？
如何看待斯坦福博士生2prime陆一平关于新冠起源的一系列言论？
自学深度学习是怎样一种体验？
如何看待与评价 AAAI 2022 的录用结果？
面试官如何判断面试者的机器学习水平？
计算机视觉（cv）方向今年招聘情况怎么样?是否已经人才过剩?
cygwin和mingw选哪个？
对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
次世代主机机能那么高，以后游戏的开发成本怎么办？
算法工程师的落地能力具体指的是什么？
不能直接计算导数值时，有什么优化算法？
知识图谱+nlp，有什么适合硕士独自研究的方向？
深度学习领域有哪些瓶颈？
当初的生物热，和如今的全民CS全民AI，让你想到了什么？
怎样衡量一个机器学习工程师对算法的掌握程度？