手机浏览器扫描二维码访问
实际上,马斯克没有对这件事情抱有特别大的希望。
在他看来,孟繁岐上次给出的方案已经好到非常离谱了。
在这个大家才刚开始复现DreamNet,还没把残差的原理和一些变种搞明白的时间点,孟繁岐已经针对各种不同平台的其他运算设备,做了相当多的实验。
从而通过优化算子结构,调整特定计算过程的方式,将这个核心的骨干网络参数量减少了接近十倍。
运算快了这么多,性能却没什么变化,这已经非常不得了了。
马斯克有这一问,也是私下里的随口一提。
但他名头太大,以往自己做的事情又太疯狂,导致孟繁岐听着他那颇为低沉,有磁性的声音之时,当了真。
还真以为这是个非常严肃认真的需求。
“自动驾驶的热度确实也快起来了,我专门针对这方面做点优化工作,也不算亏。”
孟繁岐一边利用着重生优势开始抄底一些车企的股票,一边开始着手实现一个巧妙的加速并且节省内存的方式。
这个新的优化办法叫做网络结构的重参数化。
这半年来,视觉方法性能的突飞猛进来自于孟繁岐提出的残差方法,也就是将y=F(x)变为y=F(x)+x。
这里的写法比较简便,将一系列复杂的操作,抽象归纳为F(),在实际运算过程中,这个F()还是比较复杂的,往往需要算上好一会。
但在计算的时候,就有一个问题了,原本y=F(x)运算开始的时候,就不再需要继续存储x这个变量了,因为它已经在参与F(x)的运算。
在运算过程当中,它会变成其他的中间变量,然后最终变为我们所想要的y。
可在残差办法当中,y=F(x)+x,x这个原始的输入,是不能够舍弃的。
必须有空间一直被占用着,用来存放这个x,因为它还等着最后加上去呢。
在比较复杂,分辨率比较高的任务当中,这个变量的大小是相当可观的。
这种情况有没有办法可以规避?规避之后,残差方法带来的性能提升能不能不要被影响?
答案当然是肯定的,完全可以做到。
孟繁岐准备实现的这种结构重参数化,其最核心的思想就是模型训练和实际使用推理的分离。
首先构造一系列结构(一般用于训练),并将其参数等价转换为另一组参数(一般用于推理),从而将这一系列结构等价转换为另一系列结构。
在现实场景中,训练资源一般是非常丰富的,可以在大型的服务器上得到。
而推理的时候,计算资源往往会比较有限,因此大家更在意的是推理时的开销和性能。
想要训练时的结构较大,具备好的某种性质,比如性能特别好,准确率特别高。
但在推理的时候,则把结构变小变快,同时在数学上等价于大型的结构。
孟繁岐的这个新办法,就提供了这种可能,他相信,重参数+移动端网络的算力削减,将会成为自动驾驶领域的一大催化剂。
最新网址:
本站网站:
日更,晚十一点,下一本我是大佬白月光求预收鸭 末世大佬沈轻舟穿越到了星际时代,身上还多了一个系统。 面对着人气值不够就抹杀的威胁,沈ampmiddot美食大佬ampmiddot轻舟表示不在怕的。 在东方美食的魅力下,星际网友纷纷沦陷,爱舟爱得无法自拔。 但是后来 大家发现这个他们眼中quot身娇体软quot的小哥哥能背摔大猪,能手锤猛虎,锅中食材还都是传说中的噩梦级生物! 网友!!! 再后来 大家发现自从观看沈轻舟的直播后,困扰了星际几千年的精神狂暴问题迎刃而解,妈妈再也不用担心我爆体而亡啦! 消息一出,众大佬捧着钱蜂拥而至,却发现无论怎么砸钱,土豪榜的第一却始终无法撼动。 再再后来 他们得知打赏榜第一是那个暴君卡洛斯,而沈轻舟就是他们未来的王妃,网友们的眼眶湿了。 不过他们酸的不是沈轻舟,酸的是暴君 陛下,你都拥有整个星际了,就不要和我们抢人了吧QAQ更多甜文戳作者专栏可见,求预收鸭★下本开我是大佬白月光娱乐圈,求个收么么哒 九尾灵狐苏唐在沉睡千年后苏醒,睁眼就被神经病丢进娱乐圈。 看着身边的野鸡经纪人,苏唐叹口气,决心还是靠自己。 盛世美颜气质佳,众多前辈争罩他,君子六艺不在话下。一时间,苏唐quot古风贵公子quot的名号响彻饭圈,成功靠自己闯出了一片天下。 但是苏唐还是被撕了 千年前他的粉丝卧槽哪来的野鸡十八线?敢蹭我们竹林公子的热度,你活腻歪了吧? 千年后他的粉丝呵呵历史圈请不要脸大,贵公子是你们家专属的嘛? 苏ampmiddot竹林公子ampmiddot唐心情复杂 无人知晓,曾拯救妖界于水火的妖管局局长楚洛,心中有个横亘千年的白月光。 他为白月光冷心千年,却一朝对一只小狐狸动了情。面对着选白月光还是朱砂痣的艰难抉择,楚洛日夜煎熬。 后来,楚洛发现朱砂痣就是失了忆的白月光,顿时松了口气。 媳妇,我来了! 兴冲冲凑上去的楚洛被推开了。 只见眼前的小狐狸弯着一双好看的桃花眼,语气礼貌而又疏离。 quot谢谢前辈,我不炒cp的quot★★推荐基友友的新文睡醒成了影帝的猫,极度缺爱国际演员受,被当红影帝毛绒空攻宠上天的甜甜甜故事,感兴趣的小天使可以去看看鸭...
文案一个老婆,多重体验!结婚100天后,沈赋发现了老婆的秘密,她竟然不是一个人在战斗!她可以是霸道女总裁,也可以是萌萌小吃货,她既能舞文弄墨,也能舞枪弄棒,更是考试小帮手,无...
每天五更,稳定更新!沈万三,借你的聚宝盆能还了吧?这都拖了几百年了,你赶紧还!悟空啊,金箍棒该还了吧?你想赖账啊!太白老头,炼丹炉还没用完?...
关于重回82我九个女儿美炸了人生七十古来稀。唐建成的七十寿宴上,来的宾客是真的稀!除了他脚边的大黄狗,一个人都没有!实际上,他曾经拥有九个女儿!想着伤心往事,唐建成不知不觉喝醉了,而等他再度醒来的时候,居然回到了1982年!回到了他第九个女儿刚出生后的第十天这一次,他发誓要是守护自己的女儿,让她们一个都不少,快乐成长!...
康熙四十九年,咸鱼耿妙妙被一顶小轿抬入了雍亲王府。论家世,她垫底,其他人的阿玛是知府主事,她的阿玛是管领,五品小官论情分,她刚入雍亲王府,福晋乌拉那拉氏侧福晋李氏,格格钮钴禄氏宋氏等人哪个不...
...