MIT科学家创建出STEGO算法 可无需人工监督为像素分配标签

   2022-04-22 盖世汽车资讯0
核心提示:盖世汽车讯 据外媒报道,麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)、微软和康奈尔大学(Cornell University)的科学家们创建出算法“STEGO”,可在完全没有任何人类标签的情况下共同发现和分割对象,乃至像素

盖世汽车讯 据外媒报道,麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)、微软和康奈尔大学(Cornell University)的科学家们创建出算法“STEGO”,可在完全没有任何人类标签的情况下共同发现和分割对象,乃至像素。

MIT科学家创建出STEGO算法 可无需人工监督为像素分配标签

图片来源:MIT CSAIL

STEGO学习了“语义分割”——想象一下为图像中的每个像素分配标签的过程。语义分割是当今计算机视觉系统的一项重要技能,因为图像可能会被物体弄得杂乱无章。更具挑战性的是这些对象并不总是适合文字框。相对于植被、天空和土豆泥等,算法往往更适用于人和汽车等离散的“事物”。以前的系统可能只是将狗在公园里玩耍的细微场景视为狗,但通过为图像的每个像素分配一个标签,STEGO可以将图像分解为其主要成分:狗、天空、草和它的主人。

为了降低耗时,在没有人类帮助的情况下发现对象,STEGO会寻找出现在整个数据集中的相似对象。然后,它会将这些相似的对象关联在一起,以在它学习的所有图像中构建一致的世界视图。

看世界

可以“看到”的机器对于自动驾驶汽车和医疗诊断预测模型等各种新兴技术至关重要。由于STEGO可以在没有标签的情况下学习,它可以检测不同领域的对象,甚至是人类尚未完全理解的对象。

麻省理工学院电气工程和计算机科学博士生、麻省理工CSAIL的研究附属机构、微软的软件工程师,以及STEGO相关论文的主要作者Mark Hamilton表示:“如果你正在查看肿瘤扫描、行星表面或高分辨率生物图像,若没有专业知识,很难知道要寻找什么物体。在新兴领域,有时甚至人类专家也不知道什么是正确的对象。在这些情况下,我们想要设计一种在科学边界上运行的方法,而不是指望人类在机器之前搞清楚状况。”

视频来源:MIT CSAIL

STEGO在一系列视觉领域进行了测试,包括一般图像、驾驶图像和高空航拍照片。在每个领域,STEGO都能够识别和分割与人类判断密切相关的对象。 STEGO最多样化的基准是COCO-Stuff数据集,由世界各地的不同图像组成,从室内场景到运动的人,再到树木和奶牛。在大多数情况下,以前最先进的系统可以捕捉场景的低分辨率要点,但在精细细节上却差强人意:人是一团的、摩托车被识别为人,甚至还无法辨别所有鹅类。在相同的场景中,STEGO将先前系统的性能提高了一倍,并可发现动物、建筑物、人、家具等许多概念。

STEGO不仅在COCO-Stuff基准测试中将先前系统的性能提高了一倍,而且在其他视觉领域也取得了类似的飞跃。当应用于无人驾驶汽车数据集时,STEGO比以前的系统具有更高的分辨率和粒度,可成功分割出道路、人和路牌。在来自太空的图像上,该系统将地球表面的每一平方英尺分解为道路、植被和建筑物。

连接像素

STEGO,代表“基于能量的图优化的自我监督变压器(Self-supervised Transformer with Energy-based Graph Optimization)”,是建立在DINO算法之上,该算法通过ImageNet数据库中的1400万张图像了解世界。STEGO通过一个学习过程来完善DINO骨干,该过程模仿我们自己将世界的各个部分拼接在一起以产生意义的方式。

例如,人可能会想象两张狗在公园里散步的图像。尽管它们是不同的狗,拥有不同的主人,在不同的公园,STEGO依然可以(不依靠人类)分辨出每个场景的对象是如何相互关联的。研究院甚至探究了STEGO的大脑,想知道图像中每个棕色毛茸茸的小东西有何相似之处,以及与草和人等其他共享对象的相似之处。 通过跨图像连接对象,STEGO构建了一致的单词视图。

Hamilton表示:“这些类型的算法可以在很大程度上以自动化的方式找到一致的分组,因此我们人类不必自己这样做。理解复杂的视觉数据集(如生物图像)可能需要数年时间,但如果我们能够避免花费1,000小时梳理数据并对其进行标记,我们就可以找到并发现我们可能错过的新信息。我们希望这将有助于我们以更经验为基础的方式理解视觉词。”

MIT科学家创建出STEGO算法 可无需人工监督为像素分配标签

图片来源:MIT CSAIL

展望未来

尽管进行了改进,STEGO仍然面临着一定的挑战。一是标签可以是任意的。例如,COCO-Stuff数据集的标签区分了像香蕉和鸡翅这样的“食物”和像玉米片和意大利面这样的“食物”,STEGO并没有看到太大的区别。在其他情况下,STEGO也会对奇怪的图像困惑,比如一个香蕉坐在电话接收器上,而接收器被标记为“食品”而不是“原材料”。

未来,研究人员计划探索为STEGO提供更多的灵活性,而不仅仅是将像素标记为固定数量的类别,因为现实世界中的事物有时可能同时是多个事物(例如“食物”、“植物”和“水果”)。研究人员希望这将为算法提供不确定性、权衡和更抽象思维的空间。

Hamilton表示:“在制作用于理解潜在复杂数据集的通用工具时,我们希望这种类型的算法可以自动化从图像中发现对象的科学过程。在不同的领域中,人工标记的成本过高,或者人类根本不知道具体的结构,例如某些生物和天体物理学领域。我们希望未来能够应用于较为广泛的数据集。由于不需要任何人工标签,我们现在可以开始更广泛地应用ML工具。”

《全球汽车前瞻技术情报双周刊》

本文来源:盖世汽车资讯

 
标签: 前瞻技术
反对 0举报 0 评论 0
 

免责声明:本文仅代表作者个人观点,与爱美生活网(本网)无关。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
    本网站有部分内容均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责,若因作品内容、知识产权、版权和其他问题,请及时提供相关证明等材料并与我们留言联系,本网站将在规定时间内给予删除等相关处理.

  • Mobileye推出EyeQ Kit 支持ADAS系统
    Mobileye推出EyeQ Kit 支持ADAS系统
    盖世汽车讯 7月5日,英特尔公司旗下自动驾驶汽车部门Mobileye宣布推出其首款用于EyeQ®片上系统的软件开发套件(SDK):EyeQ Kit™,为全球汽车制造商提供驾驶辅助和未来自动驾驶技术。通过利用即将推出的EyeQ®6 High和
    07-07 前瞻技术
  • 苹果获泰坦项目新专利 一种带有绕线定子和端匝冷却的电机
    苹果获泰坦项目新专利 一种带有绕线定子和端匝
    盖世汽车讯 据外媒报道,美国专利商标局(U.S. Patent and Trademark Office)授予了苹果公司一项泰坦项目专利,名为“带绕线定子和端匝冷却的电机”。 泰坦项目概念图 图片来源:patentlyapple.com苹
    07-07 前瞻技术
  • 苹果获先进能量吸收安全装置专利 以控制未来自动驾驶汽车座椅系统的运动
    苹果获先进能量吸收安全装置专利 以控制未来自
    盖世汽车讯 据外媒报道,美国专利商标局(U.S. Patent and Trademark Office)授予了苹果公司一项泰坦项目专利:先进能量吸收安全装置,以控制与未来自动驾驶汽车座椅系统相关的各种组件运动。 泰坦项目概念图 图片来源
    07-07 前瞻技术
  • Orbis Brakes推出革命性盘式制动器系列Periodic Wave™
    Orbis Brakes推出革命性盘式制动器系列Periodic
    盖世汽车讯 7月5日,加州初创公司Orbis Brakes与NASA合作推出Periodic Wave™盘式制动器系列,有望带来重大革新。 图片来源:Orbis Brakes制动器被认为是汽车或卡车最重要的部件,但自20年前引入碳陶瓷制动
    07-07 前瞻技术
  • LIVEONE和ZYNC宣布合作 提供沉浸式车载影音娱乐体验
    LIVEONE和ZYNC宣布合作 提供沉浸式车载影音娱乐
    盖世汽车讯 据外媒报道,音乐、娱乐和技术平台LiveOne宣布与领先的车载娱乐平台ZYNC合作,独家提供个性化的车载影音娱乐。LiveOne的流媒体内容将于2022年底在获得ZYNC支持的梅赛德斯-奔驰汽车上推出,并于今年年末公布其他采用其
    07-07 前瞻技术
  • 特斯拉新软件更新 车辆可扫描崎岖不平的道路并避让
    特斯拉新软件更新 车辆可扫描崎岖不平的道路并
    盖世汽车讯 据外媒报道,特斯拉在新的软件更新中证实,其车辆现在可扫描崎岖不平的道路,如坑洼,并通过调整悬架避让以避免车辆损坏。 图片来源:FredericLambert为了实现全自动驾驶,系统必须能够处理不同的场景,包括各种天气和路况。但
    07-05 前瞻技术
  • 加州大学工程师开发出新锂离子电池 可在极冷和酷热条件下表现良好
    加州大学工程师开发出新锂离子电池 可在极冷和
    盖世汽车讯 据外媒报道,加州大学圣地亚哥分校(University of California San Diego)的工程师采用新电解质开发出新锂离子电池,可在极冷和酷热的条件下表现良好,同时还能储存大量能量。这是因为新电解质不仅在具有较宽
    07-05 前瞻技术
  • 三井化学开发出以再生聚烯烃为主要成分的TPV
    三井化学开发出以再生聚烯烃为主要成分的TPV
    盖世汽车讯 据外媒报道,日本三井化学(Mitsui Chemicals)开发出一种环保等级的Milastomer热塑性硫化橡胶(TPV),其主要成分为再生聚烯烃。 图片来源:Alamy/Iván Jesús Cruz Civieta该TP
    07-05 前瞻技术
  • 松下推出电容式旋钮Magic Knob™ 适用于标准触摸传感器
    松下推出电容式旋钮Magic Knob™ 适用于标准触
    盖世汽车讯 随着车辆电气化不断发展,触摸面板在汽车座舱中的应用也不断增加,支柱架构或无缝设计的大型中控台显示器的屏幕尺寸也在不断变大。然而这意味着显示器会变得越来越大,因此仅通过触摸输入进行操作变得更加复杂。但通过结合允许智能电容和机械操作
    07-04 前瞻技术
  • Autotalks出全球首款支持第2天场景的5G-V2X芯片组
    Autotalks出全球首款支持第2天场景的5G-V2X芯片
    盖世汽车讯 据外媒报道,V2X(车到一切)通信解决方案供应商Autotalks宣布将推出其突破性的第三代芯片组TEKTON3和SECTON3,旨在支持所有即将到来的V2X要求。这些新设备是全球首款支持第2天场景(Day 2 scenario
    07-04 前瞻技术
点击排行