视觉科学

北京时间2月21日报道，据英国《新科学家》杂志报道，由《科学》杂志和美国国家科学基金会评选的2009年度“科学与工程视觉挑战”奖 (Science and Engineering Visualization Challenge)评选结果出炉，分别揭晓了图片类，图解类，信息绘图类，交互式和非交互式媒体类的五个奖项的冠军。以下就是这些获奖图片。 　　1. 盘枝错节的力量网络　　 盘枝错节的力量网络 　　这张照片拍摄的是一个4米高、5米宽、2.5米深的立体模型，代表了肺的内皮细胞在形成血管时所产生的力量网络。目前，这一模型在奥地利展出，参观者可以近距离参观，甚至在其中穿行。 　　这一模型是根据肺部血管的细胞生物学实验和电脑模拟制成的。这一模型是由位于美国费城的宾夕法尼亚大学科学家开发的，旨在探究生命系统中的基本过程及其在生物医学和建筑领域内的应用。 　　这一作品赢得图解类第一名。 　　2. 聚合物螺旋抓紧小球　　 聚合物螺旋抓紧小球 　　去年，哈佛大学一个工程师团队发现，将聚合物毛浸没在液体中，随后液体蒸发，聚合物毛就会呈现螺旋结构。这张经过数字处理增色的图片显示，聚合物毛形成的螺旋结构直径尽管只有250微米，甚至能够紧紧抓住小球体，需要时也可以将之释放。 　　这一研究展现了控制聚合物毛的新方法。这张图片是科研人员利用扫描电子显微镜制得的，赢得了图片类第一名。 　　3. 花朵的力量　　 花朵的力量 　　这张图片是通过扫描电子显微镜获得的，事实上每个“花朵”是由一束10微米高的微小柱体所组成，这些柱体的成分是一种被称为聚二甲硅氧烷的聚合物。这种原始状态下为液态的聚合物被倒入模具中，聚合物链之间的交联作用使它转变成为柔软、有弹性的固体。 　　从它们的模具中分离这些微小的柱体是相当困难的，常常会导致单独的柱体坍塌为一束。这张图片正是捕捉了柱体们倒塌的瞬间。 　　这些柱体被用于测量果蝇细胞中的收缩力，这是一种细胞在分裂和运动时对外界环境所施加的作用力。 　　这张图片赢得图片类提名。 　　4. 微生物与矿物质：沙漠里的生死较量　　 微生物与矿物质：沙漠里的生死较量 　　这张图片中的金属盐样品是美国威斯康辛大学史蒂芬角分校的化学家迈克尔扎克在一次前往位于加利福尼亚死亡峡谷国家公园的旅行中收集的。 　　当他把水加入这些样品时，休眠于此的微生物们苏醒过来，在背景中纷纷蠕动。当水分蒸发完毕后，扎克拍摄了这张照片，捕捉到了光线在新生成晶体上的反射。 　　这种微生物分泌一种化学物质，能够阻止金属盐晶体的形成，从而保证自己在高盐、酸性环境的生存。 　　5. 自体受精　　 自体受精 　　拟南芥常常被用于植物生物学研究，而且它也是国际上第一个完成全部基因组序列测定的高等植物。目前，利用其作为模式植物进行植物功能基因组学的研究在世界各国开展得如火如荼。 　　在这张图片中，花粉颗粒、子房和花粉管都被染成墨绿色。由于特殊成像技术的应用，背景呈蓝色，花瓣和萼片呈现黄色。 　　图片显示了拟南芥的自体受精。小黑点代表了花粉，它们掉落在花中心的柱头上，然后开始生成花粉管。花粉在花粉管内移动，给胚珠授精。 　　这张图片赢得了优秀图片奖提名。 　　6. 跟着金钱走：人类流动和有效的社区　　 跟着金钱走：人类流动和有效的社区 　　跟着金钱走是由位于伊利诺伊州的西北大学复杂系统研究(Research on Complex Systems)小组的两名学生制作的视频作品。这一作品通过金钱的流动揭示了人类的迁徙。创作人员借助美元跟踪网站Where's George?(美元上有美国首任总统乔治华盛顿头像George Washington)的信息，创作出出美国人员迁徙的图画。 　　这一视频作品使他们赢得了非交互式媒体类冠军。 　　7. 基因数字实验室：细胞生物学　 　基因数字实验室：细胞生物学 　　一家名为Spongelab Interactive的公司设计出一系列互动游戏、动画，学生、老师和家长可以借助它们探究细胞世界。该公司擅长教学工具的研发。 　　如图所示的这一模块，赢得了交互式媒体类冠军。用户可以控制细胞内参与能量循环过程中的生化系统，探索光合作用和植物呼吸的机制。

人眼由 200 多万个部件组成，其复杂程度仅次于大脑。今天，当我驾车行驶在路上时，风景中的色彩提醒了我为什么喜欢每年的这个时候。在我所在的地区，树木开始变成明亮的金黄色和橘红色。每天，我都会为人类眼睛对色彩的惊人视觉评估能力而惊叹不已。秋天也是让我关注当地商店货架上色彩的季节，因为我在考虑下一个秋天的衣橱、装饰品或令人舒心的炖锅大餐。色彩的视觉评估再一次刺激了我的感官......也刺激了我的购物欲。01 神奇的人眼眼睛是人体最重要、最复杂的部分之一。它由 200 多万个工作部件组成，其复杂程度仅次于大脑。这也就不难理解为什么视觉对我们的身份和感知世界的方式如此重要。我们的视觉评估指导着我们的感受、我们对服装的选择、我们吃的食物以及我们购买的产品。我们每天都在用视觉来做决定和选择，尽管每个人的视觉评估都不尽相同，但它仍然比我们的味觉或嗅觉更加一致。我们能够解读多达 500 种灰色和 1 000 多万种不同的颜色组合，难怪科学家和制造商都想更多地了解颜色是如何影响人们的。02 视觉感知的缺陷毫无疑问，人眼是一种神奇的工具，无论其主观行为如何，在许多行业中，人眼仍被用于评估色彩标准。视觉评估是生产过程中的重要工具，但它也有不足之处。尽管眼睛能够分辨出如此多不同的色彩模式，但它仍然缺乏色彩记忆，很难回忆起之前看过的物体的准确色调。仅这一点就可能存在问题，但这还没有考虑到有 8%的人眼睛存在生理功能障碍，导致他们对颜色的感知与大多数人大相径庭。因此，视觉评估的一致性可能成为生产和制造过程中色彩评估的噩梦。当眼睛出现疲劳时，即使是资质最高、训练有素的眼睛也会变得不可靠。每天都必须使使用其眼睛观测的人经常成为视觉疲劳和慢性疲劳综合症 （CFS） 的牺牲品。 这类疲劳的症状包括视力模糊、不耐光和头痛。这不仅会影响个人的视觉评估能力，而且会产生长期影响，并已证明会造成永久性损害。03 人眼技术的优势科学家对视觉评估的研究已有 100 多年的历史，但在 20 世纪初，科学家们才率先用新的色彩分析技术取代了存在问题的人眼。这种新仪器在科学、政府和工业之间建立了联系。利用色彩的复杂性，仪器色彩评估取代了肉眼评估。现在，色彩匹配已成为一门科学，可以准确地重复和量化，以满足制造和科学的需求。随着技术的发展，科学家们能够利用色彩的复杂性，创造出超越视觉评估的新型色彩分析仪器。04 真实世界的应用今天，色彩技术比以往任何时候都更加重要。比色技术的飞速发展扩大了仪器色彩评估和分光色度仪在各种工业环境中对物体色彩评估和管理的应用。色彩分析被广泛用于评估质量和产品安全，现代技术在提高效率的同时，还确保减少许多行业的产品浪费。选择合适的色彩测量工具可能是一项挑战，因此，寻找一家具有悠久历史、丰富经验和无与伦比的客户支持的公司非常重要。要找最好的公司，HunterLab 是不二之选。我们拥有 60 多年的经验，在瞬息万变的全球市场中不断寻找满足客户需求的方法。现在就联系 HunterLab，看看我们为什么是色彩测量领域真正的领导者。

机器视觉与AI的机会近年来，传统科技公司和新创公司竞相将机器视觉与人工智能/机器学习结合，使其能够超越传感器像素数据，从而在各种应用中开创新的机会。这一结合的潜力巨大，相关的新创公司在交通运输、制造业、医疗保健和零售等各个市场中筹集了数十亿美元的资金。然而，要充分实现其潜力，这项技术需要应对许多挑战，包括提高性能和安全性，以及设计灵活性。从根本上讲，机器视觉系统是软件和硬件的结合，可以以数字像素的形式捕捉和处理信息。这些系统可以分析图像，并根据其编程和训练来采取相应的行动。典型的视觉系统包括图像传感器（摄像头和镜头）、图像和视觉处理组件（视觉算法）以及SoCs（片上系统）和网络/通信组件。无论是静态图像还是视频数字相机，都包含图像传感器。汽车感测器（如激光雷达、雷达、超声波）也能以数字像素形式提供图像，尽管分辨率可能不同。尽管大多数人对这些类型的图像都很熟悉，但机器也能够“看见”热和音频信号数据，并分析这些数据以创建多维图像。Synopsys公司的战略市场经理Ron Lowman表示：“在过去几年中，CMOS图像传感器取得了显著的改进。传感器的带宽不再优化用于人类视觉，而是用于提供人工智能的价值。例如，主导视觉传感器接口的MIPI CSI不仅提高了带宽，还增加了智能ROI（Region of Interest）和更高的颜色深度等人工智能功能。虽然这些颜色深度增加对人眼来说无法察觉，但对于机器视觉来说，它可以大大提高服务的价值。”机器视觉系统的基本组成机器视觉系统由软件和硬件组成，其中关键的组件是图像传感器。在过去几年中，CMOS图像传感器取得了显著的改进，这使得传感器的带宽不再仅仅优化于人类视觉，而是为了提供人工智能的价值。MIPI CSI作为主要的视觉传感器接口，不仅增加了带宽，还增加了智能ROI（Smart Region of Interest）和更高的颜色深度等人工智能功能。虽然这些颜色深度的增加对人眼而言无法察觉，但对于机器视觉来说，它可以大大提高服务的价值。除了图像传感器外，机器视觉系统还包括图像和视觉处理组件以及片上系统和网络/通信组件。这些组件协同工作，使机器能够理解和解释图像数据。图像和视觉处理组件包括视觉算法，它们能够分析图像并根据其训练和编程进行相应的处理。此外，片上系统和网络/通信组件则负责数据处理和传输，以实现机器视觉系统的功能。图 1：机器视觉系统包括用于执行图像处理和分析的硬件、软件和芯片。 AI 通常是解决方案的一部分，并且 MV 通常连接到云。 来源：Arcturus 网络机器视觉与计算机视觉的区别机器视觉是计算机视觉的一个子集，两者在很大程度上依赖于对图像数据的观察来推断信息。然而，机器视觉更加强调在工业或工厂环境中的“检测类型”应用。Cadence公司的Tensilica Vision and AI DSPs的产品管理、市场营销和业务拓展总监Amol Borkar指出，机器视觉在感测方面高度依赖摄像头。然而，“摄像头”这个词是个负面词，因为我们通常熟悉的是一个能够产生RGB图像并在可见光谱范围内运作的图像传感器。不过，根据应用的不同，这些传感器可以在红外线下运作，包括短波、中波、长波红外线或热成像等多种变体。最近还引入了对运动非常敏感的事件相机。在装配线上，线扫描相机是与典型的快门相机略有不同的一种变体。当前的汽车、监控和医疗等大多数应用都依赖于这些传感器中的一个或多个，通常结合使用以实现比单个摄像头或传感器更好的感测融合结果。机器视觉的优势机器视觉相较于人类有着更出色的视觉能力，这使得机器视觉在制造业中能够提高生产力和品质，降低生产成本。与自动驾驶辅助系统（ADAS）结合使用时，机器视觉能够接管部分驾驶功能。此外，搭配人工智能，机器视觉能够协助分析医学影像。应用机器视觉的好处包括更高的可靠性和一致性，以及更大的精确度和准确度（取决于摄像头的分辨率）。而且，与人类不同，机器在获得例行维护的前提下不会感到疲劳。视觉系统的数据可以在本地或云端存储，需要时进行实时分析。此外，机器视觉通过检测和筛选出有缺陷的零件，降低生产成本。同时，通过OCR（光学字符识别）和条码扫描读取，提高了库存控制的效率，从而降低整体制造成本。如今，机器视觉通常与人工智能结合使用，大大增强了数据分析的能力。在现代工厂中，自动化设备，包括机器人，与机器视觉和人工智能结合，以提高生产力。机器视觉（MV）和人工智能（AI）是密切相关的领域，它们通常以各种方式进行交互。机器视觉利用摄像头、传感器和其他设备捕捉图像或其他附加数据，然后将其进行处理和分析，以提取有用的信息，而人工智能则使用算法和统计模型来识别模式并基于大量数据进行预测。AI/ML与MV的交互作用这还可以包括深度学习技术。Arteris IP公司的产品市场副总裁AndyNightingale表示：“深度学习是人工智能的一个子集，它涉及使用大量数据对复杂的神经网络进行训练，以识别模式并进行预测。”机器视觉系统可以使用深度学习算法来提高其在图像或视频中检测和分类对象的能力。机器视觉和人工智能之间的另一种交互方式是通过使用计算机视觉算法。计算机视觉是机器视觉的一个超集，它使用算法和技术从图像和视频中提取信息。人工智能算法可以分析这些信息并预测场景中正在发生的事情。例如，计算机视觉系统可以使用人工智能算法分析交通模式并预测何时某个十字路口可能会拥堵。机器视觉和人工智能还可以在自主系统（如自动驾驶汽车或无人机）中进行交互。在这些应用中，机器视觉系统用于捕捉和处理来自传感器的数据，而人工智能算法则解释这些数据并对环境进行导航等决策。AI/ML在自动驾驶中的应用人工智能在现代车辆中扮演着越来越多的角色，但其中两个主要的角色是感知和决策制定。Siemens Digital Industries Software公司的混合和虚拟系统副总裁David Fritz表示：“感知是通过车辆内部和外部的感测器阵列来理解周围环境的过程。决策制定首先需要理解周围环境的状态和目标，例如向目的地移动。然后，人工智能根据控制方向盘、制动、加速等车辆内部致动器的方式来决定最安全、最有效的路线。”这两个关键角色涉及到非常不同的问题。从摄像头或其他感测器获得的原始数据，AI算法将使用这些数据进行目标检测。一旦检测到目标，感知系统将对目标进行分类，例如该目标是否是汽车、人或动物。训练过程非常冗长，需要大量的训练集来展示不同角度的目标。在训练完成后，AI网络可以加载到数字孪生体或实体车辆中。一旦检测到并分类了目标，另一个训练有素的AI网络可以进行决策，控制方向盘、制动和加速等。使用高保真度的数字孪生体来虚拟验证这个过程已被证明比纯粹使用实地测试更安全、更有效。开发人员经常问到需要多少AI/ML。在现代工厂的情况下，机器视觉可以仅用于在装配线上检测和筛选出有缺陷的零件，或者用于组装汽车等工序。后者需要更高级的智能和更复杂的设计，以确保装配过程中的时机、精确度、运动和距离的计算等。Flex Logix公司的首席执行官Geoff Tate观察到：“机器视觉和机器人在现代工厂中提高了生产力，许多应用中使用了人工智能。一个简单的应用，例如检测标签是否正确贴上，不需要太多智能。另一方面，进行复杂、精密的三维运动的机器人手臂需要更多的GPU算力。在第一个应用中，一个AI IP的核心将足够，而在第二个应用中可能需要多个核心。拥有灵活且可扩展的AI IP将使机器视觉和机器人的设计更加容易。机器视觉的应用机器视觉的应用几乎没有限制，只受想象力的限制。只要需要视觉和图像处理的工业和商业领域，机器视觉都可以应用其中。以下是部分应用领域的例子：交通领域（自动驾驶、车内监控、交通流量分析、违规行为和事故检测）；制造和自动化领域（生产力分析、质量管理）；监控领域（运动和入侵检测）；医疗领域（影像学、癌症和肿瘤检测、细胞分类）；农业领域（农场自动化、植物病害和昆虫检测）；零售领域（顾客追踪、货架缺货检测、盗窃检测）；保险领域（通过图像进行事故现场分析）。还有许多其他应用。以饮用水或软饮料瓶装为例。机器视觉系统可以用于检查填充水平，这通常由高效的机器人完成。但是机器人偶尔会犯错。机器视觉可以确保填充水平一致，并确保标签正确贴上。检测任何偏离测量规范限制的机器零部件也是机器视觉的一项工作。一旦机器视觉根据规范进行了训练，它可以检测出超出规范限制的零部件。机器视觉可以检测均匀的形状，如正方形或圆形，以及奇形怪状的零部件，因此它可以用于识别、检测、测量、计数，并与机器人一起进行抓取和放置。最后，通过结合人工智能，机器视觉可以实现轮胎组装的精确和高效。如今，原始设备制造商（OEM）使用机器人自动化车辆组装的过程之一是安装四个轮胎。利用机器视觉，机器人手臂可以检测正确的距离，并施加适当的压力，以防止任何损坏的发生。机器视觉的类型机器视觉技术根据处理的图像维度可以分为一维（1D）、二维（2D）和三维（3D）。这些不同的类型在应用中具有各自的特点和优势。一维机器视觉系统主要用于条形码和二维码的识别和读取。它们通常使用扫描设备，按行扫描产品上的条形码或二维码，并从中提取信息。这种技术被广泛应用于零售行业、物流和运输领域，以实现快速且准确的产品识别和追踪。二维机器视觉系统可以用于更复杂的图像处理任务。它们使用摄像头逐行扫描物体，形成一个区域或二维图像。这种技术可以应用于图像分类、目标检测、人脸识别等各种任务。在工业自动化中，二维机器视觉系统可以用于检测和验证产品的外观特征，确保产品符合设计和质量要求。三维机器视觉系统通常使用多个摄像头或激光传感器来捕捉物体的三维形状和结构。这种技术可以实现对物体的精确定位和测量，对于需要进行三维分析和处理的应用非常重要。例如，在机器人导航和自动化领域，三维机器视觉系统可以用于对环境进行三维建模和障碍物检测，实现更精确和安全的运动控制。除了以上提到的类型，还有其他形式的机器视觉技术，如超光谱影像和热像仪等。超光谱影像可以捕捉物体的不同光谱特征，拥有更丰富的信息，广泛应用于农业、食品安全和医疗诊断等领域。热像仪则可以检测物体的热能分布，用于温度监测、火灾检测等应用。每种机器视觉类型都有其特定的应用场景和优势。根据不同的需求，选择适合的机器视觉类型可以提高系统的性能和效果，实现更准确、高效和可靠的图像处理和分析。MV设计的挑战训练机器视觉系统仍然存在一些挑战。MV的准确性和性能取决于其训练程度，因此需要大量的标注数据和强大的计算能力。MV设计所面临的挑战包括：首先，检测的范围可能涵盖方位、表面变化、污染程度以及直径、厚度和间隙等精度容限。当检测到化妆品和服务变化效应时，3D系统通常比1D或2D系统表现更好。然而，在遇到不寻常的情况时，人类可以借助其他领域的知识，而机器视觉和人工智能可能无法具备这种能力。其次，数据流管理和控制是当今的关键挑战之一，特别是在具有实时延迟要求（例如汽车应用）的情况下，同时需要保持带宽的最小化。在基于摄像头的系统中，图像质量（IQ）至关重要。这要求硬件设计支持超宽动态范围和局部色调映射，同时还需要进行IQ调整，传统上需要由人类专家进行主观评估，使得开发过程冗长且成本高昂。然而，对于机器视觉而言，这种专业知识可能不一定能获得最佳系统性能，因为感知引擎可能会根据任务的不同而更喜欢以不同于人类和其他机器之间的方式看待图像。此外，确保机器视觉的安全性也是一个重要问题。随着网络攻击不断增加，确保产能不受干扰或遭受来自威胁行为者的干扰至关重要。尤其在关键应用中，如自动驾驶等，保证机器视觉的安全性至关重要。"安全对于确保机器视觉技术的输出不受破坏至关重要，" Arm的Zyazin表示。"汽车应用是展示硬件和软件安全性重要性的一个很好的例子。例如，从机器中处理和提取的信息会影响到制动或车道保持辅助等决策，如果处理不当，可能对车辆内部的乘客构成风险。"总结来说，训练机器视觉系统的过程面临着一些挑战。为了提高准确性和性能，需要丰富的标注数据和强大的计算能力。同时，确保机器视觉的安全性也是一个重要问题，特别是在关键应用如自动驾驶中。这些挑战需要在系统设计和实施中得到充分考虑，以实现可靠和高效的机器视觉应用。新兴的MV创业公司和创新新兴的机器视觉（MV）创业公司和创新技术正推动着机器视觉的应用和发展。像是Airobotics、Arcturus Networks、Deep Vision AI、Hawk-Eye Innovations、Instrumental、lending AI、kinara、Mech-Mind、Megvii、NAUTO、SenseTime、Tractable、ViSenze、Viso等公司，正在开发新的机器视觉解决方案，其中一些已成功筹集了超过10亿美元的资金。在运输领域，保险公司可以利用机器视觉来分析事故场景的照片和视频，进行财务损害评估。基于人工智能的机器视觉还可以用于安全平台，分析驾驶行为，提升道路安全性。在软件领域，创业公司正在开发无需编程知识的计算机视觉平台，使更多人能够使用机器视觉技术。机器视觉身份验证软件也是市场上的一个创新解决方案。体育产业也在探索人工智能、视觉和数据分析的潜力，以向教练提供有关选手在比赛中的决策过程的洞察。此外，有一家创业公司通过将人工智能和机器视觉结合到无人机设计中，提出了一种节省成本的监视方案。机器视觉和人工智能都在快速发展，其性能，包括准确度和精确度，不断提高。高性能GPU和机器学习能力的成本也有望降低，推动新的机器视觉应用的应用。Arteris公司的Nightingale表示，随着硬件（如传感器、摄像头和处理器）的进步以及算法和机器学习模型的改进，机器视觉系统的准确性和速度将得到进一步提高。深度学习算法尤其在近年来推动机器视觉技术的进步方面发挥了重要作用，并有望在未来扮演更重要的角色。这些算法能够自动学习数据的特征和模式，从而提高准确性和性能。机器视觉系统将具有更强大的能力，能够快速而准确地处理和分析大量的数据，从而开展更为复杂和智能的应用。此外，预计机器视觉和人工智能将与其他技术相结合，提供更多高性能、实时的应用。Nightingale指出，机器视觉技术已经与机器人技术和自动化等其他技术整合，这一趋势有望持续发展，我们可能会看到更多机器视觉在医疗保健、交通和安全等领域的应用。此外，对于需要实时处理的应用，机器视觉技术已经被广泛应用，例如人脸识别和物体追踪。未来，我们可能会看到更多需要实时处理的应用，例如自动驾驶汽车和无人机。结论机器视觉（MV）的设计涉及芯片（处理器、存储器、安全芯片）、IP核、模块、固件、硬件和软件的结合。芯片组件和多芯片封装的推出将使这些系统能够更容易、更快速地进行组合，添加新功能，提高系统的整体效率和能力。Winbond的DRAM经理Tetsu Ho表示：“已知良好晶片（KGD）解决方案可以提供成本和空间效率高于有限接触点和线材的封装产品的替代方案。”这有助于提高设计效率，提供增强的硬件安全性能，特别是产品上市的时间。这些晶片经过100%热激测试，测试程度与离散部件相同。 需要KGD 2.0来确保2.5D/3D组件和2.5D/3D多芯片设备的末端良率，以实现带宽性能、功耗效率和面积等PPA的改进，这是由边缘计算和人工智能等技术爆炸所推动的迷你化趋势。这将为机器视觉在新旧市场中开拓新的选择。它将用于在自动驾驶中协助人类，帮助机器在制造业中实现精确高效，并通过无人机进行监控。 此外，机器视觉将能够探索对人类而言危险的地方，并为保险、体育、交通、国防、医疗等众多领域提供数据输入和分析。随着技术的不断发展和应用的扩大，机器视觉将继续成为推动自动化、智能化和数字化革新的关键技术之一。机器视觉系统的进一步提升和创新将为我们的生活和工作带来更多的便利和效益。无论是在工业生产、医疗保健、交通运输还是其他领域，机器视觉的应用都将继续拓展，为未来的科技发展带来更多的可能性。