科技

苹果VR/MR新专利:支持环境、姿态、头部追踪的多传感器头显

原标题:苹果VRMR新专利:支持环境、姿态、头部追踪的多传感器头显8月23日消息,美国专利商标局发布了苹果一项VRMR头显相关追踪专利,专利中指出了一种采用inside-out方式,可追踪头部、身体和环境的系统。据悉,该专利申请于2018年第三季度,其技术基于苹果在2017年11月收购的ARVR混合头显开发商Vrvana的一项专利技术。苹果在专利中写到,若要营造VR的沉浸感,需要考虑多种因素,包括:显示屏画质、刷新率、像素分辨率、高动态范围(HDR)、图像暂留和纱窗效应等等。如果FOV过小,或者追踪功能出现延迟或不准确,也会降低沉浸感。而在MR中,虚拟物体与真实世界表面的实时交互也需要依赖优质的追踪效果。总之,对于优质的VRMR体验来讲,各种追踪功能都是必要的,尤其是头部追踪、身体追踪和环境追踪,对于营造沉浸感将起到关键作用。因此,苹果提出了一种集成全部追踪元件且便于移动的紧凑型VRMR头显。该头显可采用的多个传感器包括:一对RGB摄像头传感器(配备红外光截止滤光片的透镜)、一对配备近红外带通滤波器和相关透镜的单摄像头传感器、一个惯性测量单元(IMU)、一个配备相关红外线发射器的ToF摄像头传感器、一个斑点图案发射器。其中RGB摄像头将用于支持头显的MR透视功能,而红外摄像头将用于为追踪功能提供视觉数据。专利中还详细描述了头显所搭载的各种传感器的追踪方式,其中头部追踪的方法是,通过识别透视功能捕捉到的2D图像特征,识别并匹配每个特征的深度,并生成3D点云,然后通过对3D点云的实时追踪来推断头部方向。此外,IMU传感器也可以提供补充信息。而追踪用户身体姿态的方法是,显示在密集的深度图上对人体图像进行分割,提取与姿态网格和身体分割图,然后再从网格中提取出骨骼模型,然后通过追踪用户身体活动,并将姿态模型与骨骼模型和身体动作相匹配,来识别人体姿态。最后,环境追踪的方式是,利用透视立体图和姿态追踪数据生成一个运动模型,然后识别关键节点,利用描述符来提取关键点附近的特征,接着通过将密集深度图与提取的特征相结合,预测出环境表面描述符。

科技 · 170次浏览 · 3分钟前 · 艾米丽
RetinaNet在航空图像行人检测中的应用

原标题:RetinaNet在航空图像行人检测中的应用一次RetinaNet实践作者 | Camel编辑 | Pita 航空图像中的目标检测是一个具有挑战性且有趣的问题。随着无人机成本的降低,航空影像数据量的激增,拥有能够从航空数据中提取有价值的信息的模型将非常有用。RetinaNet是最着名的单级目标检测器,在本文中,我将在斯坦福无人机数据集的行人和骑自行车者的航空图像上测试RetinaNet。我们来看下面的示例图像。来自斯坦福无人机数据集的航空图像 – 粉红色和自行车红色行人这是一个具有挑战性的问题,因为大多数目标只有几个像素宽,某些目标被遮挡,阴影下的目标更难检测。Retina NetRetina Net 是一个单级目标检测器,使用特征金字塔网络 (FPN) 和焦点损失函数(Focal loss)进行训练。特征金字塔网络是本文引入的多尺度目标检测结构,它通过自上而下的路径和横向连接将低分辨率、语义强大的特征与高分辨率、语义薄弱的特征相结合。这样做的结果是,它在网络中的多个层级上生成不同尺度的特征图,这有助于分类和回归网络。焦点损失旨在解决单阶段目标检测问题,因为图像中可能存在大量的背景类和几个前景类,这会导致训练效率低下。大多数位置都是容易产生任何有用信号的负片,大量这些负样本使训练不堪重负,降低了模型性能。焦力损失基于如下所示的交叉熵损耗,通过调整γ参数,可以从分类良好的样本中减少损失贡献。焦点损失解释在本文中,我将讨论如何在Keras上训练Retina Net模型。关于RetinaNet背后的理论,请参考[1]。我的代码可以在Github上下载[2]。训练后的模型在航空目标检测方面的效果可以参考如下动图:Stanford Drone 数据集斯坦福无人机(Stanford Drone)数据是在斯坦福校园上空通过无人机收集的航拍图像数据集。这个数据集是目标检测和跟踪问题的理想选择,它包含约了60个航拍视频。每个视频,有6类标注 :"行人"、"自行车"、"滑板"、"购物车"、"汽车"和"巴士"。数据集非常丰富,不过行人和骑行者这2类大约占所有标注的85%-95%。训练RetinaNet为了训练RetinaNet,我在Keras使用了keras-retinanet的代码实现[3],它的帮助文档非常好,运行起来没有任何错误。从大量斯坦福德无人机数据集中选择图像示例。我...

科技 · 189次浏览 · 4分钟前 · 艾米丽
苹果新品发布会消息汇总

随着苹果秋季发布会的临近,各种关于新 iPhone 的爆料也逐渐由外观向一些更具体的产品细节上聚焦。就在近日,一向在苹果新品上有着较准确爆料信息的彭博社又发文对未来数周和数月内苹果将发布或升级的一系列新产品进行了信息汇总。我们一起来了解下。据彭博社报道,在未来将举行的新品发布会上,苹果公司将发布或升级一系列新产品,包括iPhone、iPad和MacBook Pro等。据知情人士称,苹果计划在下个月的一场活动中发布三款新iPhone。这款新手机可能会在9月份上市销售。除了三款新iPhone,今年晚些时候苹果还将推出新版iPad Pro,配备新升级的摄像头和速度更快的芯片;配备更大屏幕的入门级iPad,新版Ale Watch,以及对MacBook Pro笔记本电脑进行三年来的首次升级。此外,苹果还将对主要的音频配件产品进行升级,包括AirPod无线耳机和HomePod智能音箱在内。除了这些尚未发布的产品外,苹果还准备推出全新的Mac Pro及其配套的显示器,还有iPhone、iPad、Ale TV、Mac和Ale Watch的软件更新,以及Ale TV+视频和Ale Arcade游戏订阅服务。iPhone:·苹果今年计划发布三款新iPhone,分别为当前的iPhone XS、iPhone XS Max和iPhone XR的继任产品。·其中,iPhone XS和iPhone XS Max继任产品(以下简称“Pro iPhone”)的主要特点是背面将配备新的相机系统,带有第三个传感器,用于捕捉超广角照片和视频。新款 iPhone将大幅提升视频录制能力,使其更接近专业摄像机。苹果开发了一项功能,允许用户在设备上实时录制视频时进行渲染、应用效果、改变颜色、重帧和裁剪。·另一个值得注意的新功能:反向无线充电系统。将最新的AirPod放在Pro iPhone手机背面,即可为AirPod无线充电。今年早些时候,三星电子已经为Galaxy手机推出了类似的功能。·与当前的iPhone XS和iPhone XS Max相比,新手机Pro iPhone从正面看起来几乎没有区别,屏幕尺寸也一样。但在背部颜色上,与当前的光泽外观相比,新手机将有哑光效果。由于采用新的抗摔防震0技术,新手机跌落后的表现会更好些。·这手机将内置一个新的“多角度”Face ID传感器,可以捕捉更宽的...

科技 · 11236次浏览 · 1小时前 · sunny萍
从大爆炸到复杂的天体系统,宇宙从何而来,又归往何处?

我们是怎么到了这里?为了理解宇宙如何从大爆炸后最初的简单状态(只有冷却的质子和电子等基本粒子)变为我们仰望夜空所看到的宏伟宇宙,我们必须明白恒星、星系和行星是如何形成的。图解:根据大爆炸理论,宇宙是由一个极紧密、极炽热的奇点膨胀到现在的状态。许多问题都与宇宙的主要组成部分的创造和演化有关。天文学家必须解决的一个基础问题,就是宇宙是如何创造出第一代恒星和星系的?一旦这些实体被创造出来,它们是如何影响随后星系、恒星和行星的形成的?这是一个重要的问题,因为之后的这些物体只能由第一个代恒星所创造出的元素组成。我们还不清楚,是宇宙在创造第一代恒星的同时创造了黑洞,还是这些奇特的物体由第一代恒星演化而成。因为黑洞代表着时空中最极端的物理条件并产生了大爆炸之后一些最高能的现象,所以,它们是检测宇宙理论的终极物理实验室。图解:从大爆炸形成的宇宙演化图解(左)。在这幅图中宇宙以二维呈现,第三维度是时间,向右是时间流动的方向。现在,我们已知宇宙有一个“泡沫”结构。组成可见宇宙的星系和星系团聚集在一个复杂支架上,这个支架围绕着一个巨大的宇宙空洞网络。然而,除了构成宇宙可见的“正常”物质外,科学家已经发现大量看不见的物质。这些所谓的“暗物质”约占宇宙物质能量的27%,而可见部分只占总数的5%左右。显然,如果我们希望了解宇宙结构和其形成、演化的过程,我们必须首先了解其重要但不可见的暗物质的分布,以及它与正常物质相互作用和影响的方式。虽然天文学家已经对恒星进行了数千年的研究,但只有在过去的35年左右,他们才得以使用仪器来探测整个电磁光谱中的光——从无线电波到伽马射线——来窥视我们星系中恒星诞生的尘埃云。如果我们要理解宇宙如何演化出恒星——以及今天围绕恒星旋转的行星——我们必须用更强大的望远镜继续这些研究。从最早的已知时期一直到后来的大规模演化,大爆炸理论是可观测宇宙的主流宇宙学模型。这个模型描述了宇宙如何从一个高密度、高温状态扩张,并为一系列现象提供了全面的解释,包括大量的轻元素、宇宙微波背景(CMB)、大尺度结构和哈勃定律(星系越远,远离地球速度越快)。如果用已知的物理规则将观测条件在时间上向后推,我们预测,在高密度时期之前,存在一个典型的和大爆炸相关的奇点。现有的知识不足以判定奇点是否是原始的。图解:哈勃超深空场描绘了远古时代的星系图景,根据大爆炸理论,它们处于一个更年轻、更致密且更炽热的...

科技 · 12051次浏览 · 1小时前 · Stay天空
宽带发展联盟:三大运营商4G网速都有提高

工信部旗下的宽带发展联盟最新发布了2019年第二季度我国网速的报告,其中我国固定宽带网络平均下载速率达到35.46Mbits(4.43MBs),环比上季度提升了13.2%,而4G网络访问互联网时的平均下载速率达到23.58Mbits(2.95MBs),同比去年同期提升幅度也达到了16.6%。4G平均下载网速23.58Mbits在最新的报告中显示,2019年第二季度4G网络访问互联网时的平均下载速率达到23.58Mbits(2.95MBs),其中中国联通依然是网速最快的,平均下载网速达到了24.86Mbits(3.11MBs),中国移动升至第二,网速是23.46Mbits(2.93MBs),中国电信则是23.23Mbits(2.9MBs)。东部地区的4G平均下载速度最快24.4Mbits(3.05MBs),中部其次23.47Mbits(2.93MBs),西部最后22.88Mbits(2.86MBs)。从之前第三方测速机构seedtest给出的数据看,4G移动数据网络用户满意度上,中国联通用户满意度最高,中国移动排在最后,大家目前要做还是应该努力提升4G网速。目前,我国已经建成全球规模最大的固定宽带网络和4G网络,在提速方面,与5年前相比,固定和移动宽带平均下载速率提升6倍多。在降费方面:与5年前相比,固定网络和手机上网hg22880|首页资费降幅均超90%,用户月均使用移动hg22880|首页7.2GB全球平均1.2倍,而2018年手机上网hg22880|首页平均每G为8元,比2014年下降94%。运营商降4G网速了吗?今年第二季度中,三家运营商4G平均下载速度分别是:中国联通24.86Mbits(3.11MBs)、中国移动23.46Mbits(2.93MBs)和中国电信23.23Mbits(2.9MBs)。作为对比,宽带发展联盟之前送出的报告显示,2019年第一季度4G平均下载速度是:中国联通24.56Mbits(3.07 MBs)、中国电信22.78Mbits(2.85 MBs)和中国移动22.72Mbits(2.84 MBs)。所以从权威的工信部数据来看,运营商并没有对4G进行降速,反而都有提高。在本周,三大运营商也回应了这个问题,他们从未对用户的4G速率进行降速,而接下来要加快推进5G商用步伐,并将一如既往地做好4G5G服务(统筹推进4G和5...

科技 · 19641次浏览 · 2小时前 · Lovely熙
5G千元机芯片报废了?高通三星怒了:谣言!

这两天芯片行业出了个“大新闻”。多家媒体报道,高通5G芯片因三星7nm EUV良品率问题全部报废,这款SDM7250芯片的上市时间也会受到影响。“5G芯片全部报废”、“高通的竞争对手因此受益”等等说法就此传播开来,一时间闹得沸沸扬扬。难道说,在5G开始大规模商用的2020年,我们买5G手机会被它影响?“芯片报废”或是误传高通对“高通5G芯片报废”消息回应称:这是彻头彻尾的假新闻,正式的回应正在协同沟通中。事件的另一方三星电子,也对这些报道做出了声明,他们表示内容与事实完全不符。三星称,他们从今年4月开始向客户供应基于EUV技术的量产产品,并且在生产中有了较高成熟度和高良品率,良率爬坡速度比之前的制程更快。实际上,在韩国等地区销售的三星Galaxy Note 10手机中,就已经使用了基于7nm EUV打造的自家芯片Exynos 9825。至于高通委托三星生产的5G芯片,三星在声明中表示,采用EUV生产的5G产品计划在今年第四季度开始量产。也就是说,传闻中的这些芯片根本都还没开始正式生产,更别说什么“全部报废”。那么真相究竟是如何呢?追根溯源,我们找到了“高通5G芯片报废”的消息源头。最初是微博用户@手机晶片达人 在8月17日发布的一条微博,称高通5G单晶片7250会因三星7nm EUV工艺而遭遇量产交付问题。这位用户的简介显示他具有15年IC设计行业经验,日常微博多有芯片产业爆料消息。这里所说的“单晶片7250”正是高通正在研发的SDM7250芯片,从命名规则上来看,它可能是研发代号为SDM7150的骁龙730的后续产品。此前有消息称,这是一款能让5G手机价格降低到3000元的中端芯片,会在2020年第二季度随5G手机上市。不过耐人寻味的是,在他的这条微博发布近一周后的8月22日,“高通5G芯片报废”的报道才逐渐流传开来成为热点。对于一个微博粉丝数近7万的用户来说,这样的信息传播表现或许不太行。如果高通和三星的回应都和事实相符,那么SDM7250并没有遇到量产问题,如果有也是量产前测试生产的问题;至于“高通5G芯片报废”,从现在来看基本上是不存在的事情。我们见到的“高通5G芯片报废”报道,很可能只是爆料人得到的不准确消息,以及传播过程中转述者误读后“添油加醋”所带来的结果,与真实情况早已大相径庭。7nm EUV为什么这么特殊?如果你对芯片制造有一点了解,那你肯定知道制...

科技 · 17501次浏览 · 2小时前 · 夕夏温存
功耗警告!华为也想采用联发科5G芯片?网友:不怕沸腾吗?

推荐语:华为手机采用联发科5G芯片无疑是为了降低成本,毕竟华为自主研发的海思麒麟芯片成本过高,而此前华为的手机当中大约有一半的比例采用高通和联发科的芯片,如今5G手机采用联发科芯片在情理之中。众所周知,联发科的产品一直是以功耗高、能效低而出名,从这次红米Note 8首发联发科的G90T处理器在网上引起巨大争议的事情也可以看出,消费者对于联发科的处理器到底有多么不“感冒”。小编觉得吧,这倒也不能怪消费者,因为以往搭载联发科的产品的机型在人们的反响中的确不是很好,有这样的负面新闻一直以来围绕着消费者,联发科的产品能被人认可就怪了。不过这也说明联发科自身的技术的确不到位,但是从近日曝出的消息来看,继红米之后,华为似乎也要用联发科的产品了!8月20日,根据外媒的消息,华为将会在2020年正式采购联发科的5G芯片,这些5G芯片可能并不会用于华为的高端旗舰机,而是会应用在华为的低端机上。看到这个消息,有网友就要问了:既然在自身已经有巴龙5000的基础上,为何华为还要去采购联发科的5G芯片呢?这不是给自己在手机生产上增加成本吗?况且华为不怕沸腾吗?那么这真的是华为走的一步“昏棋”吗?在小编看来,这恐怕并不见得。华为的巴龙5000是什么样的性能大家都清楚,支持NSASA双制式的网络并且还同时支持2G到5G的全部网络,可以说只要这些性能不丢,那么华为5G手机的价格就降不下来,毕竟成本在那里摆着,小编觉得华为还不会做亏本生意。所以华为目前虽然在智能高端5G手机市场占有大量份额,但是对于明年的5G低端机市场份额可能就会难以“下手”,而为了扩大低端手机的市占率而重新再去自研一个低端5G芯片无疑是一件非常不划算的事,这势必会增加更多的经济成本。这样在高端手机芯片继续自研,低端手机芯片采用联发科Soc的做法可能是华为最好的解决方式,况且联发科作为国内企业,在核心技术也不存在被人“卡脖子”的可能性,可谓是一举两得。我们再来看看联发科的这款5G芯片,这款Helio M70 5G基带是一款7nm的集成5G芯片,与巴龙一样,这款5G芯片也通过了NSASA的场内测试,所以就表现来看,性能还是非常强劲的。而从目前已售的5G手机价格来看,iQOO Pro版已经让5G手机价格创了一个新低,如果华为采用联发科这个消息属实的话,那么价格就值得期待一下了。不知道大家觉得搭载联发科芯片的华为5G手机会售价多少呢?...

科技 · 15998次浏览 · 2小时前 · Lndulge
上一页 下一页