求推荐一个适合做科研的智能 MR 头戴设备 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dufldylan1
V2EX    虚拟现实

求推荐一个适合做科研的智能 MR 头戴设备

  •  
  •   dufldylan1 307 天前 1220 次点击
    这是一个创建于 307 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主在读博士,主要研究方向:

    • 立体视觉、三维重建
    • 图像处理
    • 计算物理

    因此想找个智能 MR 头戴设备用来做研究,水 paper

    主要要求:

    • 至少两个摄像头
    • 能实时访问摄像头的图像数据
    • 受限于计算算力,应该能实时传回计算机进行计算,再传回数据
    • 能叠加显示图层(这个应该好办)
    • 能简单地通过该设备交互、控制一些东西,作为计算参数

    实验室手头有 quest2 ,很早之前买的,因为摄像头是黑白的很难达到要求。另外 quest 不直接开放 raw image 的权限给开发者。

    看了一圈的 mr 头戴设备,包括 vp pico 等等之类的,都不给摄像头权限?据说 pico 弄什么企业授权可以用还是咋,但是还没深入搞。

    不知道各位老哥有什么建议。很纠结,希望各位老哥能指点一下

    14 条回复    2024-12-09 19:10:54 +08:00
    okakuyang
        1
    okakuyang  
       307 天前
    苹果 vision pro 可以拿到摄像头
    dufldylan1
        2
    dufldylan1  
    OP
       307 天前
    @okakuyang 适合搞这种科研研究吗?个人对苹果的感受就是,,不适合搞研究,适合用成熟的技术搞开发。一旦搞研究了总会碰到大大小小的苹果不给权限的东西
    winzkh
        3
    winzkh  
       307 天前
    hololens2 ,但好像停产了,系统维护不知道还有没有
    dufldylan1
        4
    dufldylan1  
    OP
       307 天前
    @winzkh hololens2 是单目 rgb+深度传感器吧?
    okakuyang
        5
    okakuyang  
       307 天前
    @dufldylan1 那得看你都需要哪些权限了,如果你能让实验室买个 vision pro ,那你大概也能无痛弄个开发者账号。起码作为开发者的权限你都是有的。
    pigdragon
        6
    pigdragon  
       306 天前
    找人设计个电路,把那个摄像头的连接器接在转接板上,信号一分为二,一个采集了给电脑,一个给 quest2,quest2 控制,你电脑里读取计算,quest2 中的应用能自己开发么?通过网络读取你处理好的数据,综合显示
    dufldylan1
        7
    dufldylan1  
    OP
       306 天前
    @pigdragon 感觉这样 叠加显示的图层就不太好办了?毕竟 qust 里的图片坐标和额外的摄像头坐标不一样了
    okakuyang
        8
    okakuyang  
       306 天前
    vp 可以获取到两个主摄像头的流,左右,无 UI 。
    实时录屏,用户视点,有 UI ,
    至于自己图像识别到东西怎么映射回去没看,不过看官方的介绍应该也是能做的。
    vp 就是台电脑,数据用 wifi 传出去传进来是没问题的。但是它的 wifi 速率最好也要考虑在内,因为这设备毕竟是个 90 帧的设备。
    dufldylan1
        9
    dufldylan1  
    OP
       306 天前
    @okakuyang 多谢老哥,我再调研一下
    dufldylan1
        10
    dufldylan1  
    OP
       306 天前
    @okakuyang 老哥了解 openxr 吗?现在我们三维重建渲染引擎是基于 openxr 开发的。然后显然 visionpro 不支持 openxr 。最近了解到 ALVR 这个项目能将 steamvr 串流到 visionpro ,steamvr 是支持 openxr 的。不知道这样一搞是否意味着我的 openxr 后端也能在 visionpro 上跑了
    https://github.com/alvr-org/alvr-visionos
    okakuyang
        11
    okakuyang  
       306 天前
    @dufldylan1 大概率是可以的,把 vp 当个串流显示器罢了。vp 现在所有渲染只能用苹果自家的,如果是串流 steam VR 大概就是把贴图渲染到半球体上吧。这样你只能固定在座位上摆头,能不能走动不知道。
    dufldylan1
        12
    dufldylan1  
    OP
       305 天前
    @okakuyang 啊是吗。。反正虽然我个人设备都是用的 apple 。。但是我对在 apple 上做科研还是比较抗拒的(笑哭
    dufldylan1
        13
    dufldylan1  
    OP
       305 天前
    昨晚发现个项目可以拿到 camera 的数据,支持 pico enterprise 和 vision pro
    https://github.com/styly-dev/EnterpriseCameraAccessPlugin
    鉴于价格和个人偏见(= =)还是报备了一个 pico 4 ultra enterprise 。各位回头见
    dufldylan1
        14
    dufldylan1  
    OP
       305 天前
    更新一下,据内部朋友帮我打听,pico 这个 camera 权限很难拿到,需要有一定量的采购才可能授权。即使是高校研究也是如此。

    商业公司的嘴脸
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2942 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 13:36 PVG 21:36 LAX 06:36 JFK 09:36
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86