[PICO VR眼镜]眼动追踪串流Unity开发与使用方法，眼动追踪打包报错问题解决(Eye Tracking/手势跟踪)

前言

最近在做一个工作需要用到PICO4 Enterprise VR头盔里的眼动追踪功能，但是遇到了如下问题：

  1. 在Unity里面没法串流调试眼动追踪功能，根本获取不到Device，只能将整个场景build成APK，安装到头盔里，才能在代码里调用眼动追踪功能。这使得每次修改代码都要打包一次apk安装到头盔里，十分不方便，难以调试。
  2. PICO VR 官方提供的Eye Tracking教程里，获取到的眼睛朝向和位置是相对于Head这个位置的，而不是相对于XR Origin下的Camera的位置，这使得API不能直接拿来使用。
  3. Unity在引入PICO VR眼动跟踪代码后，编译时点击"build and run"后，会报错“NullReferenceException: Object reference not set to an instance of an object”

鉴于以上问题网络上均没有人进行解答，以及个人没能得到PICO官方的技术支持情况下（三周内发了2封技术工单邮件+2次催线上客服），遂打算自己捣鼓一下写篇教程。

（点名批评PICO官方的技术支持不回复邮件的问题，明明就几个特别简单的问题，但是官方承诺的3-5个工作日内回复并没有做到，等了三周一封邮件也没回，这个过程还问了客服，客服表示会催技术人员回复，但等了一周半也没看到，放弃了orz）

更新补充：据说在PICO企业版官网提交企业版工单能得到官方较快的回复。

1. 如何在代码里使用眼动跟踪，并转换成世界坐标 或 摄像机坐标系

首先，检查眼动追踪是否能正常工作：

void Start()
{
	CheckEyeTracking();

}
private void CheckEyeTracking()
{
    //Start PICO Eye Tracking Service
    TrackingStateCode trackingState;
    trackingState = (TrackingStateCode)PXR_MotionTracking.WantEyeTrackingService();
    Debug.Log("告知PICO想要眼动跟踪服务 trackingState: " + trackingState.ToString());

    //Check Eye Tracking able or not
    EyeTrackingMode eyeTrackingMode = EyeTrackingMode.PXR_ETM_NONE;
    bool supported = false;
    int supportedModesCount = 0;
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingSupported(ref supported, ref supportedModesCount, ref eyeTrackingMode);
    Debug.Log("检查是否有眼动跟踪功能 trackingState: "+ trackingState.ToString()+"  code  "+ supported);

    // Get Eye Tracking State
    bool tracking = true;
    EyeTrackingState eyeTrackingState = new EyeTrackingState();
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingState(ref tracking, ref eyeTrackingState);
    Debug.Log("获取当前眼动跟踪状态 trackingState: " + trackingState.ToString());

    // Start Eye Tracking
    //这里要严谨点的话，应该要加上if条件判断是否有眼动跟踪功能，再选择开启该功能
    EyeTrackingStartInfo info = new EyeTrackingStartInfo();
    info.needCalibration = 1;
    info.mode = eyeTrackingMode;
    trackingState = (TrackingStateCode)PXR_MotionTracking.StartEyeTracking(ref info);
    Debug.Log("开始眼动跟踪状态 trackingState: " + trackingState.ToString());

    //Get Eye Tracking Data
    //获取眼动跟踪数据
    EyeTrackingDataGetInfo eyeData = new EyeTrackingDataGetInfo();
    eyeData.displayTime = 0;
    eyeData.flags = EyeTrackingDataGetFlags.PXR_EYE_DEFAULT
    | EyeTrackingDataGetFlags.PXR_EYE_POSITION
    | EyeTrackingDataGetFlags.PXR_EYE_ORIENTATION;
    EyeTrackingData eyeTrackingData = new EyeTrackingData();
    trackingState = (TrackingStateCode)PXR_MotionTracking.GetEyeTrackingData(ref eyeData, ref eyeTrackingData);
    Debug.Log("eyeData:  "+ eyeData.ToString() + " TrackingData:  " + eyeTrackingData.ToString());

  
}

接下来，每帧都获取眼动数据，并将眼睛位置和眼睛朝向数据转换成世界坐标

public Transform origin;//在Unity主界面把XR Origin拖进来即可
private Matrix4x4 headPoseMatrix,originPoseMatrix;
private Vector3 combineEyeGazeVector, combineEyeGazeOriginOffset, combineEyeGazeOrigin;
private Vector3 combineEyeGazeVectorInWorldSpace, combineEyeGazeOriginInWorldSpace;
void Update()
{
	GetEyeTrackingData();
}

private void GetEyeTrackingData()
{
		//获取head的局部转世界矩阵，该矩阵点乘head局部坐标系下坐标，则能转换为世界坐标系下的坐标
        PXR_EyeTracking.GetHeadPosMatrix(out headPoseMatrix);	
        //获取双眼（取中间位置）位于Head坐标系下的朝向信息GazeVector
        PXR_EyeTracking.GetCombineEyeGazeVector(out combineEyeGazeVector);
        //获取双眼（取中间位置）位于Head坐标系下的位置信息GazePoint
        PXR_EyeTracking.GetCombineEyeGazePoint(out combineEyeGazeOrigin);
        
        //获取眼睛的世界坐标
        combineEyeGazeOriginInWorldSpace = originPoseMatrix.MultiplyPoint(headPoseMatrix.MultiplyPoint(combineEyeGazeOrigin));
        //获取眼睛的朝向信息
        combineEyeGazeVectorInWorldSpace = originPoseMatrix.MultiplyVector(headPoseMatrix.MultiplyVector(combineEyeGazeVector));
		
		//highlighArea是我添加的一个手电筒高亮区域，能让用户更直观地查看眼睛看向位置
        highlighArea.transform.position = combineEyeGazeOriginInWorldSpace ;
        //LookRotation默认是以z轴旋转，如果要以y轴旋转的话可以在后面加上 ,Vector3.up
        highlighArea.transform.rotation = Quaternion.LookRotation(combineEyeGazeVectorInWorldSpace);
/*        RaycastHit hit;
        if (Physics.Raycast(highlighArea.transform.position, combineEyeGazeVectorInWorldSpace, out hit, 1000f))
        {
            highlighArea.transform.LookAt(hit.point);
        }*/
}

简易效果图（透明圈处是一个作为highlighArea的圆锥区域）：
在这里插入图片描述

至此，便已经能获取到PICO VR里眼动追踪的位置和朝向信息。

2. "Build and Run"报错

引入EyeTracking代码后，发现Build and Run时会报以下错误:
在这里插入图片描述

在这里插入图片描述
这是因为run的话会导致Unity找不到可供眼动追踪的设备，导致编译报错。

解决方法，只点击Build，而不是Build and Run:
在这里插入图片描述
Build完后，打开Pico Developer Center，依次点击"应用管理"->“安装包”->“安装本地应用”：
在这里插入图片描述
选择build好的apk即可，后续便能直接在眼镜里运行：
在这里插入图片描述

3.眼镜内调试的Trick

对于这种要build到眼镜里才能调试的功能，可以利用Unity提高的UI->Text组件进行调试。

即，在Unity场景下创建一个UI->Text对象,然后把对象拖到下面脚本的GazeDebugText变量上，便能在眼镜里看到相应数据输出了

public TMP_Text GazeDebugText;
private void GetEyeTrackingData()
{
	GazeDebugText.text = combineEyeGazeOrigin.ToString("F3");//F3是指精确到小数点后3位
}

效果：
在这里插入图片描述

4.如何在Unity里串流调用眼动追踪功能

B站视频：使用PICO头显在VR串流环境下进行眼动追踪

我个人是在看了这个视频后才知道PICO VR也能在Unity下串流使用眼动跟踪功能，但我没有进一步深入探究，据该视频UP主表示，PICO neo3 pro eye是可以串流的，该方法理应也适用于其他头盔（带有企业串流功能的头盔）。

在此处也表达下对UP主的感谢，在后台私信耐心细致替我解答问题。

想要串流使用pico的眼动追踪功能，需要下载特定的串流软件和PICO系统版本。

4.1 串流工具准备

PC端我们要下载最新版本的PICO企业版串流工具（普通版的串流工具不知道可不可以）:在这里插入图片描述
在PICO端上则是自动保持串流软件更新到最新版本即可。

在PC端下载好“企业串流”软件后，点击"设置"->“通用”:
在这里插入图片描述
把需要的功能都勾选上（默认是关闭状态）：
在这里插入图片描述

business streaming安装后且打开眼动追踪功能后，sdk里会有一个用qt写的测试程序，可以试试看串流后眼动跟踪是否正常，测试程序不需要用steam，但是对头显的固件版本有要求：
在这里插入图片描述
点击get eye tracking(记住，一定要戴上头盔的情况下，盲点这个按钮，不如眼睛都不在头盔里面自然捕获不到数据)，正常的话会显示如下数据：
在这里插入图片描述
如果这里显示ET Data 是 invalid的，那证明你没有戴上头盔后再点击get eye tracking，因为头盔没能捕捉到瞳孔数据，记住一定要先戴上头盔再盲点击按钮。

4.2 企业串流+OpenVR+SteamVR进行Unity开发

众所周知，任意VR头盔都能用SteamVR+OpenVR来开发VR应用，我们的PICO眼镜也可以，这里的“企业串流”只起到了传输EyeTrackingData的作用。我们如果要用到眼动追踪串流调试的话，就需要以OpenXR+SteamVR的方式进行开发，详细教程可以参考：知乎-Pico基于Unity XR Interaction Toolkit开发SteamVR串流应用 如果能正常串流到Unity界面，则我们进入下一步代码开发。

4.3 代码部分

接下来便是关键的部分，我们要在代码里引入企业版的PICO SDK并初始化（在你要用到Eye tracking代码最开始的地方引入即可，）:

//引入 企业版串流SDK
private const string PXR_PLATFORM_DLL = "BStreamingSDK.dll";
//对 企业版串流SDK 进行初始化
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_Init(IntPtr userData);
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
public static extern int BStreamingSDK_Deinit();

此处的SDK跟我们平常开发PICO用的PXR SDK不一样，是为串流功能专门要用的SDK，该SDK会随business streaming一起安装，不需要你特定指明路径。而且当我们将项目build成apk安装包之后，调用的SDK是正常使用的，不用担心冲突问题等。

接下来便是获取眼部追踪数据/手势追踪数据即可：

//眼动追踪
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_GetEyeTrackingData(ref PxrEyeTrackingData etdata);

//手势追踪
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_GetHandTrackerAimState(HandType hand, ref HandAimState aimState);
[DllImport(PXR_PLATFORM_DLL, CallingConvention = CallingConvention.Cdecl)]
private static extern int BStreamingSDK_GetHandTrackerJointLocations(HandType hand, ref HandJointLocations jointLocations);

此外，注意这里的PxrEyeTrackingData并不是SDK自带的类，而是需要我们自己在代码里创建的类，然后将其传入官方提供的函数来获取数据(手势追踪的Hand AimState等也是如此要自己创建类，详细部分可以向官方发送企业工单获取技术人员帮助),该类的定义如下所示：

public struct PxrEyeTrackingData
{
    public int leftEyePoseStatus;
    public int rightEyePoseStatus;
    public int combinedEyePoseStatus;

    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)] 
    public float[] leftEyeGazePoint;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)] 
    public float[] rightEyeGazePoint;

    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] combinedEyeGazePoint;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] leftEyeGazeVector;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] rightEyeGazeVector;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] combinedEyeGazeVector;

    public float leftEyeOpenness;
    public float rightEyeOpenness;
    public float leftEyePupilDilation;
    public float rightEyePupilDilation;

    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] leftEyePositionGuide;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] rightEvePositionGuide;
    [MarshalAs(UnmanagedType.ByValArray, SizeConst = 3)]
    public float[] foveatedGazeDirection;

    public int foveatedGazeTrackingState;
}

后续要注意到的点是，串流SDK里 CombinedEyeGazeVector Z轴是要取反的，与PICO Integration SDK不同:

PxrEyeTrackingData etData = new PxrEyeTrackingData();
var result = BStreamingSDK_GetEyeTrackingData(ref etData);
headPoseMatrix = Matrix4x4.TRS(userView.transform.position, userView.transform.rotation, Vector3.one);
var eyePoseStatus = etData.combinedEyePoseStatus;
var gazePosition = new Vector3(etData.combinedEyeGazePoint[0], etData.combinedEyeGazePoint[1], etData.combinedEyeGazePoint[2]);
var gazeVector = new Vector3(etData.combinedEyeGazeVector[0], etData.combinedEyeGazeVector[1], -etData.combinedEyeGazeVector[2]);
combineEyeGazeOrigin = gazePosition;
combineEyeGazeVector = gazeVector;

combineEyeGazeOriginInWorldSpace = headPoseMatrix.MultiplyPoint(combineEyeGazeOrigin);
combineEyeGazeVectorInWorldSpace = headPoseMatrix.MultiplyVector(combineEyeGazeVector);
highlightArea.position = combineEyeGazeOriginInWorldSpace;
highlightArea.rotation = Quaternion.LookRotation(combineEyeGazeVectorInWorldSpace);

如果经过测试后，eye tracking data什么的没有问题，后续在Unity串流过程中使用Eye Tracking Dat并基于OpenXR进行应用调试与开发。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/881761.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【机器学习(七)】分类和回归任务-K-近邻 (KNN)算法-Sentosa_DSML社区版

【机器学习(七)】分类和回归任务-K-近邻 (KNN)算法-Sentosa_DSML社区版

文章目录 一、算法概念二、算法原理（一）K值选择（二）距离度量1、欧式距离2、曼哈顿距离3、闵可夫斯基距离 （三）决策规则1、分类决策规则2、回归决策规则 三、算法优缺点优点缺点 四、KNN分类任务实现对比&am…
阅读更多...
数据结构--链表

数据结构--链表

文章目录 链表1.链表的特点2.链表的基础操作2.1增2.2删 3.自定义链表3.1 自定义单向链表3.2 自定义双向链表 链表 链表是一种常见的数据结构，由一系列节点构成，每个节点包含当前节点的数据和一个指针(单向链表)或者两个指针(双向链表)，链表是…
阅读更多...
渗透测试入门学习——php表单form与POST、GET请求练习

渗透测试入门学习——php表单form与POST、GET请求练习

最终效果&#xff1a; 必填项为空报错提示&#xff1a; 代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>php表单练习</title> </head> <body> <?php//php中的…
阅读更多...
Aegisub字幕自动化及函数篇(图文教程附有gif动图展示)(一)

Aegisub字幕自动化及函数篇(图文教程附有gif动图展示)(一)

目录 自动化介绍 bord 边框宽度 随机函数 fsvp 随机颜色 move 自动化介绍 自动化介绍:简单来说自动化能让所有字幕行快速拥有你指定的同一种特效 对时间不同的行应用相同的效果 只要设计好一个模板&#xff0c;然后让所有行都执行这个模板上的特效就好了 首先制作模板行…
阅读更多...
PyCharm的使用

PyCharm的使用

PyCharm的入门使用教程 下载和安装PyCharm&#xff1a; 首先&#xff0c;访问JetBrains官方网站&#xff08;https://www.jetbrains.com/pycharm/&#xff09;下载PyCharm的最新版本。根据您的操作系统选择合适的版本进行下载。 安装完成后&#xff0c;打开PyCharm。 创建新…
阅读更多...
Java只有国人在搞了？

Java只有国人在搞了？

从Java诞生到现在&#xff0c;在全球一直属于最大的开发平台&#xff0c;拥有着世界上最多的开发者和最活跃的社区。你说Java只有国人在搞就有点过分了&#xff0c;Java中常用的主流框架全是外国人写的&#xff0c;虽说阿里也为Java做了很多贡献&#xff0c;但你还真没有资格说…
阅读更多...
网络丢包定位记录(二)

网络丢包定位记录(二)

网卡驱动丢包 查看&#xff1a;ifconfig eth1/eth0 等接口 1.RX errors: 表示总的收包的错误数量&#xff0c;还包括too-long-frames错误&#xff0c;Ring Buffer 溢出错误&#xff0c;crc 校验错误&#xff0c;帧同步错误&#xff0c;fifo overruns 以及 missed pkg 等等。 …
阅读更多...
基于Windows系统以tomcat为案例，讲解如何新增自启动服务，定时重启服务。

基于Windows系统以tomcat为案例，讲解如何新增自启动服务，定时重启服务。

文章目录 引言I 设置服务自启动的常规操作II 安装多个tomcat服务，并设置自启动。III 定时重启服务引言 为了同一个版本安装多个tomcat服务，并设置自启动。使用Windows的任务计划程序来创建一个定时任务，用于重启Tomcat服务。I 设置服务自启动的常规操作 运行窗口输入control…
阅读更多...
Agile Modbus STM32裸机移植 从机使用

Agile Modbus STM32裸机移植 从机使用

本教程手把手教你实现Agile Modbus，照抄就能成。 并且会解读函数功能含义。 1. 引言 Agile Modbus 是一个轻量级的 Modbus 协议栈，可以满足用户在任何场景下的需求。 功能 支持 rtu 和 tcp 协议，使用纯 C 语言开发，不涉及任何硬件接口，可以直接在任何形式的硬件上使用。由…
阅读更多...
大数据-143 - ClickHouse 集群 SQL 超详细实践记录！

大数据-143 - ClickHouse 集群 SQL 超详细实践记录！

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 目前已经更新到了&#xff1a; Hadoop&#xff08;已更完&#xff09;HDFS&#xff08;已更完&#xff09;MapReduce&#xff08;已更完&am…
阅读更多...
Android TV RecyclerView列表获得焦点左右换行

Android TV RecyclerView列表获得焦点左右换行

在TV上&#xff0c;用RecyclerView显示一个列表&#xff0c;飞鼠遥控左右遥控获得Item焦点&#xff0c;到最后一个进行右移动换行&#xff0c;是不能做到的&#xff0c;因此需要监听key事件处理换行。 效果图如下 代码实现 Item.xml布局 <?xml version"1.0" e…
阅读更多...
Layout 布局组件快速搭建

Layout 布局组件快速搭建

文章目录 设置主题样式变量封装公共布局组件封装 Logo 组件封装 Menu 菜单组件封装 Breadcrumb 面包屑组件封装 TabBar 标签栏组件封装 Main 内容区组件封装 Footer 底部组件封装 Theme 主题组件 经典布局水平布局响应式布局搭建 Layout 布局组件添加 Layout 路由配置启动项目 …
阅读更多...
连续数组问题

连续数组问题

目录 一题目&#xff1a; 二思路&#xff1a; 三代码&#xff1a; 一题目&#xff1a; leetcode链接&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 二思路&#xff1a; 思路&#xff1a;前缀和&#xff08;第二种&#xff09;化0为-1hash&#xff1a; 这样可以把…
阅读更多...
SQL server学习01-SQL server环境配置

SQL server学习01-SQL server环境配置

目录 一&#xff0c;手动下载及安装 microsoft .net framework 3.5 1&#xff0c;下载 2&#xff0c;安装 二&#xff0c;安装SQL server2014 1&#xff0c;下载 2&#xff0c;安装 3&#xff0c;启动SQL server服务 三&#xff0c;下载及安装Microsoft SQL Server…
阅读更多...
高效编程的利器 Jupyter Notebook

高效编程的利器 Jupyter Notebook

目录 前言1. Jupyter Notebook简介1.1 功能特点1.2 使用场景 2. 不同编程工具的对比与效率提升2.1 VS Code&#xff1a;灵活且轻量的代码编辑器2.2 PyCharm&#xff1a;面向专业开发者的集成开发环境2.3 Git&#xff1a;高效协作的版本控制工具2.4 Jupyter Notebook 和 VS Code…
阅读更多...
【AI学习笔记】初学机器学习西瓜书概要记录（一）机器学习基础知识篇

【AI学习笔记】初学机器学习西瓜书概要记录（一）机器学习基础知识篇

初学机器学习西瓜书的概要记录&#xff08;一&#xff09;机器学习基础知识篇(已完结) 初学机器学习西瓜书的概要记录&#xff08;二&#xff09;常用的机器学习方法篇(持续更新) 初学机器学习西瓜书的概要记录&#xff08;三&#xff09;进阶知识篇(待更) 文字公式撰写不易&am…
阅读更多...
【爱给网-注册安全分析报告-无验证方式导致安全隐患】

【爱给网-注册安全分析报告-无验证方式导致安全隐患】

前言 由于网站注册入口容易被黑客攻击&#xff0c;存在如下安全问题&#xff1a; 1. 暴力破解密码&#xff0c;造成用户信息泄露 2. 短信盗刷的安全问题&#xff0c;影响业务及导致用户投诉 3. 带来经济损失&#xff0c;尤其是后付费客户&#xff0c;风险巨大&#xff0c;造…
阅读更多...
virtualbox中的网络模式，网络设置，固定IP

virtualbox中的网络模式，网络设置，固定IP

virtualbox关于网络设置的文档&#xff1a;https://www.virtualbox.org/manual/topics/networkingdetails.html#networkingdetails DHCP Dynamic Host Configuration Protocol&#xff1a;动态主机配置协议&#xff0c;是专门用来给网络中的节点分发IP地址&#xff0c;确保每…
阅读更多...
用友U8二次开发工具KK-FULL-*****-EFWeb使用方法

用友U8二次开发工具KK-FULL-*****-EFWeb使用方法

1、安装: 下一步&#xff0c;下一步即可。弹出黑框不要关闭&#xff0c;让其自动执行并关闭。 2、服务配置&#xff1a; 输入服务器IP地址&#xff0c;选择U8数据源&#xff0c;输入U8用户名及账号&#xff0c;U8登录日期勾选系统日期。测试参数有效性&#xff0c;提示测试通过…
阅读更多...
【Unity-UGUI组件拓展】| Image 组件拓展，支持FIlled和Slice功能并存

【Unity-UGUI组件拓展】| Image 组件拓展，支持FIlled和Slice功能并存

🎬【Unity-UGUI组件拓展】| Image 组件拓展，支持FIlled和Slice功能并存一、组件介绍二、组件拓展方法三、完整代码💯总结🎬 博客主页：https://xiaoy.blog.csdn.net 🎥 本文由 呆呆敲代码的小Y 原创，首发于 CSDN🙉 🎄 学习专栏推荐：Unity系统学习专栏 🌲 游戏…
阅读更多...
最新文章

Copyright @ 2022~2023