用增强现实技术测量一条鱼
JCU信息技术校友Magnus Persson告诉我们,他是如何从一名本科生直接进入一个主要的人工智能(AI)项目的工作,以及如何每天努力教人工智能什么是鱼。
马格努斯说:“我对人们如何与软件和电脑互动很感兴趣,对游戏也很感兴趣。“这就是为什么我攻读信息技术学士学位,辅修人机交互和游戏设计。”
这种兴趣也吸引了马格努斯加入JCUFish应用程序项目,该项目旨在让人们仅用手机就能测量和识别一条鱼。JCUFish应用团队使用了一种叫做“增强现实”的技术。马格努斯说:“从本质上说,你是在你的手机中建立一个基于现实世界的3D世界。
第一步是打开JCUFish应用程序,用你的手机给鱼拍照。“通过这种方式,你将鱼置于3D世界中,然后它会测量两点之间的距离。”这两个点是鱼闭着的嘴的尖端和尾巴的末端。马格努斯说:“在测量完鱼后,我们将图片发送给人工智能(AI),人工智能会试图找出它是什么物种。”
了解更多有关偏远地区鱼类的资料
JCUFish项目于去年7月启动。这款应用背后的想法是试图找出在世界各地偏远地区的市场上出售的鱼类种类,以及它们的数量和大小。这可以帮助研究人员发现哪些物种存在于太平洋的某些区域,当它们被捕获时的平均大小是多少,以及这些物种是否仍然大量存在或可能正在减少。马格努斯说:“当然,我们感兴趣的地方是托雷斯海峡、瓦努阿图、斐济和所罗门群岛。”
詹姆斯库克大学的海洋数据技术中心(M-DataTech)和世界自然基金会(WWF)正在资助和合作这个项目。马格努斯说:“世界自然基金会还帮助志愿者使用这款应用程序,因为他们已经在那些偏远地区了。”“他们现在大约有15个人在那里的鱼市上逛。但我们有潜力让50到100人开始参与进来。”
训练人工智能的艰苦工作
马格努斯表示,尽管软件已经完成了90%,但魔鬼总是在细节中——或者说在最后10%的工作中。选择最好的人工智能(AI)和训练它是一个长期和困难的过程,因为图像仍然需要专门准备。
“所以,库尔特·舍恩霍夫(Kurt Schoenhoff)也参与了这个项目,我和他收到了5到7种不同鱼类的数百张图片。M-DataTech的人花了大量的时间准备、旋转和按物种分类,”马格努斯说。“然后我们要做的是将数据集发送给人工智能,并说,‘这就是物种’。
“人工智能会查看所有这些图像。然后我们开始给他们提供训练图片,让他们问:“这是什么?”如果能准确预测,那就太好了。但它需要数千张图像才能形成一个准确的数据集。”
致力于用户体验
另一个需要注意的问题是,JCUFish应用程序目前只适用于晚期的安卓手机。但该团队希望该软件也能在iphone和老款安卓手机上运行。
这款应用还需要更容易使用——程序员称之为“用户体验”。“用户体验对我们来说非常重要。如果没有人测试应用,我们就无法做到这一点。”“到目前为止,我们一直在编写它,而现在测试它的人可能会说‘啊,这有点笨拙’或‘这不起作用’或‘我们不理解这一点’,这是我们需要解决的问题。这是最难的部分,要完成测试,让人们觉得应用有用且容易使用。”
从事IT开发研究
马格努斯在还是本科生的时候就参与了这个项目。做一个研究项目或在一家公司实习是信息技术学士学位的重要组成部分。马格努斯说:“就我而言,我决定开发JCUFish应用程序,而不是去另一家公司找工作。”
这是一个很好的决定,因为JCUFish应用程序项目也为马格努斯提供了一份工作,在他毕业后成为了同一项目的研究人员。“这有点像口口相传,我和授课老师也有了一些联系。我一直在烦他们,对他们说,‘你知道,如果你们需要员工,或者你们需要谁来完成更多的工作,我很感兴趣’。”
JCUFish的未来
从长远来看,这款应用应该能够识别大多数生活在南太平洋、被商业渔民捕获的鱼类。但马格努斯知道,该团队可以把这个项目做得更深入。
马格努斯说:“你可以给鱼拍照,记录下位置、鱼的大小和它的种类。”
“你可以在世界任何地方使用这款应用,而不仅仅是在鱼市使用。你可以得到一组很好的数据来确定产卵率和其他有用的数据信息。”
JCU校友和研究员Magnus Persson
志愿参加JCUFish
截至2021年9月,JCUFish是可在谷歌Play免费下载.“所有想测量鱼的人都可以使用。但目前只有注册的世界自然基金会志愿者才能将他们的照片发回存储室。”在这个阶段,图像还需要准备好,以供AI处理。
那些生活在太平洋偏远地区的人,如果愿意做志愿者,可以与詹姆斯·库克大学的马格努斯·佩尔松或迈克尔·布拉德利联系海洋数据技术中心(M-DataTech).