只需一枚攝像頭和一對(duì)耳機(jī)，便能將畫面轉(zhuǎn)化成語(yǔ)言，描繪場(chǎng)景、提示風(fēng)險(xiǎn)，讓視障者出行更安全、生活更便捷。

“聽(tīng)見(jiàn)世界”App街道行走模式圖。本文圖片均為 復(fù)旦大學(xué) 供圖

日前，在復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室（FudanNLP）師生的努力下，基于多模態(tài)大模型“復(fù)旦·眸思”（MouSi）為視障者量身打造的“聽(tīng)見(jiàn)世界”APP上線，將成為視障人士的生活助手與智能管家。

2023年上半年，由復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室開(kāi)發(fā)的MOSS被稱為中國(guó)版的GPT，僅用半年時(shí)間后，多模態(tài)模型“眸思”問(wèn)世。

“眸思”與MOSS同音，但和基于文本的MOSS不同，它能夠理解并識(shí)別圖片內(nèi)容，致力于成為視障者的一雙“眸”。

設(shè)計(jì)使用概念圖。

基于“眸思”的“聽(tīng)見(jiàn)世界”APP，為視障者日常生活需求量身打造設(shè)計(jì)三種模式。

在街道行走模式下，“眸思”如一位忠實(shí)的向?qū)Вt綠燈、十字路口、障礙物……它將細(xì)致掃描道路情況，提示潛在風(fēng)險(xiǎn)，陪伴視障者安全通行“看不見(jiàn)”的漫漫長(zhǎng)路。

在自由問(wèn)答模式下，“眸思”則是一位貼心的朋友，讓視力障礙者走進(jìn)博物館、藝術(shù)館、公園，幫助捕捉四周景象的每個(gè)細(xì)節(jié)，用聲音構(gòu)建豐富的生活場(chǎng)景，傳遞每一處日常之美。

在尋物模式下，“眸思”將成為一名可靠的管家，被移動(dòng)的手杖、最愛(ài)口味的牛奶……日常物件的尋覓過(guò)程變得輕松無(wú)壓力。

據(jù)研究團(tuán)隊(duì)透露，中國(guó)盲人數(shù)量有1700多萬(wàn)，也就是說(shuō)，每一百人中就有一位。但為什么在大多數(shù)人的認(rèn)知里極少在街上看到盲人？這是因?yàn)椋鎸?duì)大量不安全因素，他們難以獨(dú)自跨出家門。

復(fù)旦大學(xué)自然語(yǔ)言實(shí)驗(yàn)室張奇教授說(shuō)，人工智能發(fā)展日新月異，科技應(yīng)該要改變更多人的生活，希望“眸思”能夠幫助視障人士走出家門，讓他們可以嘗試更多工作，為人生書寫更多可能?！?/p>

項(xiàng)目落地背后，是一支年輕的團(tuán)隊(duì)和開(kāi)放的氛圍，從本科生到博士生共25名復(fù)旦學(xué)子及桂韜等多位教師、專家的加入，才有了“眸思”接續(xù)“MOSS”的成功。

張奇介紹，該項(xiàng)目的主導(dǎo)者實(shí)際上都是“初出茅廬”的學(xué)生們，在組內(nèi)頭腦風(fēng)暴會(huì)上，年輕學(xué)子總能提出開(kāi)創(chuàng)性想法，能夠找到另辟蹊徑的解決辦法。

自去年9月以來(lái)，為了更好地感受視障者的難處，團(tuán)隊(duì)成員同樣模擬真實(shí)情境，蒙眼探索視障者“黑暗”世界，并邀請(qǐng)視障人士加入，進(jìn)一步摸清真實(shí)而具體的需求。

復(fù)旦大學(xué)研究團(tuán)隊(duì)。

今年上半年，團(tuán)隊(duì)將結(jié)合AR升級(jí)APP內(nèi)的定位精度細(xì)化至亞米級(jí)別，下半年團(tuán)隊(duì)希望將“眸思”升級(jí)到基于視頻的判斷。更多模式也正在開(kāi)發(fā)中，比如閱讀模式服務(wù)盲人朋友點(diǎn)菜、讀書等場(chǎng)景，解說(shuō)模式承擔(dān)無(wú)障礙電影解說(shuō)員的工作等。

在政府的支持下，團(tuán)隊(duì)計(jì)劃與NGO組織、智算中心和硬件廠商等開(kāi)展合作，致力于讓視障者免費(fèi)使用產(chǎn)品和相關(guān)服務(wù)。

預(yù)計(jì)今年3月，“聽(tīng)見(jiàn)世界”APP將完成第一輪測(cè)試，并在中國(guó)一、二線城市和地區(qū)同步開(kāi)啟試點(diǎn)，根據(jù)算力部署情況進(jìn)行推廣。

來(lái)源：澎湃新聞