ARKit 4 di Apple fissa la realtà 3D nelle posizioni di Maps nel mondo reale

Con ARKit 4, Apple sta costruendo le basi per un mondo virtuale di "realtà" animate e interattive 3D esplorabili da chiunque abbia in tasca un nuovo iPhone.

Alla WWDC20, Apple ha delineato nuove funzionalità futuristiche in arrivo su ARKit 4. Le versioni precedenti della piattaforma di realtà aumentata della società avevano prima permesso alla grafica 3D di base di apparire fissa sul posto nel flusso video da una videocamera iOS 11 usando Visual Inertial Odometry. Ciò consente a un utente di esplorare un oggetto virtuale da tutti i lati o di giocare a un gioco interattivo fissato tramite AR su una superficie del tavolo.

ARKit 2 nel iOS 12 del 2018 ha introdotto mondi AR condivisi, in cui due utenti potevano vedere viste diverse della stessa scena virtuale, consentendo il gameplay multiutente in app di realtà aumentata. L'ARKit 3 degli anni scorsi ha introdotto la motion capture e l'occlusione delle persone, che ha permesso agli oggetti virtuali di muoversi davanti e dietro le persone, comprendendo al contempo come una persona era posizionata davanti alla telecamera.

Gli investimenti di Apple in una raccolta di AR e tecnologie correlate utilizzano la visione computerizzata, l'apprendimento automatico e il rilevamento del movimento per costruire mondi interattivi sempre più sofisticati di grafica computerizzata fissati all'interno di una telecamera. Negli ultimi anni ha finito per essere molto più efficace e di successo degli sforzi della concorrenza per vendere VR per smartphone.

Posizione Ancore

ARKit 4 in iOS 14 appena annunciato aggiunge Location Anchors, che possono riparare un modello AR in una posizione specifica nel mondo reale, definita da latitudine, longitudine ed elevazione. Questo potrebbe essere usato per presentare opere d'arte virtuali, come ha dimostrato Apple con un'installazione KAWS posizionata presso il Ferry Building di San Francisco. Potrebbe anche essere usato per posizionare etichette fissate nello spazio in una posizione specifica o per costruire intere esperienze di AR in un determinato punto.

Per fornire una maggiore precisione nell'ancoraggio di una posizione di quanto il GPS possa fornire da solo, Apple ha dimostrato ARKit 4 utilizzando la posizione visiva, che utilizza l'apprendimento automatico per abbinare i punti di riferimento visti dalla fotocamera con una mappa di localizzazione scaricata da Apple Maps corrispondente alla posizione corrente. Questi dati sembrano essere raccolti dai veicoli di Apple Maps per creare l'esplorazione di Look Around Maps nelle principali città.

Il processo di corrispondenza della posizione viene eseguito localmente sul telefono, senza che le informazioni private vengano rinviate ai server Apple. Questa impressionante intersezione di tecnologie potrebbe essere ulteriormente abbinata ad altre funzionalità che Apple ha descritto in dettaglio al WWDC20, tra cui Clip App per fornire funzionalità istantanee, incluso il pagamento tramite Apple Pay o un accesso utente tramite "Accedi con Apple".

Le applicazioni future di queste tecnologie offrono casi d'uso ovvi per AR indossabili, incluso il "Apple Glass" che potrebbe navigare punti di interesse e consentire a un utente di interagire con esperienze AR ancorate per trovare maggiori informazioni o gestire una serie di sofisticate transazioni di app.

API di profondità e LiDAR

Oltre ad ancorare un'esperienza AR a un punto fisso nel mondo reale, ARKit 4 ora offre anche funzionalità avanzate di comprensione delle scene con una nuova API Depth. Ciò gli consente di utilizzare lo scanner LiDAR sul nuovissimo iPad Pro – e si dice che apparirà sul prossimo modello di iPhone 12 – per catturare rapidamente una trama dettagliata di informazioni di profondità sull'ambiente circostante.

Invece di scansionare prima la scena con la videocamera, LiDAR consente il posizionamento immediato di oggetti virtuali in un'esperienza AR, come un gioco che interagisce con oggetti del mondo reale nella stanza.

La nuova API Geometria scena può creare una mappa topologica dell'ambiente, che può essere utilizzata insieme alla classificazione semantica per identificare oggetti fisici e distinguere tra pavimento, pareti e altri oggetti e comprendere la profondità degli oggetti in una scena e come sono disposte.

ARKit 4 può quindi posizionare oggetti virtuali nella scena di fronte o dietro persone occluse o oggetti identificati nella scena; usare la fisica dei giochi per simulare interazioni realistiche tra oggetti virtuali e fisici; e realisticamente leggero usando il raycasting per confondere la linea tra ciò che è reale e il contenuto digitale che aumenta la realtà.

Tracciamento viso e mano

Un terzo importante progresso di ARKit 4 espande il tracciamento del volto oltre i dispositivi dotati di una fotocamera TrueDepth sul nuovo iPhone SE e altri prodotti con almeno un processore A12 Bionic.

Il tracciamento del volto acquisisce ancore e geometria del volto per consentire la grafica da applicare al volto dell'utente, sia per creare un avatar simile a Memoji che catturi le espressioni dell'utente per animare un personaggio virtuale, sia per applicare il trucco virtuale o altri effetti di illuminazione simili a Portrait Lighting nella fotocamera iOS.

Apple ha anche aggiunto il tracciamento delle mani al suo framework Vision, consentendo a un dispositivo iOS di riconoscere non solo i movimenti di tutto il corpo ma anche le singole posizioni delle dita di una mano. Una dimostrazione ha mostrato come un utente potrebbe pronunciare le parole in aria, semplicemente guardando la telecamera e identificando i movimenti precisi delle mani.

Acquisizione della mano del quadro visivo

Strumenti di realtà per la costruzione di esperienze AR

Apple sta inoltre fornendo una nuova app Reality Converter per portare i modelli 3D sviluppati in uno strumento esterno per la creazione di contenuti digitali nel formato di file usdz utilizzato da ARKit, nonché un aggiornamento a Reality Composer per la creazione e il test di esperienze AR e l'esportazione nel usdz portatile.

RealityKit aggiunge anche il supporto per l'applicazione di una trama video all'interno di una scena ARKit, come una televisione virtuale posizionata su una parete, completa di attributi di realismo come emissione di luce, alfa e rugosità della trama.

Il lavoro che Apple sta svolgendo in AR si sovrappone al lavoro esistente che altri hanno iniziato, in particolare Google. Ma una cosa che supporta in modo drammatico gli sforzi di Apple nell'AR è la vasta base installata di dispositivi sofisticati e di fascia alta con sensori di struttura come TrueDepth su iPhone X e versioni successive e il nuovo sensore LiDAR sui nuovi iPad Pro.

Apple ha lanciato ARKit tre anni fa ed è diventata immediatamente la più grande piattaforma AR al mondo, il che significa che gli sviluppatori hanno una varietà di opportunità per la creazione di esperienze che un gran numero di utenti del mondo reale può sperimentare. La società è ancora agli inizi e possiamo aspettarci di implementare sempre più nuove tecnologie che estendono le funzionalità di ARKit in nuove direzioni, includendo potenzialmente occhiali indossabili e parabrezza dei veicoli oltre all'attuale base installata di dispositivi mobili portatili iOS e iPadOS.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *