Contrôlez votre application SwiftUI avec la reconnaissance faciale à l’aide de SceneKit | de Mark Lucking | janvier 2023

Posté Par: Windows2022tutosur: janvier 16, 2023Dans: Node JsPas De Commentaires

Donnez vie à votre application grâce à une enquête sur les défis rencontrés

En 2002 Steven Spielberg a réalisé un film sur des êtres capables de voir dans le futur — un sujet qui dépasse un peu cet article, même si j’aimerais m’attarder sur l’une de ses égéries — des caméras avec des scanners à iris permettant aux autorités et à la police de vous suivre partout.

Le balayage de l’iris est une technologie qu’Apple a commencé à intégrer dans ses iPhones avec le modèle X. Tech qu’ils appellent face-ID. Une fonctionnalité que vous pouvez utiliser bien plus que la simple reconnaissance des visages.

Vous pouvez, par exemple, l’utiliser pour suivre le regard de quelqu’un, le point sur un écran qu’il regarde. Rejoignez-moi dans cet article pour voir comment je peux faire passer l’accessibilité au niveau supérieur, en utilisant la puce de reconnaissance faciale de l’iPhone X pour créer une application contrôlée uniquement avec vos yeux.

Comme je l’ai déjà dit, pour utiliser cette technologie, vous aurez besoin d’un téléphone haut de gamme avec reconnaissance faciale – l’un des téléphones de ce liste. Bien sûr, je veux que vous continuiez à lire même si vous n’en avez pas, mais gardez cela à l’esprit si vous décidez d’essayer des choses.

Comme d’habitude, je voulais le faire avec une application basée sur SwiftUI ; J’aime les capacités de mise en page supérieures que vous obtenez avec le framework. J’ai donc commencé par un UIViewRepresentable pour une instance SceneKit ARKit.

J’ai choisi SceneKit plutôt que RealityKit parce que je voulais un cadre AR défini à une distance spécifique ; Je ne voulais pas du tout que l’utilisateur ait à toucher le téléphone.

struct CustomARView: UIViewRepresentable {
typealias UIViewType = ARSCNViewvar view:ARSCNView
var options: [Any] = []
func makeUIView(context: Context) -> ARSCNView {
view.session.delegate = context.coordinator
return view
}
func updateUIView(_ view: ARSCNView, context: Context) {
}
func makeCoordinator() -> Coordinator {
Coordinator(self.view)
} 
}

Bon – alors vous l’avez deviné – j’ai ajouté la part du lion du code au coordinateur vu ici, bien qu’avant de montrer ledit code ici, voici un GIF de moi qui l’exécute.

Mon plus grand défi était de garder la tête droite vers la caméra pendant que j’essayais de suivre mon regard. Le problème, c’est un réflexe activé inconsciemment pour suivre votre regard avec votre tête. Un mouvement que vous remarquez à peine car vos yeux compensent.

Mais attendez — parce que si vous essayez d’utiliser l’appareil photo pour suivre votre regard et que vous bougez la tête, votre regard change — changeant les résultats que vous obtenez en retour.

Quoi qu’il en soit, pour coder – et voici le premier brouillon.