Difference between revisions of "Openface"

From OnnoWiki
Jump to navigation Jump to search
(Created page with "Sumber: https://github.com/TadasBaltrusaitis/OpenFace/wiki Over the past few years, there has been an increased interest in automatic facial behavior analysis and understand...")
 
 
(5 intermediate revisions by the same user not shown)
Line 1: Line 1:
Sumber: https://github.com/TadasBaltrusaitis/OpenFace/wiki
+
Sumber:
 
+
* https://github.com/TadasBaltrusaitis/OpenFace/wiki
 
+
* https://cmusatyalab.github.io/openface/
Over the past few years, there has been an increased interest in automatic facial behavior analysis and understanding. We present OpenFace – a tool intended for computer vision and machine learning researchers, affective computing community and people interested in building interactive applications based on facial behavior analysis. OpenFace is the first toolkit capable of facial landmark detection, head pose estimation, facial action unit recognition, and eye-gaze estimation with available source code for both running and training the models. The computer vision algorithms which represent the core of OpenFace demonstrate state-of-the-art results in all of the above mentioned tasks. Furthermore, our tool is capable of real-time performance and is able to run from a simple webcam without any specialist hardware
+
* https://blog.algorithmia.com/understanding-facial-recognition-openface/
 
 
OpenFace is an implementation of a number of research papers from the Multicomp group, Language Technologies Institute at the Carnegie Mellon University and Rainbow Group, Computer Laboratory, University of Cambridge. The founder of the project and main developer is Tadas Baltrušaitis.
 
 
 
Special thanks goes to Louis-Philippe Morency and his MultiComp Lab at Carnegie Mellon University for help in writing and testing the code, Erroll Wood for the gaze estimation work, and Amir Zadeh and Yao Chong Lim on work on the CE-CLM model.
 
Functionality
 
 
 
The system is capable of performing a number of facial analysis tasks:
 
 
 
    Facial Landmark Detection
 
 
 
Sample facial landmark detection image
 
 
 
    Facial Landmark and head pose tracking (links to YouTube videos)
 
 
 
Multiple Face Tracking Multiple Face Tracking
 
 
 
    Facial Action Unit Recognition
 
 
 
    Gaze tracking (image of it in action)
 
 
 
    Facial Feature Extraction (aligned faces and HOG features)
 
 
 
Sample aligned face and HOG image
 
Installation
 
 
 
Windows
 
 
 
Ubuntu
 
 
 
Mac
 
 
 
Docker image Somewhat outdated version, but easy to use as no installation needed
 
Use
 
 
 
Command line interface
 
 
 
GUI for Windows
 
 
 
Messaging server (Coming soon)
 
Citation
 
 
 
If you use any of the resources provided on this page in any of your publications we ask you to cite the following work and the work for a relevant submodule you used.
 
Overall system
 
 
 
OpenFace 2.0: Facial Behavior Analysis Toolkit Tadas Baltrušaitis, Amir Zadeh, Yao Chong Lim, and Louis-Philippe Morency, IEEE International Conference on Automatic Face and Gesture Recognition, 2018
 
Facial landmark detection and tracking
 
 
 
Convolutional experts constrained local model for facial landmark detection A. Zadeh, T. Baltrušaitis, and Louis-Philippe Morency. Computer Vision and Pattern Recognition Workshops, 2017
 
 
 
Constrained Local Neural Fields for robust facial landmark detection in the wild Tadas Baltrušaitis, Peter Robinson, and Louis-Philippe Morency. in IEEE Int. Conference on Computer Vision Workshops, 300 Faces in-the-Wild Challenge, 2013.
 
Eye gaze tracking
 
 
 
Rendering of Eyes for Eye-Shape Registration and Gaze Estimation Erroll Wood, Tadas Baltrušaitis, Xucong Zhang, Yusuke Sugano, Peter Robinson, and Andreas Bulling in IEEE International. Conference on Computer Vision (ICCV), 2015
 
Facial Action Unit detection
 
 
 
Cross-dataset learning and person-specific normalisation for automatic Action Unit detection Tadas Baltrušaitis, Marwa Mahmoud, and Peter Robinson in Facial Expression Recognition and Analysis Challenge, IEEE International Conference on Automatic Face and Gesture Recognition, 2015
 
Commercial license
 
  
For inquiries about the commercial licensing of the OpenFace toolkit please visit https://www.flintbox.com/public/project/50632/
+
OpenFace adalah implementasi pengenalan wajah menggunakan Python dan Torch dengan deep neural network dan berdasarkan pada CVPR 2015 paper FaceNet: A Unified Embedding for Face Recognition and Clustering oleh Florian Schroff, Dmitry Kalenichenko, dan James Philbin di Google. Torch memungkinkan jaringan dieksekusi pada CPU atau dengan CUDA.
Final remarks
 
  
I did my best to make sure that the code runs out of the box but there are always issues and I would be grateful for your understanding that this is research code and a research project. If you encounter any problems/bugs/issues please contact me on github or by emailing me at tadyla@gmail.com for any bug reports/questions/suggestions. I prefer questions and bug reports on github as that provides visibility to others who might be encountering same issues or who have the same questions.
+
Dibuat oleh Brandon Amos, Bartosz Ludwiczuk, dan Mahadev Satyanarayanan.
Copyright
 
  
Copyright can be found in the Copyright.txt
+
* Open Source, denan source code tersedia di GitHub pada cmusatyalab/openface.
 +
* Ada dokumentasi API
 +
* Bergabung pada group cmu-openface atau gitter chat untuk diskusi dan masalah instanasi.
  
You have to respect boost, TBB, dlib, OpenBLAS, and OpenCV licenses.
+
Penelitian ini di dukung oleh National Science Foundation (NSF) dengan dukungan tambahan dari Intel, Google, Vodafone, NVIDIA, dan Conklin Kistler family fund.
  
Furthermore you have to respect the licenses of the datasets used for model training - https://github.com/TadasBaltrusaitis/OpenFace/wiki/Datasets
+
==Apakah pengenalan wajah menyelesaikan sebuah masalah?==
  
    © 2018 GitHub, Inc.
+
Tidak! Akurasi dari berbagai makalah penelitian tampaknya baru saja mulai melampaui akurasi manusia pada beberapa standard. Keakuratan sistem pengenalan wajah open source memang masih tertinggal di belakang state-of-the-art.
    Terms
 
    Privacy
 
    Security
 
    Status
 
    Help
 
  
    Contact GitHub
+
==Gunakan Dengan Bertanggung Jawab==
    API
 
    Training
 
    Shop
 
    Blog
 
    About
 
  
Press h to open a hovercard with more details.
+
OpenFace tidak mendukung penggunaan aplikasi ini untuk melanggar privacy dan keamanan. Openface digunakan untuk membantuk mereka yang kesulitan dalam pengenalan untuk mengenali dunia sekeliling mereka.
  
  
 +
==Overview Workflow==
  
 +
Berikut ini adalah overview workflow pendeteksian wajah seseorang yang sudah ada di contoh opencv
  
 +
* Deteksi wajah dengan model pre-trained dari dlib atau OpenCV.
 +
* Transformasikan wajah untuk neural network. OpenFace menggunakan dlib real-time pose estimation dengan OpenCV affine transformation untuk membuat semua mata dan bibir berada pada lokasi yang sama untuk semua gambar.
 +
* Menggunakan deep neural network untuk menggambarkan wajah dalam unit 128-dimensi hypersphere. Embedding ini adalah representasi genetik dari wajah semua orang. Tidak seperti representasi wajah lainnya, embedding mempunyai sifat yang baik sehingga semakin jauh jarak embedding berarti wajah tersebut kemungkinan besar bukan dari orang yang sama. Sifat ini membuat proses clustering, dan juga deteksi, dan tugas klasifikasi menjadi mudah di bandingkan dengan teknik pengenalan wajah lainnya dimana jarak euclidean antar fitur tidak banyak berarti.
 +
* Terakhir adalah menggunakan berbagai teknik clustering dan classifikasi yang kita sukai untuk menyelesaikan tugas pengenalan wajah.
 +
* Selesai.
  
 
==Referensi==
 
==Referensi==
  
 
* https://github.com/TadasBaltrusaitis/OpenFace/wiki
 
* https://github.com/TadasBaltrusaitis/OpenFace/wiki
 +
* https://cmusatyalab.github.io/openface/

Latest revision as of 06:18, 25 May 2018

Sumber:

OpenFace adalah implementasi pengenalan wajah menggunakan Python dan Torch dengan deep neural network dan berdasarkan pada CVPR 2015 paper FaceNet: A Unified Embedding for Face Recognition and Clustering oleh Florian Schroff, Dmitry Kalenichenko, dan James Philbin di Google. Torch memungkinkan jaringan dieksekusi pada CPU atau dengan CUDA.

Dibuat oleh Brandon Amos, Bartosz Ludwiczuk, dan Mahadev Satyanarayanan.

  • Open Source, denan source code tersedia di GitHub pada cmusatyalab/openface.
  • Ada dokumentasi API
  • Bergabung pada group cmu-openface atau gitter chat untuk diskusi dan masalah instanasi.

Penelitian ini di dukung oleh National Science Foundation (NSF) dengan dukungan tambahan dari Intel, Google, Vodafone, NVIDIA, dan Conklin Kistler family fund.

Apakah pengenalan wajah menyelesaikan sebuah masalah?

Tidak! Akurasi dari berbagai makalah penelitian tampaknya baru saja mulai melampaui akurasi manusia pada beberapa standard. Keakuratan sistem pengenalan wajah open source memang masih tertinggal di belakang state-of-the-art.

Gunakan Dengan Bertanggung Jawab

OpenFace tidak mendukung penggunaan aplikasi ini untuk melanggar privacy dan keamanan. Openface digunakan untuk membantuk mereka yang kesulitan dalam pengenalan untuk mengenali dunia sekeliling mereka.


Overview Workflow

Berikut ini adalah overview workflow pendeteksian wajah seseorang yang sudah ada di contoh opencv

  • Deteksi wajah dengan model pre-trained dari dlib atau OpenCV.
  • Transformasikan wajah untuk neural network. OpenFace menggunakan dlib real-time pose estimation dengan OpenCV affine transformation untuk membuat semua mata dan bibir berada pada lokasi yang sama untuk semua gambar.
  • Menggunakan deep neural network untuk menggambarkan wajah dalam unit 128-dimensi hypersphere. Embedding ini adalah representasi genetik dari wajah semua orang. Tidak seperti representasi wajah lainnya, embedding mempunyai sifat yang baik sehingga semakin jauh jarak embedding berarti wajah tersebut kemungkinan besar bukan dari orang yang sama. Sifat ini membuat proses clustering, dan juga deteksi, dan tugas klasifikasi menjadi mudah di bandingkan dengan teknik pengenalan wajah lainnya dimana jarak euclidean antar fitur tidak banyak berarti.
  • Terakhir adalah menggunakan berbagai teknik clustering dan classifikasi yang kita sukai untuk menyelesaikan tugas pengenalan wajah.
  • Selesai.

Referensi