Orange: Image Analytics Clustering

Sumber: https://orange.biolab.si/blog/2017/04/03/image-analytics-clustering/

Data tidak selalu datang dalam bentuk tabel yang bagus. Data juga dapat berupa kumpulan teks, rekaman audio, materi video atau bahkan gambar. Namun, komputer hanya dapat bekerja dengan angka, jadi untuk setiap penambangan data, kita perlu mengubah data yang tidak terstruktur tersebut menjadi representasi vektor.

Untuk mengambil angka dari data yang tidak terstruktur, Orange dapat menggunakan deep network embedder. Kita baru saja mulai memasukkan berbagai embedders di Orange, dan untuk saat ini, mereka tersedia untuk teks dan gambar.

Terkait: Video pada image clustering

Di sini, kami memberikan contoh image embedding dan menunjukkan betapa mudahnya menggunakannya di Orange. Secara teknis, Orange akan mengirim gambar ke server, di mana server akan mendorong gambar melalui pre-trained deep neural network, seperti Google Inception v3. Deep network sering dilatih dengan tujuan khusus. Inception v3, misalnya, dapat mengklasifikasikan gambar ke dalam salah satu dari 1.000 kelas gambar. Kita dapat mengabaikan klasifikasi, sebagai gantinya mempertimbangkan lapisan kedua dari belakang jaringan dengan 2048 node (angka) dan menggunakannya untuk image’s vector-based representation.

Contoh

Di sini kita memiliki 19 gambar hewan peliharaan. Pertama, unduh gambar dan unzip. Kemudian gunakanImport Images widget dari add-on Orange's Image Analytics dan buka direktori yang berisi gambar.

Kami dapat memvisualisasikan gambar dalam Image Viewer widget. Inilah workflow kami sejauh ini, dengan gambar yang ditampilkan di Image Viewer:

Tapi apa yang kita lihat di tabel data? Hanya beberapa deskripsi gambar yang tidak berguna (nama file, lokasi file, ukurannya, dan lebar dan tinggi gambar).

Ini tidak bisa membantu kita dengan machine learning. Seperti yang dikatakan sebelumnya, kita membutuhkan angka. Untuk memperoleh representasi numerik dari gambar-gambar ini, kita akan mengirim gambar ke Image Embedding widget.

Bagus! Sekarang kita memiliki angka yang kita inginkan. Ada 2048 di antaranya (kolom n0 hingga n2047). Mulai sekarang, kita dapat menerapkan semua teknik standard machine learning, seperti, clustering.

Mari kita ukur jarak antara gambar-gambar ini dan melihat mana yang paling mirip. Kami menggunakan Distances widget untuk mengukur jarak. Biasanya, cosine distance paling baik untuk gambar, tetapi anda dapat bereksperimen sendiri. Kemudian kita akan mengirimkan distance matrix ke Hierarchical Clustering untuk memvisualisasikan similar pair di dendrogram.

Ini terlihat sangat menjanjikan! Semua hewan yang tepat dikelompokkan bersama. Tapi saya tidak bisa melihat hasilnya dengan baik di dendrogram. Saya ingin melihat gambar - dengan Image Viewer!

Keren abis! Semua keluarga sapi dikelompokkan bersama! Sekarang kita dapat mengklik cabang dendrogram yang berbeda dan mengamati hewan mana yang termasuk dalam kelompok mana.

Tapi saya tahu apa yang akan anda katakan. anda akan mengatakan saya curang. Bahwa saya sengaja memilih gambar yang mirip untuk menipu anda.

Saya akan membuktikan anda salah. Saya akan mengambil sapi baru, katakanlah, sapi paling terkenal di Eropa - sapi Milka.

Gambar ini sangat berbeda dari gambar lain - tidak memiliki latar belakang putih, ini foto asli (belum dipotret) dan sapi itu menghadap kami. Akankah Image Embedding menemukan representasi numerik yang tepat untuk sapi ini?

Memang dia berhasil. Milka disatukan dengan semua sapi lainnya.

Analisis gambar adalah bidang yang sangat menarik dalam pembelajaran mesin dan sekarang Orange juga menjadi bagian darinya! Anda perlu menginstal add Image Analytics dan Anda siap untuk penelitian Anda!

Referensi

• https://orange.biolab.si/blog/2017/04/03/image-analytics-clustering/

Pranala Menarik

• Orange