Difference between revisions of "Orange: Similarity Hashing"

From OnnoWiki
Jump to navigation Jump to search
Line 21: Line 21:
 
==Contoh==
 
==Contoh==
  
Kita akan menggunakan file deerwester.tab untuk memperoleh dokumen yang sama dari corpus yang kecil ini. Load data menggunakan widget Corpus dan kirim kan ke widget Similarity Hashing. Kita menggunakan nilai default hash size dan default shingle length. Kita bisa mengamati keluaran widget Similarity Hashing di widget Data Table. Ada 64 atribut baru yang tersedia, terkait dengan Simhash size parameter.
+
Kita akan menggunakan file deerwester.tab untuk memperoleh dokumen yang sama dari corpus yang kecil ini. Load data menggunakan widget Corpus dan kirim ke widget Similarity Hashing. Kita menggunakan nilai default hash size dan default shingle length. Kita bisa mengamati keluaran widget Similarity Hashing di widget Data Table. Ada 64 atribut baru yang tersedia, terkait dengan Simhash size parameter.
  
 
[[File:Similarity-Hashing-Example.png|center|200px|thumb]]
 
[[File:Similarity-Hashing-Example.png|center|200px|thumb]]
 
  
 
==Referensi==
 
==Referensi==

Revision as of 09:54, 12 April 2020

Sumber: https://orange3-text.readthedocs.io/en/latest/widgets/similarityhashing.html


Widget Similarity Hashing menghitung nilai hash dokumen.

Input

Corpus: A collection of documents.

Output

Corpus: Corpus with simhash value as attributes.

Widget Similarity Hashing akan mentranformasikan dokumen menjadi vector similarity. Widget Similarity Hashing menggunakan metoda SimHash dari Moses Charikar.

Similarity-Hashing-stamped.png
  • Set Simhash size (how many attributes will be on the output, corresponds to bits of information) and shingle length (how many tokens are used in a shingle).
  • Commit Automatically output the data automatically. Alternatively, press Commit.

Contoh

Kita akan menggunakan file deerwester.tab untuk memperoleh dokumen yang sama dari corpus yang kecil ini. Load data menggunakan widget Corpus dan kirim ke widget Similarity Hashing. Kita menggunakan nilai default hash size dan default shingle length. Kita bisa mengamati keluaran widget Similarity Hashing di widget Data Table. Ada 64 atribut baru yang tersedia, terkait dengan Simhash size parameter.

Similarity-Hashing-Example.png

Referensi

Charikar, M. (2002) Similarity estimation techniques from rounding algorithms. STOC ‘02 Proceedings of the thirty-fourth annual ACM symposium on Theory of computing, p. 380-388.



Referensi

Pranala Menarik