Orange: Similarity Hashing

Sumber: https://orange3-text.readthedocs.io/en/latest/widgets/similarityhashing.html

Widget Similarity Hashing menghitung nilai hash dokumen.

Input

Corpus: A collection of documents.

Output

Corpus: Corpus with simhash value as attributes.

Widget Similarity Hashing akan mentranformasikan dokumen menjadi vector similarity. Widget Similarity Hashing menggunakan metoda SimHash dari Moses Charikar.

• Set Simhash size (how many attributes will be on the output, corresponds to bits of information) and shingle length (how many tokens are used in a shingle).
• Commit Automatically output the data automatically. Alternatively, press Commit.

Contoh

Kita akan menggunakan file deerwester.tab untuk memperoleh dokumen yang sama dari corpus yang kecil ini. Load data menggunakan widget Corpus dan kirim ke widget Similarity Hashing. Kita menggunakan nilai default hash size dan default shingle length. Kita bisa mengamati keluaran widget Similarity Hashing di widget Data Table. Ada 64 atribut baru yang tersedia, terkait dengan Simhash size parameter.

Referensi

Charikar, M. (2002) Similarity estimation techniques from rounding algorithms. STOC ‘02 Proceedings of the thirty-fourth annual ACM symposium on Theory of computing, p. 380-388.

Referensi

• https://orange3-text.readthedocs.io/en/latest/widgets/similarityhashing.html

Pranala Menarik

• Orange