TF: TensorFlow Linear Regresion Text data
Untuk melakukan regresi linear pada file Excel yang memiliki kolom fitur berupa string/teks dan target Y berupa nilai floating point, serta memprediksi nilai Y untuk dataset baru dengan struktur serupa namun tanpa nilai Y, Anda dapat mengikuti langkah-langkah berikut di Google Colab:
1. Mengimpor Pustaka yang Diperlukan
Pastikan Anda mengimpor pustaka yang diperlukan seperti `pandas`, `numpy`, `scikit-learn`, dan `category_encoders`.
import pandas as pd import numpy as np from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error from sklearn.preprocessing import OneHotEncoder import category_encoders as ce
2. Mengunggah dan Membaca File Excel
Gunakan fitur unggah file di Google Colab untuk mengunggah file Excel Anda, kemudian baca file tersebut menggunakan `pandas`.
from google.colab import files # Unggah file pertama (dengan target Y) uploaded = files.upload() file_name_1 = list(uploaded.keys())[0] df_train = pd.read_excel(file_name_1) # Unggah file kedua (tanpa target Y) uploaded = files.upload() file_name_2 = list(uploaded.keys())[0] df_test = pd.read_excel(file_name_2)
3. Memisahkan Fitur dan Target
Pisahkan kolom fitur dan kolom target dari dataset pertama.
# Misalkan kolom terakhir adalah target Y X_train = df_train.iloc[:, :-1] y_train = df_train.iloc[:, -1] # Untuk dataset kedua (tanpa target Y) X_test = df_test
4. Mengidentifikasi Kolom Kategorikal
Identifikasi kolom yang berisi data kategorikal (string/teks).
# Menentukan kolom kategorikal categorical_cols = X_train.select_dtypes(include=['object']).columns
5. Mengonversi Variabel Kategorikal Menggunakan One-Hot Encoding
Lakukan one-hot encoding pada kolom kategorikal untuk mengubahnya menjadi format numerik yang dapat digunakan dalam regresi linear.
# One-Hot Encoding untuk data pelatihan encoder = OneHotEncoder(drop='first', sparse=False) X_train_encoded = pd.DataFrame(encoder.fit_transform(X_train[categorical_cols])) X_train_encoded.columns = encoder.get_feature_names_out(categorical_cols) X_train_encoded.index = X_train.index # Menggabungkan kembali dengan kolom numerik X_train_final = pd.concat([X_train.drop(columns=categorical_cols), X_train_encoded], axis=1) # One-Hot Encoding untuk data uji X_test_encoded = pd.DataFrame(encoder.transform(X_test[categorical_cols])) X_test_encoded.columns = encoder.get_feature_names_out(categorical_cols) X_test_encoded.index = X_test.index # Menggabungkan kembali dengan kolom numerik X_test_final = pd.concat([X_test.drop(columns=categorical_cols), X_test_encoded], axis=1)
6. Melatih Model Regresi Linear
Latih model regresi linear menggunakan data pelatihan yang telah diencoding.
# Membuat dan melatih model regresi linear model = LinearRegression() model.fit(X_train_final, y_train)
7. Memprediksi Nilai Y untuk Dataset Kedua
Gunakan model yang telah dilatih untuk memprediksi nilai Y pada dataset kedua.
# Memprediksi nilai Y untuk data uji y_pred = model.predict(X_test_final) # Menambahkan prediksi ke dataframe asli df_test['Predicted_Y'] = y_pred # Menampilkan hasil prediksi print(df_test.head())
Dengan langkah-langkah di atas, Anda dapat melakukan regresi linear pada dataset dengan fitur kategorikal dan memprediksi nilai target untuk dataset baru yang memiliki struktur serupa. Pastikan untuk memeriksa dan membersihkan data Anda sebelum melakukan analisis untuk memastikan hasil yang akurat.