Construí un analizador de sentimientos usando el clasificador SVM. Entrené el modelo con probabilidad = Verdadero y me puede dar probabilidad. Pero cuando decapado mi modelo y lo vuelvo a cargar más tarde, la probabilidad ya no funciona.
El modelo:
from sklearn.svm import SVC, LinearSVC pipeline_svm = Pipeline([ ('bow', CountVectorizer()), ('tfidf', TfidfTransformer()), ('classifier', SVC(probability=True)),]) # pipeline parameters to automatically explore and tune param_svm = [ {'classifier__C': [1, 10, 100, 1000], 'classifier__kernel': ['linear']}, {'classifier__C': [1, 10, 100, 1000], 'classifier__gamma': [0.001, 0.0001], 'classifier__kernel': ['rbf']}, ] grid_svm = GridSearchCV( pipeline_svm, param_grid=param_svm, refit=True, n_jobs=-1, scoring='accuracy', cv=StratifiedKFold(label_train, n_folds=5),) svm_detector_reloaded = cPickle.load(open('svm_sentiment_analyzer.pkl', 'rb')) print(svm_detector_reloaded.predict([""""Today is awesome day"""])[0])me da:
AttributeError: predict_proba no está disponible cuando probabilidad = Falso
Uso: SVM(probability=True)
o
grid_svm = GridSearchCV( probability=True pipeline_svm, param_grid=param_svm, refit=True, n_jobs=-1, scoring='accuracy', cv=StratifiedKFold(label_train, n_folds=5),)Agregar (probabilidad = Verdadero) al inicializar el clasificador como alguien sugirió anteriormente, resolvió mi error:
clf = SVC(kernel='rbf', C=1e9, gamma=1e-07, probability=True).fit(xtrain,ytrain)Puede usar CalibratedClassifierCV para la salida de puntuación de probabilidad.
from sklearn.calibration import CalibratedClassifierCV model_svc = LinearSVC() model = CalibratedClassifierCV(model_svc) model.fit(X_train, y_train)Guarda el modelo usando pickle.
import pickle filename = 'linearSVC.sav' pickle.dump(model, open(filename, 'wb'))Cargue el modelo usando pickle.load.
model = pickle.load(open(filename, 'rb'))
Ahora comienza la predicción.
pred_class = model.predict(pred) probability = model.predict_proba(pred)