Multi-Class SVM (uno contra todos)

Question

Sé que LIBSVM solo permite una clasificación uno contra uno cuando se trata de SVM multi-clase. Sin embargo, me gustaría modificarlo un poco para realizar una clasificación de uno contra todos. He intentado realizar one-against-all a continuación. ¿Es este el enfoque correcto?

El código:

TrainLabel;TrainVec;TestVec;TestLaBel; 
u=unique(TrainLabel); 
N=length(u); 
if(N>2) 
    itr=1; 
    classes=0; 
    while((classes~=1)&&(itr<=length(u))) 
     c1=(TrainLabel==u(itr)); 
     newClass=c1; 
     model = svmtrain(TrainLabel, TrainVec, '-c 1 -g 0.00154'); 
     [predict_label, accuracy, dec_values] = svmpredict(TestLabel, TestVec, model); 
     itr=itr+1; 
    end 
itr=itr-1; 
end 

que podría haber hecho algunos errores. Me gustaría escuchar algunos comentarios. Gracias.

Segunda parte: Como dijo: Necesito hacer Sum-pooling (o votar como una solución simplificada) para llegar a la respuesta final. No estoy seguro de cómo hacerlo. Necesito ayuda en eso; Vi el archivo de Python, pero todavía no estoy muy seguro. Necesito algo de ayuda.

Answer 1

%# Fisher Iris dataset 
load fisheriris 
[~,~,labels] = unique(species); %# labels: 1/2/3 
data = zscore(meas);    %# scale features 
numInst = size(data,1); 
numLabels = max(labels); 

%# split training/testing 
idx = randperm(numInst); 
numTrain = 100; numTest = numInst - numTrain; 
trainData = data(idx(1:numTrain),:); testData = data(idx(numTrain+1:end),:); 
trainLabel = labels(idx(1:numTrain)); testLabel = labels(idx(numTrain+1:end)); 
%# train one-against-all models 
model = cell(numLabels,1); 
for k=1:numLabels 
    model{k} = svmtrain(double(trainLabel==k), trainData, '-c 1 -g 0.2 -b 1'); 
end 

%# get probability estimates of test instances using each model 
prob = zeros(numTest,numLabels); 
for k=1:numLabels 
    [~,~,p] = svmpredict(double(testLabel==k), testData, model{k}, '-b 1'); 
    prob(:,k) = p(:,model{k}.Label==1); %# probability of class==k 
end 

%# predict the class with the highest probability 
[~,pred] = max(prob,[],2); 
acc = sum(pred == testLabel) ./ numel(testLabel) %# accuracy 
C = confusionmat(testLabel, pred)     %# confusion matrix 

Answer 2

Desde el código que veo, primero intenta convertir las etiquetas en "alguna clase" frente a "no esta clase", y luego invocar a LibSVM para hacer entrenamientos y pruebas. Algunas preguntas y sugerencias:

1. ¿Por qué está utilizando el original TrainingLabel para entrenar? En mi opinión, ¿debería ser model = svmtrain(newClass, TrainVec, '-c 1 -g 0.00154');?
2. Con un mecanismo de entrenamiento modificado, también necesita modificar la parte de predicción, como usar la agrupación de totales para determinar la etiqueta final. El uso del interruptor -b en LibSVM para habilitar la salida de probabilidad también mejorará la precisión.

Answer 3

En lugar de estimaciones de probabilidad, también se pueden utilizar los valores de decisión de la siguiente manera

[~,~,d] = svmpredict(double(testLabel==k), testData, model{k}); 
prob(:,k) = d * (2 * model{i}.Label(1) - 1); 

para lograr el mismo propósito.