Ti sta dicendo che la funzione non è definita per x=-0.14, per k=10.
Infatti, se provi a scrivere :
c=binocdf(k-1,M,-0.14);
il risultato è proprio NaN (Not a Number).
Andando infatti a leggere sull'help della funzione, c'è scritto che l'ultimo ingresso (P) deve essere un numero compreso tra 0 e 1, mentre la ricerca degli zeri, da parte della funzione fzero, si spinge fino a valori negativi di x.
Non so quali siano i valori di Pd ed M, ma puoi provare a verificare che probabilmente la funzione non ha zeri per k=10;
x=0:0.01:1;
c=1-Pd-binocdf(k-1,M,x);
figure();plot(x,c)