El problema de las pruebas múltiples: Bonferroni, FDR y el «factor zoo».

Mil estrategias, cinco buenas

Un p-valor responde a una pregunta concreta: si esta estrategia no tuviera ventaja, ¿qué probabilidad habría de ver un resultado tan bueno como el observado? Con un umbral de 0,05, una estrategia sin ventaja pasa el contraste una de cada veinte veces. Si se prueba una, es un riesgo razonable. Si se prueban mil y se presenta la mejor, el p-valor ya no responde a la pregunta que importa, que es otra: ¿qué probabilidad hay de que la mejor de mil parezca así de buena por azar? Casi toda.

Este es el corazón de la investigación cuantitativa honesta, y la razón de las lecciones 2.2.4 (registrar cada experimento), 2.5.4 (Deflated Sharpe y PBO) y 2.5.2 (validación fuera de la muestra). Aquí se mide con ruido2_estrategias.parquet: los rendimientos diarios de 1.000 «estrategias» sintéticas de 2022 a 2025, en 50 familias de 20 variantes correladas entre sí, como las que salen de barrer los parámetros de una misma idea. Todas tienen ventaja cero salvo cinco, cada una en una familia distinta, y ruido2_verdad.csv dice cuáles: la respuesta conocida. Son datos inventados; ninguna cifra de esta lección dice nada de una estrategia real.

flowchart TB
  I[Una idea] --> V[Veinte variantes]
  V --> F[Cincuenta familias]
  F --> T[Mil contrastes]
  T --> M[Se elige la mejor]
  M --> P{"¿p < 0,05?"}
  P -- casi siempre --> E[Parece un hallazgo]

import numpy as np
import pandas as pd
from scipy import stats

ruido = pd.read_parquet("ruido2_estrategias.parquet")
verdad = pd.read_csv("ruido2_verdad.csv", index_col="estrategia")
R = ruido.pivot(index="fecha", columns="estrategia",
                values="rendimiento")
n = len(R)
sharpe = R.mean() / R.std() * np.sqrt(252)
t, p = stats.ttest_1samp(R, 0.0)
t = pd.Series(t, index=R.columns)
p = pd.Series(p, index=R.columns)
print(n, "sesiones,", R.shape[1], "estrategias")
print("con p < 0,05:", (p < 0.05).sum(),
      "| esperadas si ninguna tuviera ventaja:", 0.05 * R.shape[1])
print("de ellas, con rendimiento medio positivo:",
      ((p < 0.05) & (t > 0)).sum())

1003 sesiones, 1000 estrategias
con p < 0,05: 46 | esperadas si ninguna tuviera ventaja: 50.0
de ellas, con rendimiento medio positivo: 25

46 estrategias pasan el umbral del 5 % en un contraste bilateral, cerca de las 50 que daría el puro azar, y casi la mitad (21) lo pasan por ser significativamente malas. El contraste es el de la media de los rendimientos diarios (una t de Student), que equivale a contrastar el Sharpe: con $n$ sesiones, $t = \overline{r}/s \cdot \sqrt{n} = \text{SR}_{\text{anual}} \cdot \sqrt{n / 252}$, es decir, $t \approx$ Sharpe anual por la raíz de los años. ¿Dónde están las cinco buenas?

buenas = verdad.index[verdad["sharpe_real"] > 0]
puesto = sharpe.rank(ascending=False).astype(int)
pd.DataFrame({"sharpe_real": verdad.loc[buenas, "sharpe_real"],
              "sharpe_medido": sharpe[buenas], "t": t[buenas],
              "p": p[buenas], "puesto": puesto[buenas]}).round(4)

            sharpe_real  sharpe_medido       t       p  puesto
estrategia
e0080               0.5         0.9508  1.8969  0.0581      31
e0133               0.8         1.4586  2.9099  0.0037       3
e0258               0.7         0.6216  1.2402  0.2152     121
e0518               1.5         1.5791  3.1504  0.0017       1
e0751               0.6         0.8320  1.6599  0.0973      56

Dos de las cinco tienen p < 0,05; las otras tres, con Sharpes verdaderos de 0,5 a 0,7, no se distinguen del ruido en cuatro años. Y en la parte alta de la clasificación la verdad se mezcla con el azar:

top = sharpe.nlargest(8)
pd.DataFrame({"sharpe": top, "p": p[top.index],
              "familia": verdad.loc[top.index, "familia"],
              "ventaja_real": verdad.loc[top.index, "sharpe_real"] > 0}
             ).round(4)

            sharpe       p familia  ventaja_real
estrategia
e0518       1.5791  0.0017     f03          True
e0598       1.5030  0.0028     f22         False
e0133       1.4586  0.0037     f37          True
e0316       1.4227  0.0046     f22         False
e0124       1.4105  0.0050     f35         False
e0462       1.4089  0.0050     f35         False
e0542       1.3857  0.0058     f22         False
e0401       1.3549  0.0070     f24         False

La figura de la cabecera ordena las sesenta mejores. La segunda de las 1.000, e0598, tiene un Sharpe medido de 1,50 en cuatro años y ninguna ventaja: es lo mejor del ruido. Seis de las ocho primeras son ruido. Un analista que eligiera «la mejor» tendría casi las mismas posibilidades de quedarse con una estrategia vacía que con la buena, y no tendría forma de saberlo mirando los números.

Corregir: error por familia y falsos descubrimientos

Las correcciones clásicas responden a dos preguntas distintas.

Error por familia (FWER, family-wise error rate): la probabilidad de cometer al menos un falso positivo entre los $m$ contrastes. Bonferroni lo controla exigiendo $p_i < \alpha / m$ a cada uno: con $m = 1.000$ y $\alpha = 0{,}05$, $p < 0{,}00005$. Holm hace lo mismo de forma escalonada y algo más potente: ordena los p-valores de menor a mayor y compara el $k$-ésimo con $\alpha / (m - k + 1)$, parando en el primero que no pasa.

Tasa de falsos descubrimientos (FDR, false discovery rate): la proporción esperada de falsos positivos entre los descubrimientos. Es una exigencia más suave, pensada para cribas en las que se acepta que alguno de los elegidos sea falso. Benjamini-Hochberg (1995) ordena los p-valores, $p_{(1)} \le \dots \le p_{(m)}$, y declara descubrimientos los $k$ primeros, con

Garantiza FDR ≤ q con contrastes independientes o con dependencia positiva; para dependencia arbitraria, Benjamini-Yekutieli divide además q por $\sum_{i=1}^{m} 1/i$ (unos 7,5 con $m = 1.000$).

flowchart TB
  Q{"¿Qué error duele?"} -- uno solo --> W[FWER]
  Q -- una proporción --> D[FDR]
  W --> B[Bonferroni, Holm]
  D --> H{"¿Dependencia?"}
  H -- positiva --> BH[Benjamini-Hochberg]
  H -- cualquiera --> BY[Benjamini-Yekutieli]

statsmodels tiene las cuatro en multipletests:

from statsmodels.stats.multitest import multipletests

es_buena = R.columns.isin(buenas)
pb = p[es_buena]
filas = {"sin corregir": {"descubrimientos": int((p < 0.05).sum()),
                          "con_ventaja": int((pb < 0.05).sum()),
                          "p_min_ajustado": p.min()}}
for metodo, nombre in [("bonferroni", "Bonferroni"), ("holm", "Holm"),
                       ("fdr_bh", "Benjamini-Hochberg"),
                       ("fdr_by", "Benjamini-Yekutieli")]:
    rechaza, p_aj, _, _ = multipletests(p, alpha=0.05, method=metodo)
    filas[nombre] = {"descubrimientos": int(rechaza.sum()),
                     "con_ventaja": int(rechaza[es_buena].sum()),
                     "p_min_ajustado": p_aj.min()}
pd.DataFrame(filas).T.astype({"descubrimientos": int,
                               "con_ventaja": int})

                     descubrimientos  con_ventaja  p_min_ajustado
sin corregir                      46            2        0.001679
Bonferroni                         0            0        1.000000
Holm                               0            0        1.000000
Benjamini-Hochberg                 0            0        0.829541
Benjamini-Yekutieli                0            0        1.000000

Ninguna sobrevive a ninguna corrección, tampoco las cinco buenas. El p-valor más pequeño de las 1.000 (0,0017, el de e0518, que sí tiene ventaja) se convierte en 1 tras Bonferroni y en un valor muy por encima de 0,05 tras Benjamini-Hochberg. Ver el procedimiento de Benjamini-Hochberg en los primeros puestos ayuda a entender por qué:

orden = p.sort_values()
k = np.arange(1, 9)
paso = pd.DataFrame(
    {"p": orden.values[:8],
     "umbral_bh": 0.05 * k / len(p),
     "ventaja_real": verdad.loc[orden.index[:8], "sharpe_real"]
     .to_numpy() > 0},
    index=pd.Index(orden.index[:8], name="estrategia"))
t_bonf = stats.t.isf(0.05 / len(p) / 2, n - 1)
print(f"Bonferroni exige |t| > {t_bonf:.2f}, un Sharpe anual de "
      f"{t_bonf * np.sqrt(252 / n):.2f} en {n} sesiones")
print(f"sin corregir basta |t| > {stats.t.isf(0.025, n - 1):.2f}: "
      f"Sharpe {stats.t.isf(0.025, n - 1) * np.sqrt(252 / n):.2f}")
paso

Bonferroni exige |t| > 4.07, un Sharpe anual de 2.04 en 1003 sesiones
sin corregir basta |t| > 1.96: Sharpe 0.98
                   p  umbral_bh  ventaja_real
estrategia
e0518       0.001679    0.00005          True
e0598       0.002780    0.00010         False
e0133       0.003695    0.00015          True
e0316       0.004628    0.00020         False
e0124       0.004988    0.00025         False
e0462       0.005038    0.00030         False
e0542       0.005807    0.00035         False
e0401       0.006986    0.00040         False

El umbral de Benjamini-Hochberg para el primer p-valor es $0{,}05/1.000 = 0{,}00005$, el mismo que el de Bonferroni, y crece despacio: para el octavo, 0,0004. Los p-valores de los primeros puestos están entre 17 y 34 veces por encima de su umbral. Traducido a Sharpe: sin corregir, en cuatro años basta un Sharpe de 0,98; con Bonferroni sobre 1.000 pruebas hace falta 2,04, y ninguna de las 1.000 llega, ni siquiera la que tiene un Sharpe verdadero de 1,5.

El precio: potencia y años de datos

Las correcciones protegen de los falsos positivos y lo pagan en potencia: la probabilidad de detectar una ventaja que sí existe. Con $t \approx$ Sharpe · $\sqrt{\text{años}}$, los años necesarios para que una ventaja real supere un umbral son $(t_{\text{umbral}} / \text{SR})^2$:

umbrales = {"t 1,96 (una prueba)": 1.96, "t 3,0 (HLZ)": 3.0,
            f"t {t_bonf:.2f} (Bonferroni, 1.000)": t_bonf}
anos = pd.DataFrame({nombre: {sr: (u / sr) ** 2
                              for sr in [0.5, 0.8, 1.0, 1.5]}
                     for nombre, u in umbrales.items()})
anos.rename_axis("sharpe_verdadero").round(1)

                  t 1,96 (una prueba)  t 3,0 (HLZ)  t 4.07 (Bonferroni, 1.000)
sharpe_verdadero
0.5                              15.4         36.0                        66.4
0.8                               6.0         14.1                        25.9
1.0                               3.8          9.0                        16.6
1.5                               1.7          4.0                         7.4

Un Sharpe verdadero de 0,5, que sería una buena estrategia en la práctica, necesita 15 años de datos para pasar una sola prueba al 5 % y 66 para pasar Bonferroni con 1.000 pruebas. Incluso un Sharpe de 1,5 necesita más de siete años. Son años de datos diarios suponiendo que la ventaja no cambia en todo ese tiempo, algo que casi nunca se cumple. La conclusión no es que haya que renunciar a las correcciones, sino a probar mil cosas: el número de pruebas es una decisión de diseño de la investigación (lección 2.2.4) y cada prueba de más sube el listón de todas.

Lo que dice la distribución de los p-valores

Si ninguna estrategia tuviera ventaja, los p-valores se repartirían de forma uniforme entre 0 y 1: unos 50 en cada tramo de 0,05. Las estrategias con ventaja deberían acumularse cerca de 0. El histograma da una idea de cuántas hipótesis nulas son verdaderas, sin saber cuáles:

conteo, _ = np.histogram(p, bins=20, range=(0, 1))
print("p-valores por tramos de 0,05:", conteo.tolist())
pi0 = (p > 0.5).mean() / 0.5
print(f"proporción estimada de nulas verdaderas (Storey, "
      f"lambda = 0,5): {pi0:.2f}")

p-valores por tramos de 0,05: [46, 45, 49, 48, 54, 53, 42, 57, 58, 49, 48, 48, 56, 47, 39, 57, 47, 55, 50, 52]
proporción estimada de nulas verdaderas (Storey, lambda = 0,5): 1.00

El histograma es plano: el primer tramo tiene 46 p-valores, menos de los 50 que daría el azar solo. La estimación de Storey (el doble de la proporción de p-valores mayores que 0,5) sale cerca de 1: los datos son compatibles con que prácticamente todas las hipótesis nulas sean ciertas, y lo son, salvo cinco de mil. Cuando hay muchas ventajas reales, el primer tramo destaca claramente sobre los demás; aquí no hay nada que destaque.

Una última precaución: las 20 variantes de cada familia están correladas, así que 1.000 contrastes no son 1.000 pruebas independientes.

familia = verdad.loc[R.columns, "familia"].to_numpy()
C = R.corr().to_numpy()
diag = np.eye(len(familia), dtype=bool)
misma = (familia[:, None] == familia[None, :]) & ~diag
print(f"correlación media dentro de la familia: {C[misma].mean():.2f};"
      f" entre familias: {C[~misma & ~diag].mean():.2f}")
mejor_de_familia = sharpe.groupby(familia).max()
print("familias cuya mejor variante supera un Sharpe de 0,98:",
      (mejor_de_familia > 0.98).sum(), "de", len(mejor_de_familia))

correlación media dentro de la familia: 0.50; entre familias: 0.00
familias cuya mejor variante supera un Sharpe de 0,98: 13 de 50

Con una correlación de 0,5 dentro de cada familia, el número «efectivo» de pruebas está entre 50 y 1.000: Bonferroni es aún más conservador de lo necesario. Pero el problema de fondo no cambia: en 13 de las 50 familias la mejor variante supera el umbral sin corregir (un Sharpe de 0,98), y solo tres de esas trece contienen una estrategia con ventaja; en una de las tres, la variante que lo supera ni siquiera es la buena. Quien solo mira la mejor variante de su familia preferida no sabe que las otras diecinueve existían. Las técnicas que tienen en cuenta la dependencia (el Deflated Sharpe con un número efectivo de pruebas, el PBO, el reality check por bootstrap) son materia de las lecciones 2.5.4 y 2.5.5.

El «factor zoo»

En la investigación académica de la sección cruzada de rentabilidades, el problema tiene nombre. Harvey, Liu y Zhu (2016) recopilan cientos de factores publicados para explicar las rentabilidades esperadas de las acciones, argumentan que con esa minería de datos el criterio habitual de una t mayor que 2 no tiene sentido y estiman que un factor nuevo debería superar una t de 311Nota 1 · Resumen del documento de trabajo NBER w20592 (octubre de 2014), publicado en la Review of Financial Studies 29(1), 2016, pp. 5-68: «a newly discovered factor needs to clear a much higher hurdle, with a t-ratio greater than 3.0».. Es el «zoo de factores».

El universo de acciones sintético del nivel 2 permite hacer el ejercicio con la respuesta conocida (universo2_caracteristicas.parquet, una fila por acción y fin de mes, point-in-time). El generador planta tres primas: momentum 12-1, value (patrimonio entre capitalización) y baja volatilidad. Las demás características no tienen prima propia: calidad (ROE), tamaño, reversión a un mes y la puntuación ESG, un placebo puro, con dos variantes (su cambio a 1 y a 12 meses) como las que probaría cualquiera que buscara «algo» en esa columna. Para cada característica, el IC de rangos mensual (la correlación de Spearman entre la característica a fin de mes y la rentabilidad del mes siguiente) y su t:

car = pd.read_parquet("universo2_caracteristicas.parquet")
car = car.sort_values(["ticker", "fecha"]).reset_index(drop=True)
g = car.groupby("ticker")
# la rentabilidad del mes siguiente incluye la fila final de cada
# deslistado (sin precio, con la rentabilidad de deslistado)
car["rent_sig"] = g["rentabilidad_mes"].shift(-1)
con_precio = car["cierre"].notna()
log_r = np.log1p(car["rentabilidad_mes"].where(con_precio))
mom = log_r.groupby(car["ticker"]).transform(
    lambda s: s.shift(1).rolling(11).sum())
car["momentum_12_1"] = np.expm1(mom)
pn = car["patrimonio_neto"].where(car["patrimonio_neto"] > 0)
car["value"] = np.log(pn / car["capitalizacion"])
car["calidad_roe"] = car["roe"]
car["tamano"] = np.log(car["capitalizacion"])
car["reversion_1m"] = car["rentabilidad_mes"]
car["esg"] = car["puntuacion_esg"]
car["esg_cambio_1m"] = g["puntuacion_esg"].diff()
car["esg_cambio_12m"] = g["puntuacion_esg"].diff(12)

# baja volatilidad: desviación de 252 sesiones con precios diarios
aj = pd.read_parquet("universo2_ajustados.parquet")
aj = aj.sort_values(["ticker", "fecha"])
rd = aj.groupby("ticker")["cierre_ajustado"].pct_change()
aj["vol"] = rd.groupby(aj["ticker"]).transform(
    lambda s: s.rolling(252, min_periods=126).std())
car = car.merge(aj[["fecha", "ticker", "vol"]], how="left",
                on=["fecha", "ticker"])
car["baja_vol"] = -car["vol"]
car = car[car["cierre"].notna()]    # señales solo con precio

def ic_mensual(col):
    d = car.dropna(subset=[col, "rent_sig"])
    return d.groupby("fecha")[[col, "rent_sig"]].apply(
        lambda x: x[col].corr(x["rent_sig"], method="spearman"))

senales = ["momentum_12_1", "value", "baja_vol", "calidad_roe",
           "tamano", "reversion_1m", "esg", "esg_cambio_1m",
           "esg_cambio_12m"]
zoo = {}
for s in senales:
    ic = ic_mensual(s)
    t_ic = ic.mean() / ic.std() * np.sqrt(len(ic))
    zoo[s] = {"meses": len(ic), "ic_medio": ic.mean(), "t": t_ic,
              "p": 2 * stats.norm.sf(abs(t_ic))}
zoo = pd.DataFrame(zoo).T
zoo["prima_real"] = ["sí", "sí", "sí", "no", "no", "no", "placebo",
                     "placebo", "placebo"]
zoo.round(4)

                meses  ic_medio       t       p prima_real
momentum_12_1   227.0    0.0282  2.9587  0.0031         sí
value           239.0    0.0254  3.0688  0.0021         sí
baja_vol        233.0    0.0130  1.0602  0.2890         sí
calidad_roe     239.0   -0.0324 -4.5933  0.0000         no
tamano          239.0   -0.0064 -0.8239  0.4100         no
reversion_1m    238.0    0.0246  2.8755  0.0040         no
esg             239.0    0.0103  1.5370  0.1243    placebo
esg_cambio_1m   238.0    0.0058  0.9728  0.3306    placebo
esg_cambio_12m  227.0    0.0065  0.9939  0.3203    placebo

La tabla tiene los tres errores del zoo a la vez:

• El azar. El placebo ESG da una t de 1,54: no llega a 1,96, pero con unas pocas variantes más (otra ventana, otro universo, otro periodo) alguna lo pasaría, y su p de 0,12 ya «sugiere» algo en un informe poco exigente.
• La confusión. La característica con la t más alta de las nueve es la calidad, con −4,59, y su prima verdadera es cero. El ROE es beneficio entre patrimonio, y en este universo su correlación de rangos con el value es de −0,79: hereda la prima del value con el signo cambiado. Supera el umbral de t > 3 y cualquier corrección por pruebas múltiples, porque no es azar.
• Los efectos que no se ven. La baja volatilidad tiene una prima plantada y da una t de 1,06: las acciones volátiles tienen más beta, y en rentabilidad bruta las dos cosas se compensan. Solo aparece controlando por beta (lección 2.3.5). La reversión a un mes (t = 2,88) no tiene prima propia: hereda la continuación del momentum, de la deriva tras resultados y de las quiebras.

Las correcciones sobre estas nueve pruebas no arreglan nada de eso:

for metodo in ["bonferroni", "fdr_bh"]:
    rechaza = multipletests(zoo["p"].astype(float), alpha=0.05,
                            method=metodo)[0]
    print(f"{metodo:10}", list(zoo.index[rechaza]))
print("pasan t > 3:", list(zoo.index[zoo["t"].abs() > 3]))

def z_rangos(s):
    r = s.rank()
    return stats.norm.ppf((r - 0.5) / r.count())

def fama_macbeth(cols):
    """t de la media de las pendientes transversales de cada mes."""
    d = car.dropna(subset=cols + ["rent_sig"]).copy()
    for c in cols:
        d[c] = d.groupby("fecha")[c].transform(z_rangos)
    pend = []
    for _, x in d.groupby("fecha"):
        X = np.column_stack([np.ones(len(x)), x[cols]])
        b = np.linalg.lstsq(X, x["rent_sig"], rcond=None)[0]
        pend.append(b[1:])
    pend = pd.DataFrame(pend, columns=cols)
    return pend.mean() / pend.std() * np.sqrt(len(pend))

fm = ["momentum_12_1", "value", "baja_vol", "calidad_roe", "tamano",
      "esg"]
pd.DataFrame({
    "una_a_una": pd.concat([fama_macbeth([c]) for c in fm]),
    "value_y_calidad": fama_macbeth(["value", "calidad_roe"]),
    "todas": fama_macbeth(fm)}).reindex(fm).round(2)

bonferroni ['momentum_12_1', 'value', 'calidad_roe', 'reversion_1m']
fdr_bh     ['momentum_12_1', 'value', 'calidad_roe', 'reversion_1m']
pasan t > 3: ['value', 'calidad_roe']
               una_a_una  value_y_calidad  todas
momentum_12_1       4.43              NaN   5.79
value               2.30            -0.15   2.10
baja_vol            1.02              NaN   0.95
calidad_roe        -3.26            -1.80   0.17
tamano              0.05              NaN   0.29
esg                 1.67              NaN   1.63

Bonferroni y Benjamini-Hochberg sobre las nueve dejan las mismas cuatro: momentum, value, calidad y reversión a un mes. Dos de las cuatro no tienen prima propia, y falta la baja volatilidad, que sí la tiene. El umbral de t > 3 deja solo value y calidad: una real y una falsa, y fuera el momentum, que es real. Las regresiones de Fama-MacBeth (cada mes, una regresión transversal de la rentabilidad del mes siguiente sobre las puntuaciones por rangos de las señales, y la t de la media de las pendientes) cuentan la historia completa. Una a una, la calidad da −3,26. Controlar solo por value no la arregla: con value y calidad juntos, la calidad queda en −1,80 y el value en −0,15. Con dos señales correladas −0,79, la regresión atribuye el efecto a la que no es. Solo con todas las señales a la vez la calidad cae a 0,17, el value queda en 2,10 y el momentum sube a 5,79, porque el value, correlado negativamente con él, ya deja de atenuarlo (parte de ese momentum, según el README de los datos, viene de las cuatro quiebras, cuyos precios se guían a la baja durante más de un año). La baja volatilidad sigue sin verse (0,95: le falta el control por beta) y el placebo ESG da 1,63, cerca del umbral. Lo que separa aquí lo real de lo falso es la respuesta conocida; en datos reales, una hipótesis económica previa y otros mercados y periodos (lección 2.2.1).

Errores típicos

• Contar solo las pruebas que funcionaron. Bonferroni con $m = 3$ porque «solo se presentan tres» no corrige nada si se probaron cuarenta.
• Leer «no significativo» como «no funciona». En esta muestra, la estrategia con Sharpe verdadero de 0,8 sale con p = 0,004 y la de 0,6, con p = 0,097: ventajas parecidas a un lado y a otro del umbral. La ausencia de evidencia no es evidencia de ausencia.
• Elegir la corrección después de ver los resultados. FWER o FDR, y qué α, se deciden antes.
• Corregir y olvidar la confusión. La calidad pasa cualquier corrección.
• Confiar en el mejor de una familia. Veinte variantes de la misma idea son veinte pruebas.
• Repetir el estudio sobre los mismos datos. Cada vuelta a la misma muestra es otra prueba, aunque no esté en el código. La única muestra limpia es la que no se ha mirado (lección 2.5.2).

Ejercicios

1. Repite Benjamini-Hochberg sobre las 1.000 estrategias con q = 0,10, 0,20 y 0,30. ¿Cuántos descubrimientos hay en cada caso y cuántos son estrategias con ventaja?

for q in [0.10, 0.20, 0.30]:
    rechaza = multipletests(p, alpha=q, method="fdr_bh")[0]
    print(f"q = {q:.2f}: {rechaza.sum()} descubrimientos, "
          f"{rechaza[es_buena].sum()} con ventaja")

q = 0.10: 0 descubrimientos, 0 con ventaja
q = 0.20: 0 descubrimientos, 0 con ventaja
q = 0.30: 0 descubrimientos, 0 con ventaja

2. Elige las 20 estrategias con mejor Sharpe en 2022-2023 y mide su Sharpe en 2024-2025. ¿Cuántas siguen por encima de cero? ¿Qué les pasa a las que tienen ventaja?

primera = R.loc[:"2023-12-31"]
segunda = R.loc["2024-01-01":]
sr = lambda x: x.mean() / x.std() * np.sqrt(252)
elegidas = sr(primera).nlargest(20).index
fuera = sr(segunda[elegidas])
print(f"Sharpe medio de las 20 elegidas: dentro "
      f"{sr(primera[elegidas]).mean():.2f}, fuera {fuera.mean():.2f}")
print("fuera de muestra con Sharpe > 0:", (fuera > 0).sum(), "de 20")
print("con ventaja entre las elegidas:",
      list(elegidas[elegidas.isin(buenas)]))
print("Sharpe fuera de las cinco buenas:",
      sr(segunda[buenas]).round(2).to_dict())

Sharpe medio de las 20 elegidas: dentro 2.01, fuera 0.10
fuera de muestra con Sharpe > 0: 12 de 20
con ventaja entre las elegidas: ['e0133', 'e0518']
Sharpe fuera de las cinco buenas: {'e0080': 1.33, 'e0133': -0.04, 'e0258': 0.33, 'e0518': 0.85, 'e0751': 1.01}

3. Un compañero ha probado 40 variantes de un indicador y presenta la mejor con t = 2,6 (p = 0,009). ¿Qué le dirías?