urieljarethandClaude Opus 5
74c0374a2a
Tres defectos que solo se veian llamando al modelo de verdad.
1. min(2) en los factores obligaba a inventar relleno. Con una dimension sin
cifras, MiniMax produjo "herramienta_de_seguimiento_actual=0 x canal=1" solo
para satisfacer la restriccion. Ahora los dos factores se exigen unicamente
cuando hay montoAnualMXN.
2. El modelo OMITE montoAnualMXN en vez de mandar null explicito, que es lo
natural para un LLM. Exigirlo presente quemaba los tres intentos del paso.
Ahora es .default(null) y la omision se tolera.
3. Sin confianza por factor, el modelo la metia dentro del nombre
("tasa_conversion (por_validar)=0.1"). Ahora es un campo.
Y el hallazgo que mas importa, porque es comercial y no de formato: el modelo
puede OMITIR un factor y aun asi cuadrar la aritmetica. En una corrida calculo
40 mensajes x 0.5 sin contestar x 52 semanas x 3,000 de utilidad POR CLIENTE =
3,120,000, asumiendo que cada mensaje sin responder es un cliente perdido. R5 lo
acepto porque los factores si multiplican al monto: R5 no puede ver lo que falta.
El ratio habria dicho "subcotizado" con el denominador inflado diez veces. Como
no se puede impedir que el modelo produzca estimaciones plausibles y erroneas, lo
que se hace es que el asesor las cache de un vistazo:
- R5b avisa cuando una cifra no tiene ni un factor confirmado.
- El anexo interno desglosa cada factor con su confianza, y alerta en rojo si el
valor descansa entero en estimaciones.
Ademas, el presupuesto de reintentos sube (5 en extraccion, 4 en los otros dos):
MiniMax se equivoca de array de vez en cuando con schemas anidados, y la
extraccion es el paso fundacional. Una corrida real necesito los 5.
Co-Authored-By: Claude Opus 5 (1M context) <[email protected]>
89 lines
5.4 KiB
TypeScript
89 lines
5.4 KiB
TypeScript
import { hechosSchema, diagnosticoSchema, redaccionSchema, aJsonSchema } from "@/lib/propuesta/schemas";
|
|
|
|
let fallas = 0;
|
|
function check(n: string, ok: boolean, d = "") {
|
|
console.log(`${ok ? " OK " : " FALLA"} | ${n}${d ? " -> " + d : ""}`);
|
|
if (!ok) fallas++;
|
|
}
|
|
|
|
// ── P1 por construccion: ningun schema declara un campo de dinero de E3 ──
|
|
const todos = JSON.stringify([
|
|
aJsonSchema(hechosSchema),
|
|
aJsonSchema(diagnosticoSchema),
|
|
aJsonSchema(redaccionSchema),
|
|
]);
|
|
for (const prohibido of ["precio", "total", "subtotal", "iva", "montoMinimo", "tarifaHora", "descuento"]) {
|
|
check(`ningun schema declara la propiedad "${prohibido}"`, !todos.includes(`"${prohibido}"`));
|
|
}
|
|
// montoAnualMXN si debe existir: es el costo del problema del cliente, no un precio nuestro.
|
|
check("montoAnualMXN si existe (costo del problema del cliente)", todos.includes("montoAnualMXN"));
|
|
|
|
// ── Formato de las claves ──
|
|
const redaccionBase = {
|
|
hero: { titulo: "Titulo de prueba", subtitulo: "x".repeat(25) },
|
|
citaDestacadaId: "C01",
|
|
alcance: [{ refPartida: "P01", descripcionResultado: "x".repeat(25) }],
|
|
beneficios: [],
|
|
exclusiones: [{ texto: "x".repeat(20), razon: "porque si" }],
|
|
backlogEvolucion: [],
|
|
notasInternas: [],
|
|
};
|
|
check("una redaccion bien formada valida", redaccionSchema.safeParse(redaccionBase).success);
|
|
check("refPartida en minuscula se rechaza",
|
|
!redaccionSchema.safeParse({ ...redaccionBase, alcance: [{ refPartida: "p01", descripcionResultado: "x".repeat(25) }] }).success);
|
|
check("refPartida sin ceros se rechaza",
|
|
!redaccionSchema.safeParse({ ...redaccionBase, alcance: [{ refPartida: "P1", descripcionResultado: "x".repeat(25) }] }).success);
|
|
check("citaDestacadaId con otro prefijo se rechaza",
|
|
!redaccionSchema.safeParse({ ...redaccionBase, citaDestacadaId: "H01" }).success);
|
|
check("exige al menos una exclusion",
|
|
!redaccionSchema.safeParse({ ...redaccionBase, exclusiones: [] }).success);
|
|
check("rechaza propiedades desconocidas (strict)",
|
|
!redaccionSchema.safeParse({ ...redaccionBase, precioTotal: 99999 }).success);
|
|
|
|
// ── El calculo del valor debe venir desglosado ──
|
|
const diagBase = {
|
|
hallazgos: [{ id: "D01", urgencia: "rojo", titulo: "Titulo del hallazgo", descripcion: "x".repeat(25), confianza: "confirmado", citas: [], hechos: [] }],
|
|
valorProblema: {
|
|
dimensiones: [{
|
|
tipo: "tiempo", descripcion: "x".repeat(12),
|
|
calculo: { factores: [{ nombre: "a", valor: 8, confianza: "confirmado" }, { nombre: "b", valor: 52, confianza: "estimado" }], montoAnualMXN: 416 },
|
|
confianza: "estimado", hechos: [],
|
|
}],
|
|
notaMetodologia: "n",
|
|
},
|
|
resultados: [],
|
|
};
|
|
check("un diagnostico bien formado valida", diagnosticoSchema.safeParse(diagBase).success,
|
|
JSON.stringify(diagnosticoSchema.safeParse(diagBase).error?.issues?.[0] ?? ""));
|
|
check("con monto, exige al menos 2 factores",
|
|
!diagnosticoSchema.safeParse({ ...diagBase, valorProblema: { ...diagBase.valorProblema, dimensiones: [{ ...diagBase.valorProblema.dimensiones[0], calculo: { factores: [{ nombre: "a", valor: 1, confianza: "estimado" }], montoAnualMXN: 1 } }] } }).success);
|
|
check("sin monto, factores vacio es lo correcto",
|
|
diagnosticoSchema.safeParse({ ...diagBase, valorProblema: { ...diagBase.valorProblema, dimensiones: [{ ...diagBase.valorProblema.dimensiones[0], calculo: { factores: [], montoAnualMXN: null } }] } }).success);
|
|
check("omitir montoAnualMXN se tolera y queda en null",
|
|
diagnosticoSchema.safeParse({ ...diagBase, valorProblema: { ...diagBase.valorProblema, dimensiones: [{ ...diagBase.valorProblema.dimensiones[0], calculo: { factores: [] } }] } }).success);
|
|
check("al omitirlo, Zod lo rellena con null",
|
|
diagnosticoSchema.parse({ ...diagBase, valorProblema: { ...diagBase.valorProblema, dimensiones: [{ ...diagBase.valorProblema.dimensiones[0], calculo: { factores: [] } }] } }).valorProblema.dimensiones[0].calculo.montoAnualMXN === null);
|
|
check("un factor sin confianza se rechaza",
|
|
!diagnosticoSchema.safeParse({ ...diagBase, valorProblema: { ...diagBase.valorProblema, dimensiones: [{ ...diagBase.valorProblema.dimensiones[0], calculo: { factores: [{ nombre: "a", valor: 1 }, { nombre: "b", valor: 2 }], montoAnualMXN: 2 } }] } }).success);
|
|
|
|
check("exige al menos un hallazgo",
|
|
!diagnosticoSchema.safeParse({ ...diagBase, hallazgos: [] }).success);
|
|
check("urgencia fuera del semaforo se rechaza",
|
|
!diagnosticoSchema.safeParse({ ...diagBase, hallazgos: [{ ...diagBase.hallazgos[0], urgencia: "morado" }] }).success);
|
|
|
|
// ── Hechos ──
|
|
check("una cita corta se rechaza",
|
|
!hechosSchema.safeParse({ citas: [{ id: "C01", textoLiteral: "hola", quienLoDijo: "x" }], hechos: [], materialesPendientes: [], decisionesPendientes: [], mencionesFueraDeAlcance: [], redFlags: [] }).success);
|
|
check("hechos vacios son validos (material pobre)",
|
|
hechosSchema.safeParse({ citas: [], hechos: [], materialesPendientes: [], decisionesPendientes: [], mencionesFueraDeAlcance: [], redFlags: [] }).success);
|
|
|
|
// ── Conversion a JSON Schema ──
|
|
const js = aJsonSchema(redaccionSchema);
|
|
check("el JSON Schema no lleva $schema", !("$schema" in js));
|
|
check("conserva additionalProperties", JSON.stringify(js).includes("additionalProperties"));
|
|
check("conserva las descripciones para el modelo", JSON.stringify(js).includes("description"));
|
|
check("el JSON Schema es serializable", typeof JSON.stringify(js) === "string" && JSON.stringify(js).length > 200);
|
|
|
|
console.log(fallas === 0 ? "\ntodo paso\n" : `\n${fallas} fallas\n`);
|
|
process.exit(fallas === 0 ? 0 : 1);
|