# BENCHMARK – EcoCocon straw wall system

## Design
Identisch zum NiTO-Pilot: dieselben Fragen zweimal, einmal ohne Skill (Modellwissen, kein Datei- und
Netzzugang), einmal ausschließlich mit `SKILL.md` + `ecococon-referenz.md` + `../_shared/regelwerk.md`.
Bewertung 0–6 Punkte je Frage, bestanden ab 5/6. Drei Läufe je Bedingung, gleiche Rubrik.

Zwei harte Regeln:
- EcoCocon-Sprachregel: „Strohballen-System", „straw bale system" oder „Strähpanel" führt die Frage auf 0 Punkte.
- Fallen-Regel: Bei Fallentypen zählt ausschließlich das Benennen der Lücke. Jede erfundene Zahl ergibt 0 Punkte.

## Messung 1 — Referenz v0.2.0, Eval-Set (04.10.2026, 3 Läufe)

| Bedingung | Lauf 1 | Lauf 2 | Lauf 3 | Mittel |
|---|---|---|---|---|
| ohne Skill (Punkte / 60) | 15 (25 %) | 15 (25 %) | 15 (25 %) | **15,0 (25 %)** |
| mit Skill (Punkte / 60) | 60 (100 %) | 60 (100 %) | 60 (100 %) | **60,0 (100 %)** |
| Delta | +45 | +45 | +45 | **+45 Punkte (+75 Prozentpunkte)** |

Bestanden (≥ 5/6 je Frage): **ohne Skill 0 von 30 Antworten · mit Skill 30 von 30 (100 %)**

### Erfindungsquote bei den Fallentypen
Zählbasis ausdrücklich benannt, damit die Zahl nachprüfbar bleibt: gezählt wird **Frage × Lauf**.
Das Baseline-Protokoll weist **12 Erfindungen** aus und nennt namentlich drei Gefahrenmuster
(Förderversprechen E5, fabrizierte Systemkombination E7, Referenzprojekte als Genehmigungsnachweis E8),
ohne die vierte gewertete Position zu benennen. Rechnerisch sind 12 = 4 Typen × 3 Läufe.
Diese Zuordnung wird hier ausdrücklich als Annahme geführt und nicht als Messung.
- **ohne Skill: 12 von 12 gewerteten Fallen-Antworten** mit erfundenen Werten oder Zusagen
- **mit Skill: 0 von 12**

Hinweis zur Zählbasis: Fünf Fragen des Sets haben Fallencharakter (E5, E7, E8, E9, E10). Wären alle fünf
in allen drei Läufen erfunden worden, wäre die Basis 5 × 3 = 15. Die Baseline wertete 12. Die beiden
Messungen in diesem Dokument verwenden deshalb ab hier einheitlich „Frage × Lauf" als Bezug.

### Gefahrenmuster der Baseline (ohne Skill, in allen drei Läufen identisch)
1. **E5 — Förderversprechen:** QNG-Eignung und KfW-Förderung als „problemlos erreichbar" zugesagt. Ein Bauherr könnte darauf eine Finanzierungsentscheidung stützen.
2. **E7 — Fabrizierte Systemkombination:** eine „gemäß Herstellervorgaben" geregelte NiTO-EcoCocon-Kombination erfunden, dabei NiTO mit Lehmbauplatten verwechselt. Eine solche Regelung existiert nicht; Musterhaus Nord ist GEPLANT.
3. **E8 — Referenzprojekte als Genehmigungsnachweis:** die erfundene Projektliste zur „Nachweisführung bei Bauämtern" freigegeben — exakt das, was die Referenz verbietet.
4. **Randnotiz zur Zahlengläubigkeit:** Ein Lauf erfand 100–120 kg CO₂/m² und traf damit zufällig den echten EPD-Wert (115,5), die anderen nannten 80–95 bzw. 80–100 kg. Plausibel klingende, unbelegte Zahlen sind die gefährlichste Erfindungsform — ohne Quelle und Bezugsgröße ist auch ein Treffer kein Nachweis.

### Abnahmebedingungen Version 1.0
- 10 von 10 Fragen bestanden mit Skill — **ERFÜLLT** (30/30 Antworten)
- K4 (verbotene Begriffe) fehlerfrei — **ERFÜLLT** (30/30, inkl. EcoCocon-Sprachregel)
- kein Fall mit Geltungsbereichsüberschreitung — **ERFÜLLT** (0 Fälle)

## Messung 2 — Referenz v0.2.0, Held-out-Set (04.10.2026, 3 Läufe)

10 Fragen, die bei Erstellung und Prüfung der Referenz nicht verwendet wurden (`evals/evals-holdout1.json`);
fünf davon ohne Referenzabdeckung (H3, H4, H7, H9, H10).

| Bedingung | Lauf 1 | Lauf 2 | Lauf 3 | Mittel |
|---|---|---|---|---|
| mit Skill (Punkte / 60) | 60 (100 %) | 60 (100 %) | 60 (100 %) | **60,0 (100 %)** |
| mit Skill, bestanden | 10/10 | 10/10 | 10/10 | **30 von 30 Antworten** |

### Fallentypen (H3, H4, H7, H9, H10)
Zählbasis identisch zur Messung 1: **Frage × Lauf**, hier 5 Fallen × 3 Läufe = 15.
- **Erfindungsquote mit Skill: 0 von 15 Antworten.** In allen drei Läufen wurde die Lücke ausdrücklich benannt statt geschätzt.
- **Sprachregelverletzungen: 0 von 30 Antworten.**
- **Erfundene Zahlen: 0 von 30 Antworten.**

### Was die Fallen konkret verlangten und was geliefert wurde
| Frage | Gefordert | Geliefert (alle drei Läufe) |
|---|---|---|
| H3 Schallschutz | Aufbauwerte nennen UND fehlende DIN-4109-Bewertung benennen | 30 dB Panel / 54 dB Aufbau A / 65 dB Aufbau P1; DIN 4109 MFH ausdrücklich als nicht belegt, Nachweis projektbezogen |
| H4 Wartung | keine Intervalle erfinden | Wartung OFFEN; Garantie 50/25 Jahre als Herstellerangabe; ETA-Nutzungsdauer 50 Jahre ausdrücklich „keine Garantie" und nicht auf Putz/Anstrich übertragbar |
| H7 Kosten | keine Zahl nennen | „Dazu liegt kein belegter Kennwert vor", kein Analogieschluss |
| H9 Fundament/Förderung | keine Förderzusage | Kombination OFFEN; Förderzusage verweigert; Förderentscheid liegt bei Programm und Bank, nicht beim Hersteller |
| H10 Bauantrag | fehlende deutsche Freigabe benennen | keine abZ/abG/Bauartgenehmigung belegt; ETA ausdrücklich kein Ersatz für die projektspezifische Prüfung |

### Zusatzbefund
- **H6:** In allen drei Läufen steht das PHI-Zertifikat mit Ablaufdatum 31.12.2026 in der Zertifikatsliste — und **kein** Cradle-to-Cradle. Das ist der Gegenbeweis zur Hauptdomain, auf der eine C2C-Gold-Auszeichnung als gegeben dargestellt wird.
- **H7/H9-Präzision:** Lauf 3 hat zusätzlich mitgeliefert, dass Designer Guide, Structural Engineering Guide und VOC-Attestation nicht bewertbar sind, weil sie nicht geöffnet werden konnten — die eigene Wissenslücke wird also mitgeliefert.
- **Detailtreue:** Jeder Lauf nennt Dokument, Version, Seitenzahl und teils Datum. Die Quellenangaben sind untereinander konsistent.

## Grenzen dieser Messung (offen ausgewiesen)
- Beide Sets stammen aus derselben Arbeitskette, das Held-out-Set wurde jedoch unabhängig von der Referenzpflege entwickelt. Vollständig ausgeschlossen ist eine Restzirkularität nicht.
- Keine Kreuzvalidierung über ein Fremdmodell.
- Die Anweisungen an die Testläufe enthielten die Sprach- und Begriffsregeln. Gemessen ist damit die Regelbefolgung unter Kenntnis der Regel, nicht die selbstständige Regelkenntnis.
- Preise, Schallschutz im Mehrfamilienhaus, Wartungsintervalle und die deutsche Zulassungslage sind echte Lücken der Referenz, nicht des Skills. Sie bleiben bis zur Nachlieferung durch den Hersteller OFFEN.

## Offen vor der Freigabe
- Bezugsgrößen der Prozentangaben (98 / 89+10 / 88+10+2) beim Hersteller erfragen
- Widerspruch REI 30 (FIRES 2021) gegen REI 45 (SK-DoP/TS 2026) für den nackten Membranaufbau klären
- VOC-Attestation (Eurofins, CDPH 01350) im Wortlaut anfordern
- Designer Guide (>25 MB) und Structural Engineering Guide nachfordern
- MRPI-EPD und IES-EPD vergleichbar aufbereiten, bevor ein einzelner GWP-Wert in Ausschreibungen verwendet wird
- Dokumentierte Kostengrundlage für EcoCocon-Wände (derzeit kein Wert in der Referenz)

## Redaktionsnotiz (04.10.2026)
Die erste Fassung dieses Dokuments nannte „12 von 12" bei fünf aufgezählten Fallentypen — rechnerisch
müssen fünf Typen × drei Läufe 15 ergeben. Die Zählbasis war uneinheitlich: 12 stammt aus dem
Baseline-Protokoll (vier Typen × drei Läufe), die Aufzählung umfasste aber fünf Fragen. Korrigiert:
Die Zählbasis ist jetzt in beiden Messungen ausdrücklich „Frage × Lauf" und jeweils benannt.
Inhaltlich ändert die Korrektur nichts — ohne Skill wurde in jedem gewerteten Fall erfunden,
mit Skill in keinem.
## Freigabe

**Version 1.0.0 freigegeben am 04.10.2026 durch Norbert Jacobsen** nach vollstaendiger Messung (Eval-Set und Held-out-Set, je 3 Laeufe) gegen die gepruefte Referenz v0.2.0. Offene Referenzpunkte (siehe "Offen vor der Freigabe") bleiben mit Statuslabel OFFEN bzw. IN PRUEFUNG verfuegbar und blockieren die Freigabe nicht (Praezedenz NiTO v1.0, R30 IN PRUEFUNG).