Forskningsutvidelser
Beste resultat med menneskeskrevne hints
<44 %0–100 / EGEN METRIKK
- RETNING
- KAPABILITET
- DEKNING
- 12 oppgaver
research-automation/rexbench/best-with-hintsBESLUTNINGSVISNING / AI-FOU
Hva kan forskningsagentene faktisk gjøre?
Tre komplementære benchmarklinser: implementere forskningsutvidelser, foreslå og teste nye metoder, og gjennomføre en åpen forskningsarbeidsflyt.
OBSERVASJON9,3 %Beste MLRC-Bench-gap lukket
HVORDAN DEN SKAPER VERDIBruk kartet til å skille imponerende delresultater fra pålitelig, objektivt verifisert ende-til-ende-forskning.
Objektivt målt, men på bare syv konkurranseoppgaver.
KAPABILITETSKART / ULIKE EVALUERINGER
Tre linser, tre forskjellige nevnere
Hver måler beholder sin egen skala og retning. Lengden på feltene gjør datapunktet synlig, men er uttrykkelig ikke en rangering mellom benchmarkene.
Nye ML-metoder
Andel av gapet til toppmenneske som ble lukket
9,3 %0–100 / EGEN METRIKK
- RETNING
- KAPABILITET
- DEKNING
- 7 oppgaver
research-automation/mlrc/gap-closedEksperimentell kontroll
Eksempelvis ugyldige resultater i ett agentoppsett
80 %0–100 / EGEN METRIKK
- RETNING
- FEILRATE
- DEKNING
- 201 oppgaver / 4 steg
research-automation/mlr/invalid-experimentsKan agenter utvide eksisterende forskning?
RExBench v3 viser under 44 % selv med menneskeskrevne hints på 12 realistiske utvidelser.
RExBench: beste resultat med hints · Forskningsutvidelser; ikke generell FoU-rate.
RExBench-dekning · Avgrenset benchmark.
Kan agenter konkurrere mot toppmennesker på nye ML-problemer?
Beste MLRC-Bench-agent lukket 9,3 % av gapet på syv objektivt evaluerte konkurranseoppgaver.
MLRC-Bench: gap lukket · Objektiv resultatmåling mot baseline og toppmenneske.
MLRC-Bench-dekning · Dynamiske ML-konkurranseoppgaver.
Dekkes et helt forskningsløp?
MLR-Bench dekker 201 oppgaver og fire steg, men rapporterer alvorlige problemer med eksperimentell validitet.
MLR-Bench-dekning · Ende-til-ende benchmarkdesign; ikke én sammenlignbar score.
MLR-Bench: eksperimentfeil · Eksempeltall fra særskilt coding-agentoppsett.
Hva begrenser pålitelig autonom FoU?
På tvers av ulike evalueringsformer er implementasjon og eksperimentell kontroll fortsatt tydelige svakheter.
RExBench: beste resultat med hints · Forskningsutvidelser; ikke generell FoU-rate.
MLRC-Bench: gap lukket · Objektiv resultatmåling mot baseline og toppmenneske.
MLR-Bench: eksperimentfeil · Eksempeltall fra særskilt coding-agentoppsett.
Hvor stor andel av FoU er automatisert?
Det finnes ingen forsvarlig felles nevner for en samlet automatiseringsprosent.
Samlet AI-FoU-automatisering · Bevisst tomt aggregat.
- Hentet
- 2026-08-12
- Data
- 2025-06-27
- Lisens
- Cited public paper; no paper text redistributed
Twelve research-extension tasks and reported agent evaluation; do not generalize to all research work.
Åpne originalkilde ↗- Hentet
- 2026-08-12
- Data
- 2025-05-26
- Lisens
- Cited public paper; no paper text redistributed
Open-ended ML research benchmark; the reported coding-agent failure example is not a cross-benchmark rate.
Åpne originalkilde ↗- Hentet
- 2026-08-12
- Data
- 2025-04-13
- Lisens
- Cited public paper; no paper text redistributed
Seven objectively scored ML research competition tasks; kept separate from RExBench and MLR-Bench.
Åpne originalkilde ↗- Hentet
- 2026-08-13
- Data
- 2026-04-21
- Lisens
- citation-only-review-required
The current arXiv v3 abstract, revised 2026-04-21, reports about 33% autonomous success and says the best hinted result remains below 44%. This supersedes the legacy candidate whose hash represented the identical raw page bytes rather than the normalized visible-content fingerprint required by source admission.
Åpne originalkilde ↗ETTERPRØVBART GRUNNLAG / 8 PÅSTANDERÅpne grunnlag +
Påstander, beregninger, kilder og kjente grenser for denne visningen. Kildedata og dashboardtolkning holdes adskilt.
RExBench v3 rapporterer at beste resultat, selv med menneskeskrevne hints, er under 44 % på realistiske forskningsutvidelser.
- Avhengig av oppsett og hint.
research-automation/claim/rexbench-capabilityRExBench inneholder 12 forskningsimplementasjonsoppgaver med automatisk evaluering.
Edwards et al.: RExBench: Can coding agents autonomously implement AI research extensions? ↗1 målepunkt1 kildefakta
- Ikke full forskningslivssyklus.
research-automation/claim/rexbench-scopeMLR-Bench beskriver hyppige, eksempelvis 80 %, fabrikkerte eller invaliderte eksperimentresultater for det testede coding-agentoppsettet.
Chen et al.: MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research ↗1 målepunkt1 kildefakta
- Ikke en universell feilrate.
research-automation/claim/mlr-reliabilityMLR-Bench dekker 201 oppgaver og en firestegs arbeidsflyt fra idé til paperskriving.
Chen et al.: MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research ↗1 målepunkt2 kildefakta
- Stadiene bruker ulike modeller og evalueringsmetoder.
research-automation/claim/mlr-scopeI MLRC-Bench lukket beste testede agent 9,3 % av gapet mellom baseline og toppmenneskelig resultat.
Zhang et al.: MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? ↗1 målepunkt1 kildefakta
- Spesifikk agent og syv konkurranseoppgaver.
research-automation/claim/mlrc-capabilityMLRC-Bench bruker syv dynamiske ML-konkurranseoppgaver med objektive resultatmål.
Zhang et al.: MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? ↗1 målepunkt1 kildefakta
- Smal ML-domene og liten suite.
research-automation/claim/mlrc-scopeDe tre benchmarkene peker samlet mot implementasjon og eksperimentell validitet som en tydelig begrensning, men de kan ikke summeres til én automatiseringsandel.
Edwards et al.: RExBench: Can coding agents autonomously implement AI research extensions? ↗Chen et al.: MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research ↗Zhang et al.: MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? ↗3 målepunkter3 kildefakta
- Kvalitativ triangulering, ikke en metaanalyse eller felles score.
research-automation/claim/experimental-bottleneckModulen publiserer ingen samlet FoU-automatiseringsprosent fordi benchmarkene ikke måler samme oppgave, agent eller suksesskriterium.
Edwards et al.: RExBench: Can coding agents autonomously implement AI research extensions? ↗Chen et al.: MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research ↗Zhang et al.: MLRC-Bench: Can Language Agents Solve Machine Learning Research Challenges? ↗1 målepunkt1 kildefakta
- Et målegap, ikke bevis for null automatisering.
research-automation/claim/no-aggregateSPORBAR FAKTALOGG / 8 KILDEFAKTAÅpne logg +
research-automation/fact/rexbench/best-with-hintsBest RExBench performance with human-written hints
Edwards et al. · v3 abstract revised 2026-04-21research-automation/fact/rexbench/tasksRExBench realistic research extension tasks
Edwards et al. · Abstractresearch-automation/fact/mlr/tasksMLR-Bench open-ended ML research tasks
Chen et al. · Abstractresearch-automation/fact/mlr/stagesMLR-Agent research workflow stages
Chen et al. · Abstract and workflow descriptionresearch-automation/fact/mlr/invalid-resultsCoding-agent fabricated or invalidated experiment results
Chen et al. · Abstractresearch-automation/fact/mlrc/tasksMLRC-Bench competition tasks
Zhang et al. · Abstractresearch-automation/fact/mlrc/gap-closedBest agent share of baseline-to-top-human gap closed
Zhang et al. · Abstractresearch-automation/fact/coverage/no-aggregateCross-benchmark aggregate automation score
Edwards et al. · Module methodology; intentional non-derivationFORTOLKNINGSGRENSE
Resultatene er ikke tidsseriekompatible.
Forskjellige evaluatorer gir forskjellige feilkilder.
Ingen av benchmarkene observerer hemmelig eller kommersiell laboratoriepraksis.
MODULSTATUSINCOMPLETE
Tre separate benchmarklinser; eksperimentell validitet er den tydeligste flaskehalsen