source	version_test	entree_publique	modele_declare	modele_servi	agent_ou_mode	version_agent	tentatives	effort	verifie_par_mainteneurs	reglage
SWE-bench Verified	Verified, 500 tâches	20231010_rag_claude2	claude-2	non vérifié	RAG baseline	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20231010_rag_gpt35	non vérifié	non vérifié	RAG baseline	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20231010_rag_swellama13b	non vérifié	non vérifié	RAG baseline	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20231010_rag_swellama7b	SWE-Llama	non vérifié	RAG baseline	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240402_rag_claude3opus	claude-3-opus-20240229	non vérifié	RAG baseline	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240402_rag_gpt4	gpt-4-1106-preview	non vérifié	RAG baseline	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240402_sweagent_claude3opus	claude-3-opus-20240229	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240402_sweagent_gpt4	gpt-4-1106-preview	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240509_amazon-q-developer-agent-20240430-dev	non vérifié	non vérifié	Amazon Q Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240612_MASAI_gpt4o	gpt-4o-2024-08-06	non vérifié	MASAI	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240615_appmap-navie_gpt4o	gpt-4o-2024-05-13	non vérifié	AppMap Navie	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240617_factory_code_droid	non vérifié	non vérifié	Factory Code Droid	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240620_sweagent_claude3.5sonnet	claude-3-5-sonnet-20241022	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240628_autocoderover-v20240620	gpt-4o-2024-05-13	non vérifié	AutoCodeRover	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240721_amazon-q-developer-agent-20240719-dev	non vérifié	non vérifié	Amazon Q Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240728_sweagent_gpt4o	gpt-4o-2024-05-13	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240820_epam-ai-run-gpt-4o	gpt-4o-2024-08-06	non vérifié	EPAM AI/Run Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240820_honeycomb	non vérifié	non vérifié	Honeycomb	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240824_gru	non vérifié	non vérifié	Gru	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240918_lingma-agent_lingma-swe-gpt-72b	non vérifié	non vérifié	Lingma Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240918_lingma-agent_lingma-swe-gpt-7b	non vérifié	non vérifié	Lingma Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240920_solver	non vérifié	non vérifié	Solver	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20240924_solver	non vérifié	non vérifié	Solver	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241001_nfactorial	non vérifié	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241002_lingma-agent_lingma-swe-gpt-72b	non vérifié	non vérifié	Lingma Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241002_lingma-agent_lingma-swe-gpt-7b	non vérifié	non vérifié	Lingma Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241007_nfactorial	non vérifié	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241016_composio_swekit	claude-3-5-sonnet-20241022	non vérifié	Composio SWEkit	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241016_composio_swekit	claude-3.5-sonnet-20241022	non vérifié	Composio SWEkit	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241016_epam-ai-run-gpt-4o	gpt-4o-2024-08-06	non vérifié	EPAM AI/Run Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241022_tools_claude-3-5-haiku	claude-3-haiku-20240307	non vérifié	Tools	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241022_tools_claude-3-5-sonnet-updated	claude-3-5-sonnet-20241022	non vérifié	Tools	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241022_tools_claude-3-5-sonnet-updated	claude-3.5-sonnet-20241022	non vérifié	Tools	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241023_emergent	claude-3-5-sonnet-20241022	non vérifié	Emergent E1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241023_emergent	gpt-4o-2024-08-06	non vérifié	Emergent E1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241025_composio_swekit	claude-3-5-sonnet-20241022	non vérifié	Composio SWE-Kit	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241025_composio_swekit	o1-mini	non vérifié	Composio SWE-Kit	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241028_agentless-1.5_gpt4o	gpt-4o-2024-05-13	non vérifié	Agentless-1.5	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241028_solver	non vérifié	non vérifié	Solver	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241029_OpenHands-CodeAct-2.1-sonnet-20241022	non vérifié	non vérifié	OpenHands	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241029_epam-ai-run-claude-3-5-sonnet	claude-3-5-sonnet-20241022	non vérifié	EPAM AI/Run Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241030_nfactorial	claude-3-5-sonnet-20241022	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241030_nfactorial	gpt-4o-2024-08-06	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241030_nfactorial	o1-preview	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241105_nfactorial	claude-3-5-sonnet-20241022	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241105_nfactorial	gpt-4o-2024-08-06	non vérifié	nFactorial	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241106_navie-2-gpt4o-sonnet	claude-3-5-sonnet-20241022	non vérifié	AppMap Navie v2	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241106_navie-2-gpt4o-sonnet	gpt-4o-2024-08-06	non vérifié	AppMap Navie v2	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241108_autocoderover-v2.0-claude-3-5-sonnet-20241022	claude-3-5-sonnet-20241022	non vérifié	AutoCodeRover-v2.0	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241108_devlo	claude-3-5-sonnet-20241022	non vérifié	devlo	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241113_nebius-search-open-weight-models-11-24	Llama 3.1	non vérifié	Nebius AI	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241113_nebius-search-open-weight-models-11-24	Qwen 2.5	non vérifié	Nebius AI	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241120_artemis_agent	non vérifié	non vérifié	Artemis Agent v1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241125_enginelabs	claude-3-5-sonnet-20241022	non vérifié	Engine Labs	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241125_marscode-agent-dev	non vérifié	non vérifié	Bytedance MarsCode Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241128_SWE-Fixer_Qwen2.5-7b-retriever_Qwen2.5-72b-editor_20241128	Qwen 2.5	non vérifié	SWE-Fixer	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241202_agentless-1.5_claude-3.5-sonnet-20241022	claude-3-5-sonnet-20241022	non vérifié	Agentless-1.5	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241202_amazon-q-developer-agent-20241202-dev	non vérifié	non vérifié	Amazon Q Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241208_gru	non vérifié	non vérifié	Gru	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241212_epam-ai-run-claude-3-5-sonnet	claude-3-5-sonnet-20241022	non vérifié	EPAM AI/Run Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241212_google_jules_gemini_2.0_flash_experimental	non vérifié	non vérifié	Google Jules	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241213_devlo	non vérifié	non vérifié	devlo	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241221_codestory_midwit_claude-3-5-sonnet_swe-search	claude-3-5-sonnet-20241022	non vérifié	CodeStory Midwit Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241223_emergent	claude-3-5-sonnet-20241022	non vérifié	Emergent E1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20241223_emergent	gpt-4o-2024-08-06	non vérifié	Emergent E1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250110_blackboxai_agent_v1.1	non vérifié	non vérifié	Blackbox AI Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250110_learn_by_interact_claude3.5	claude-3-5-sonnet-20241022	non vérifié	Learn-by-interact	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250112_ugaiforge	non vérifié	non vérifié	ugaiforge	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250117_wandb_programmer_o1_crosscheck5	o1-preview	non vérifié	W&B Programmer O1 crosscheck5	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250118_codeshellagent_gemini_2.0_flash_experimental	gemini-2.0-flash-exp	non vérifié	CodeShellAgent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250120_Bracket	non vérifié	non vérifié	Bracket.sh	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250122_autocoderover-v2.1-claude-3-5-sonnet-20241022	claude-3-5-sonnet-20241022	non vérifié	AutoCodeRover-v2.1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250203_openhands_4x_scaled	non vérifié	non vérifié	OpenHands	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250206_agentscope	claude-3-5-sonnet-20241022	non vérifié	AgentScope	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250214_agentless_lite_o3_mini	o3-mini	non vérifié	Agentless Lite	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250224_tools_claude-3-7-sonnet	non vérifié	non vérifié	Tools	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250225_sweagent_claude-3-7-sonnet	claude-3-7-sonnet-20250219	non vérifié	SWE-agent	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250226_swerl_llama3_70b	Llama3-SWE-RL-70B	non vérifié	Agentless Mini	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250228_epam-ai-run-claude-3-5-sonnet	claude-3-5-sonnet-20241022	non vérifié	EPAM AI/Run Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250306_SWE-Fixer_Qwen2.5-7b-retriever_Qwen2.5-72b-editor	Qwen 2.5	non vérifié	SWE-Fixer	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250316_augment_agent_v0	non vérifié	non vérifié	Augment Agent v0	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250405_amazon-q-developer-agent-20250405-dev	non vérifié	non vérifié	Amazon Q Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250405_swe-rizzo_claude37	non vérifié	non vérifié	SWE-Rizzo	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	NV-EmbedCode	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	claude-3-5-sonnet-20241022	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	deepseek-v3	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	o3-mini	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	gpt-4o-2024-05-13	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	gpt-4-turbo-2024-04-09	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	Qwen/Qwen2.5-72B-Instruct	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	meta-llama/Llama-3.1-405B-Instruct	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250410_cortexa	meta-llama/Llama-3.3-70B-Instruct	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250415_openhands	non vérifié	non vérifié	OpenHands	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250430_zencoder_ai	claude-3-7-sonnet-20250219	non vérifié	Zencoder	non vérifié	2+	non déclaré	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250430_zencoder_ai	o4-mini	non vérifié	Zencoder	non vérifié	2+	non déclaré	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250503_patchpilot-v1.1-o4-mini	o4-mini	non vérifié	PatchPilot-v1.1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250511_sweagent_lm_32b	Qwen 2.5	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250514_aime_coder	claude-3-7-sonnet-20250219	non vérifié	Aime-coder v1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250515_Refact_Agent	claude-3-7-sonnet-20250219	non vérifié	Refact.ai Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250515_Refact_Agent	o3	non vérifié	Refact.ai Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250515_Refact_Agent	o4-mini	non vérifié	Refact.ai Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	NV-EmbedCode	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	o3	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	o3-mini	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	o1	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	gpt-4.1	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	gpt-4o-2024-05-13	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	gpt-4-turbo-2024-04-09	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	claude-3-7-sonnet-20250219	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	deepseek-v3	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	Qwen/Qwen2.5-72B-Instruct	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	meta-llama/Llama-3.1-405B-Instruct	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250516_cortexa_o3	meta-llama/Llama-3.3-70B-Instruct	non vérifié	Nemotron-CORTEXA	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250519_devlo	claude-3-7-sonnet-20250219	non vérifié	devlo	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250519_devlo	o3	non vérifié	devlo	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250519_devlo	gemini-2.5-pro	non vérifié	devlo	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250519_trae	non vérifié	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250520_openhands_devstral_small	mistralai/Devstral-Small-2505	non vérifié	OpenHands	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250522_sweagent_claude-4-sonnet-20250514	claude-4-sonnet-20250514	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250522_tools_claude-4-opus	claude-4-opus-20250514	non vérifié	Tools	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250522_tools_claude-4-sonnet	claude-4-sonnet-20250514	non vérifié	Tools	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250524_openhands_claude_4_sonnet	claude-4-sonnet-20250514	non vérifié	OpenHands	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250527_amazon.nova-premier-v1.0	amazon.nova-premier-v1:0	non vérifié	Amazon Nova Premier 1.0	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250528_patchpilot_Co-PatcheR	non vérifié	non vérifié	PatchPilot	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250603_Refact_Agent_claude-4-sonnet	claude-4-sonnet	non vérifié	Refact.ai Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250603_Refact_Agent_claude-4-sonnet	o4-mini	non vérifié	Refact.ai Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250610_augment_agent_v1	non vérifié	non vérifié	Augment Agent v1	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250611_moatless_claude-4-sonnet-20250514	claude-4-sonnet-20250514	non vérifié	Moatless Tools	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250612_trae	claude-4-sonnet-20250522	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250612_trae	claude-4-opus-20250522	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250612_trae	claude-3-7-sonnet-20250219	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250612_trae	gemini-2.5-pro-preview-06-05	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250616_Skywork-SWE-32B+TTS_Bo8	Qwen2.5-Coder-32B-Instruct	non vérifié	Skywork-SWE-32B	non vérifié	2+	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250616_Skywork-SWE-32B	Qwen2.5-Coder-32B-Instruct	non vérifié	Skywork-SWE-32B	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250623_warp	claude-sonnet-4-20250514	non vérifié	Warp	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250623_warp	claude-3-7-sonnet-20250219	non vérifié	Warp	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250623_warp	gemini-2.5-pro	non vérifié	Warp	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250623_warp	gpt-4.1-2025-04-14	non vérifié	Warp	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250627_agentless_MCTS-Refine-7B	MCTS-Refine-7B	non vérifié	MCTS-Refine-7B	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250629_deepswerl_r2eagent	https://huggingface.co/agentica-org/DeepSWE-Preview	non vérifié	R2E-Gym	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250629_deepswerl_r2eagent_tts	https://huggingface.co/agentica-org/DeepSWE-Preview	non vérifié	DeepSWE-Preview	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250710_bloop	claude-4-sonnet-20250514	non vérifié	Bloop	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250715_qodo_command	claude-sonnet-4-20250514	non vérifié	Qodo Command	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250715_qodo_command	gpt-4o	non vérifié	Qodo Command	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250716_openhands_kimi_k2	moonshot/kimi-k2-0711-preview	non vérifié	OpenHands	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250720_Lingxi-v1.5_claude-4-sonnet-20250514	claude-4-sonnet-20250514	non vérifié	Lingxi-v1.5	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250720_mini-v0.0.0-Llama-4-Maverick-17B-Instruct	llama-4-maverick-instruct	non vérifié	mini-SWE-agent	0.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250720_mini-v0.0.0-Llama-4-Scout-17B-Instruct	llama-4-scout-instruct	non vérifié	mini-SWE-agent	0.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250720_mini-v0.0.0-claude-3-7-sonnet-20250219	claude-3-7-sonnet-20250219	non vérifié	mini-SWE-agent	0.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250720_mini-v0.0.0-gpt-4o-2024-11-20	gpt-4o-20241120	non vérifié	mini-SWE-agent	0.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250720_mini-v0.0.0_gpt-4.1-mini-2025-04-14	gpt-4.1-mini-20250414	non vérifié	mini-SWE-agent	0.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250725_sweagent_devstral_small_2507	devstral-small-2507	non vérifié	SWE-agent	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_claude-sonnet-4-20250514	claude-4-sonnet-20250514	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_gemini-2.0-flash	gemini-2.0-flash	non vérifié	mini-SWE-agent	0.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_gemini-2.5-flash	gemini-2.5-flash	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_gemini-2.5-pro	gemini-2.5-pro	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_gpt-4.1-2025-04-14	gpt-4.1-20250414	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_o3-2025-04-16	o3-20250416	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250726_mini-v1.0.0_o4-mini-2025-04-16	o4-mini-20250416	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250728_zai_glm4-5	https://huggingface.co/zai-org/GLM-4.5	non vérifié	Undisclosed	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250731_harness_ai	claude-sonnet-4-20250514	non vérifié	Harness AI	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250802_mini-v1.0.0_claude-4-opus-20250514	claude-4-opus-20250514	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250802_mini-v1.0.0_qwen3-coder-480b-a35b-instruct	Qwen3-Coder-480B-A35B-Instruct	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250803_mini-v1.0.0_qwen2-5-coder-32b-instruct	Qwen2.5-Coder-32B-Instruct	non vérifié	mini-SWE-agent	1.0.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250804_codesweep_sweagent_kimi_k2_instruct	kimi-k2-instruct	non vérifié	CodeSweep - SWE-agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250804_epam-ai-run-claude-4-sonnet	claude-sonnet-4-20250514	non vérifié	EPAM AI/Run Developer Agent	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250805_openhands-Qwen3-Coder-30B-A3B-Instruct	https://huggingface.co/Qwen/Qwen3-Coder-30B-A3B-Instruct	non vérifié	OpenHands	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250805_openhands-Qwen3-Coder-480B-A35B-Instruct	Qwen3-Coder-480B-A35B-Instruct, lien Hugging Face déclaré	Qwen3-Coder-Max-0721	OpenHands	0.35.0	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250806_SWE-Exp_DeepSeek-V3	DeepSeek-V3-0324	non vérifié	SWE-Exp	non vérifié	2	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250807_mini-v1.7.0_gpt-5-mini	gpt-5-mini-2025-08-07	non vérifié	mini-SWE-agent	1.7.0	1	medium	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250807_mini-v1.7.0_gpt-5-nano	gpt-5-nano-2025-08-07	non vérifié	mini-SWE-agent	1.7.0	1	medium	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250807_mini-v1.7.0_gpt-5	gpt-5-2025-08-07	non vérifié	mini-SWE-agent	1.7.0	1	medium	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250807_mini-v1.7.0_gpt-oss-120b	gpt-oss-120b	non vérifié	mini-SWE-agent	1.7.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250807_mini-v1.7.0_kimi-k2-instruct	Kimi-K2-Instruct	non vérifié	mini-SWE-agent	1.7.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250807_openhands_gpt5	openai/gpt-5-2025-08-07	non vérifié	OpenHands	non vérifié	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250819_ACoder	claude-4-sonnet	non vérifié	ACoder	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250819_ACoder	claude-4.1-opus	non vérifié	ACoder	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250819_ACoder	gpt-5-0807-global	non vérifié	ACoder	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250819_ACoder	gemini-2.5-pro-06-17	non vérifié	ACoder	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250822_mini-v1.9.1_glm-4.5	GLM-4.5	non vérifié	mini-SWE-agent	1.9.1	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250901_entroPO_R2E_QwenCoder30BA3B	Qwen3-Coder-30B-A3B-Instruct	non vérifié	EntroPO + R2E	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250901_entroPO_R2E_QwenCoder30BA3B_tts	Qwen3-Coder-30B-A3B-Instruct	non vérifié	EntroPO + R2E	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250901_warp	gpt-5	non vérifié	Warp	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250901_warp	claude-sonnet-4-20250514	non vérifié	Warp	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250902_atlassian-rovo-dev	claude-sonnet-4-20250514	non vérifié	Atlassian Rovo Dev	non vérifié	2	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250902_atlassian-rovo-dev	gpt-5	non vérifié	Atlassian Rovo Dev	non vérifié	2	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250915_JoyCode	claude-4-sonnet	non vérifié	JoyCode	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250915_JoyCode	gpt-4.1	non vérifié	JoyCode	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250924_artemis_agent_v2	claude-sonnet-4-20250514	non vérifié	Artemis Agent v2	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250928_trae_doubao_seed_code	Doubao-Seed-Code	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250928_trae_doubao_seed_code	Doubao-Seed-1.6	non vérifié	TRAE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250929_Prometheus_v1.2_gpt5	gpt-5-2025-08-07	non vérifié	Prometheus-v1.2	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250929_mini-v1.13.3_sonnet-4-5-20250929	claude-sonnet-4-5-20250929	non vérifié	mini-SWE-agent	1.13.3	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20250930_zai_glm4-6	https://huggingface.co/zai-org/GLM-4.6	non vérifié	Undisclosed	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251014_Lingxi_kimi_k2	kimi-k2-0905-preview	non vérifié	Lingxi v1.5	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251015_Prometheus_v1.2.1_gpt5	gpt-5-2025-08-07	non vérifié	Prometheus-v1.2.1	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251021_SalesforceAIResearch_SAGE_bash_only	claude-sonnet-4.5	non vérifié	Salesforce AI Research SAGE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251021_SalesforceAIResearch_SAGE_bash_only	gpt-5	non vérifié	Salesforce AI Research SAGE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251103_SalesforceAIResearch_SAGE_OpenHands	claude-sonnet-4.5	non vérifié	Salesforce AI Research SAGE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251103_SalesforceAIResearch_SAGE_OpenHands	gpt-5	non vérifié	Salesforce AI Research SAGE	non vérifié	2+	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251103_sonar-foundation-agent_claude-sonnet-4-5	claude-sonnet-4-5	non vérifié	Sonar Foundation Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251110_frogboss-32b	FrogBoss-32B-2510	non vérifié	FrogBoss-32B-2510	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251110_frogmini-14b	FrogMini-14B-2510	non vérifié	FrogMini-14B-2510	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251118_mini-v1.15.0_gemini-3-pro-preview-20251118	gemini-3-pro-preview	non vérifié	mini-SWE-agent	1.15.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251120_livesweagent_gemini-3-pro-preview	gemini-3-pro-preview	non vérifié	live-SWE-agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251120_mini-v1.15.0_gpt-5.1-2025-11-13	gpt-5.1-2025-11-13	non vérifié	mini-SWE-agent	1.15.0	1	medium	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251124_mini-v1.16.0_claude-opus-4-5-20251101	claude-opus-4-5-20251101	non vérifié	mini-SWE-agent	1.16.0	1	medium	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251124_mini-v1.16.0_gpt-5.1-codex	gpt-5.1-codex	non vérifié	mini-SWE-agent	1.16.0	1	medium	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251124_mini-v1.17.0_minimax-m2	minimax-m2	non vérifié	mini-SWE-agent	1.17.0	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251127_openhands_claude-opus-4-5	non vérifié	non vérifié	OpenHands	non vérifié	non vérifié	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251201_mini-v1.17.1_deepseek-v3.2-reasoner	deepseek-v3.2-reasoner	non vérifié	mini-SWE-agent	1.17.1	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251201_mini-v1.17.1_glm-4.6	glm-4.6	non vérifié	mini-SWE-agent	1.17.1	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251205_sonar-foundation-agent_claude-opus-4-5	claude-opus-4-5	non vérifié	Sonar Foundation Agent	non vérifié	1	non déclaré	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251209_mini-v1.17.2_devstral-2512	devstral-2512	non vérifié	mini-SWE-agent	1.17.2	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251209_mini-v1.17.2_devstral-small-2512	devstral-small-2512	non vérifié	mini-SWE-agent	1.17.2	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251210_mini-v1.17.2_kimi-k2-thinking	Kimi-K2-Thinking	non vérifié	mini-SWE-agent	1.17.2	1	non déclaré	oui	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251211_mini-v1.17.2_gpt-5.2-2025-12-11-high	gpt-5.2-2025-12-11	non vérifié	mini-SWE-agent	1.17.2	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251211_mini-v1.17.2_gpt-5.2-2025-12-11	gpt-5.2-2025-12-11	non vérifié	mini-SWE-agent	1.17.2	1	non déclaré	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20251215_livesweagent_claude-opus-4-5	claude-opus-4-5-20251101	non vérifié	live-SWE-agent	non vérifié	1	medium	non	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_claude-4-5-haiku-high	claude-haiku-4-5-20251001	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_claude-4-5-opus-high	claude-4-5-opus	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_claude-4-5-sonnet-high	claude-sonnet-4-5-20250929	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_claude-4-6-opus	claude-opus-4-6	non vérifié	mini-SWE-agent	2.0.0	1	non déclaré	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_deepseek-3-2-high	deepseek-v3.2	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_gemini-3-flash-high	gemini-3-flash-preview	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_glm-5-high	glm-5	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_gpt-5-2-high	gpt-5-2	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_gpt-5-mini	gpt-5-mini-2025-08-07	non vérifié	mini-SWE-agent	2.0.0	1	non déclaré	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_kimi-k2-5-high	kimi-k2.5	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260217_mini-v2.0.0_minimax-2-5-high	minimax-m2.5	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260219_mini-v2.0.0_gpt-5-2-codex	gpt-5-2-codex	non vérifié	mini-SWE-agent	2.0.0	1	non déclaré	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260226_mini-v2.0.0_gemini-3-pro-high	gemini-3-pro-preview	non vérifié	mini-SWE-agent	2.0.0	1	high	non vérifié	métadonnées de soumission
SWE-bench Verified	Verified, 500 tâches	20260901_mini-v2.4.2_gemini-3-5-flash	gemini-3-5-flash	non vérifié	mini-SWE-agent	2.4.2	1	medium	non vérifié	métadonnées de soumission
SWE-bench Pro	archive publique courante	claude-45haiku-10222025	claude-45haiku	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	claude-45sonnet-10132025	claude-45sonnet	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	claude-4sonnet-10132025	claude-4sonnet	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	claude-opus-4-1-paper	claude-opus-4-1	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Pro	archive publique courante	claude-sonnet-4-paper	claude-sonnet-4	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Pro	archive publique courante	gemini-2-5-pro-preview-250-turns-debug-nov17	gemini-2-5-pro-preview	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	gemini-2-5-pro-preview-250-turns-debug-oct22	gemini-2-5-pro-preview	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	gemini-2-5-pro-preview-paper	gemini-2-5-pro-preview	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Pro	archive publique courante	glm-4p5-10222025	glm-4p5	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	gpt-4o-paper	gpt-4o	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Pro	archive publique courante	gpt-5-250-turns-10132025	gpt-5-250-turns	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	250 tours, sans plafond de coût
SWE-bench Pro	archive publique courante	gpt-5-codex-debug-oct22	gpt-5-codex-debug-oct22	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	débogage public, réglage complet non vérifié
SWE-bench Pro	archive publique courante	gpt-5-high-paper	gpt-5-high	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Pro	archive publique courante	gptoss-paper	gptoss	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Pro	archive publique courante	kimi-paper	kimi	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	publication initiale, plafond de coût déclaré
SWE-bench Live	Lite	lite/20250725-openhands-Qwen3-Coder-480B-A35B	Qwen3-Coder-480B-A35B-Instruct	Qwen3-Coder-Max-0721	OpenHands	0.35.0	1	non déclaré	non vérifié	100 appels maximum, une tentative
SWE-bench Live	Lite	lite/20251221-MITIBM-agent-seedoss36b	Seed-OSS-36B-Instruct	non vérifié	MIT-IBM Agent + SWE-Agent	non vérifié	1	non déclaré	non vérifié	60 appels orchestrateur et 60 par sous-agent, une tentative
SWE-bench Live	Lite	lite/Slai-Agent/gpt-5.5-xhigh	gpt-5.5	non vérifié	Slai-Agent	non vérifié	1	xhigh	non vérifié	une tentative
SWE-bench Live	Lite	lite/ami-agent/20260623-v0.7.0-claude-opus-4-6	claude-opus-4-6	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Lite	lite/sapient-slingshot-agent/v2.6.0/20260629-claude-4.5	claude-4.5	non vérifié	Sapient Slingshot	v2.6.0	1	non déclaré	non vérifié	une tentative, génération déterministe
SWE-bench Live	Lite	lite/sapient-slingshot-agent/v3.1.0/20260817-opus-4-6	opus-4-6	non vérifié	Sapient Slingshot	v3.1.0	1	non déclaré	non vérifié	une tentative, génération déterministe
SWE-bench Live	Lite	lite/sapient-slingshot-agent/v3.3.0/20260831-gpt-5.6-sol	gpt-5.6-sol	non vérifié	Sapient Slingshot	v3.3.0	1	non déclaré	non vérifié	une tentative, génération déterministe
SWE-bench Live	Lite	lite/sweagent/20250501-sweagent-claude37	Claude 3.7 Sonnet, révision non vérifiée	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	100 appels maximum, une tentative
SWE-bench Live	Lite	lite/sweagent/20250501-sweagent-gpt41	GPT-4.1, révision non vérifiée	non vérifié	SWE-agent	non vérifié	1	non déclaré	non vérifié	100 appels maximum, une tentative
SWE-bench Live	Multilang all_languages	multilang/all_languages/claudecode/deepseek-v4-pro	deepseek-v4-pro	non vérifié	Claude Code	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang all_languages	multilang/all_languages/claudecode/gpt-5.5-medium	gpt-5.5-medium	non vérifié	Claude Code	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang cs	multilang/cs/20260223-brokk-gpt52-flash3	gpt52-flash3	non vérifié	Brokk agent	non vérifié	1	non déclaré	non vérifié	identifiant combiné publié
SWE-bench Live	Multilang cs	multilang/cs/20260225-brokk-sonnet45-flash3	sonnet45-flash3	non vérifié	Brokk agent	non vérifié	1	non déclaré	non vérifié	identifiant combiné publié
SWE-bench Live	Multilang go	multilang/go/ami-agent/20260716-v0.7.0-claude-opus-4-6	claude-opus-4-6	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang go	multilang/go/ami-agent/20260723-v0.7.0-claude-sonnet-4-6	claude-sonnet-4-6	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang go	multilang/go/ami-agent/20260729-v0.7.0-claude-haiku-4-5	claude-haiku-4-5	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang go	multilang/go/ami-agent/20260729-v0.7.0-gemini-3.1-pro-preview	gemini-3.1-pro-preview	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang go	multilang/go/ami-agent/20260729-v0.7.0-gemini-3.6-flash	gemini-3.6-flash	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang java	multilang/java/ami-agent/20260817-v0.7.2-claude-opus-4-6	claude-opus-4-6	non vérifié	AMI agent	0.7.2	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang java	multilang/java/brokk-agent/20260218-brokk-gpt52-flash3	gpt52-flash3	non vérifié	Brokk agent	non vérifié	1	non déclaré	non vérifié	identifiant combiné publié
SWE-bench Live	Multilang java	multilang/java/brokk-agent/20260218-brokk-sonnet4.5-flash3	sonnet4.5-flash3	non vérifié	Brokk agent	non vérifié	1	non déclaré	non vérifié	identifiant combiné publié
SWE-bench Live	Multilang java	multilang/java/slingshot-agent/20260707-sapient-slingshot-gpt-5.5	gpt-5.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang java	multilang/java/slingshot-agent/20260812-sapient-slingshot-gpt-5.5	gpt-5.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang java	multilang/java/slingshot-agent/20260901-sapient-slingshot-gpt-5.6-sol	gpt-5.6-sol	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/ami-agent/20260710-v0.7.0-claude-opus-4-6/js	claude-opus-4-6	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/ami-agent/20260710-v0.7.0-claude-opus-4-6/ts	claude-opus-4-6	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/slingshot-agent/20260623-slingshot-claude4.5/js	claude4.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/slingshot-agent/20260623-slingshot-claude4.5/ts	claude4.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/slingshot-agent/20260629-sapient-slingshot-gpt-5.5/js	gpt-5.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/slingshot-agent/20260629-sapient-slingshot-gpt-5.5/ts	gpt-5.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/slingshot-agent/20260730-sapient-slingshot-gpt-5.5/js	gpt-5.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang js_ts	multilang/js_ts/slingshot-agent/20260730-sapient-slingshot-gpt-5.5/ts	gpt-5.5	non vérifié	Sapient Slingshot	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Multilang rust	multilang/rust/ami-agent/20260625-v0.7.0-claude-opus-4-6	claude-opus-4-6	non vérifié	AMI agent	0.7.0	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Windows	windows/Slai-Agent/gpt-5.5-xhigh	gpt-5.5	non vérifié	Slai-Agent	non vérifié	1	xhigh	non vérifié	présence publique
SWE-bench Live	Windows	windows/win-agent/claude-sonnet-4-5	claude-sonnet-4-5	non vérifié	win-agent	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Windows	windows/win-agent/deepseek-v3.1-terminus	deepseek-v3.1-terminus	non vérifié	win-agent	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Windows	windows/win-agent/deepseek-v4-pro	deepseek-v4-pro	non vérifié	win-agent	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Windows	windows/win-agent/gemini-3-flash	gemini-3-flash	non vérifié	win-agent	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Windows	windows/win-agent/gpt-5.2-medium	gpt-5.2-medium	non vérifié	win-agent	non vérifié	1	non déclaré	non vérifié	présence publique
SWE-bench Live	Windows	windows/win-agent/gpt-5.5-medium	gpt-5.5-medium	non vérifié	win-agent	non vérifié	1	non déclaré	non vérifié	présence publique
Terminal-Bench	4.0	2026-08-26-anthropic-claude-fable-5-max-claude-code.json	anthropic/claude-fable-5	non vérifié	claude-code	2.1.231	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-anthropic-claude-opus-4-8-max-claude-code.json	anthropic/claude-opus-4-8	non vérifié	claude-code	2.1.231	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-anthropic-claude-opus-5-max-claude-code.json	anthropic/claude-opus-5	non vérifié	claude-code	2.1.231	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-anthropic-claude-sonnet-5-max-claude-code.json	anthropic/claude-sonnet-5	non vérifié	claude-code	2.1.231	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-anthropic-glm-5-3-max-claude-code.json	anthropic/glm-5.3	non vérifié	claude-code	2.1.207	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-openai-gpt-5-6-luna-max-codex.json	openai/gpt-5.6-luna	non vérifié	codex	0.149.1	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-openai-gpt-5-6-sol-max-codex.json	openai/gpt-5.6-sol	non vérifié	codex	0.149.1	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-openai-gpt-5-6-terra-max-codex.json	openai/gpt-5.6-terra	non vérifié	codex	0.149.1	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-xai-grok-4-5-none-grok-build.json	xai/grok-4.5	non vérifié	grok-build	1.0.5	essais listés	non déclaré	non vérifié	soumission publique
Terminal-Bench	4.0	2026-08-26-xai-grok-4-6-none-grok-build.json	xai/grok-4.6	non vérifié	grok-build	1.0.5	essais listés	non déclaré	non vérifié	soumission publique
Terminal-Bench	4.0	2026-09-01-gemini-gemini-3-8-flash-high-mini-swe-agent.json	gemini/gemini-3.8-flash	non vérifié	mini-swe-agent	2.4.6	essais listés	high	non vérifié	soumission publique
Terminal-Bench	4.0	2026-09-02-anthropic-claude-fable-5-1-max-claude-code.json	anthropic/claude-fable-5-1	non vérifié	claude-code	2.1.257	essais listés	max	non vérifié	soumission publique
Terminal-Bench	4.0	2026-09-02-gemini-gemini-3-7-flash-high-mini-swe-agent.json	gemini/gemini-3.7-flash	non vérifié	mini-swe-agent	2.4.6	essais listés	high	non vérifié	soumission publique
LiveCodeBench	release encodée dans le fichier	AzeroGPT-64b/Scenario.codegeneration_10_0.2_eval_all.json	AzeroGPT-64b	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-3-Haiku/Scenario.codegeneration_10_0.2_eval_all.json	Claude-3-Haiku	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-3.5-Sonnet-20240620/Scenario.codegeneration_10_0.2_eval_all.json	Claude-3.5-Sonnet-20240620	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-3.5-Sonnet-20241022/Scenario.codegeneration_10_0.2_eval_all.json	Claude-3.5-Sonnet-20241022	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-3.7-Sonnet/Scenario.codegeneration_1_0.2_eval_all.json	Claude-3.7-Sonnet	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-Opus-4 (Thinking)/Scenario.codegeneration_1_0.2_eval_all.json	Claude-Opus-4 (Thinking)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-Opus-4/Scenario.codegeneration_1_0.2_eval_all.json	Claude-Opus-4	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-Sonnet-4 (Thinking)/Scenario.codegeneration_1_0.2_eval_all.json	Claude-Sonnet-4 (Thinking)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Claude-Sonnet-4/Scenario.codegeneration_1_0.2_eval_all.json	Claude-Sonnet-4	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Codestral-Latest/Scenario.codegeneration_10_0.2_eval_all.json	Codestral-Latest	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DSCoder-1.3b-Ins/Scenario.codegeneration_10_0.2_eval_all.json	DSCoder-1.3b-Ins	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DSCoder-33b-Ins/Scenario.codegeneration_10_0.2_eval_all.json	DSCoder-33b-Ins	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DSCoder-6.7b-Ins/Scenario.codegeneration_10_0.2_eval_all.json	DSCoder-6.7b-Ins	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DeepCoder-14B-Preview/Scenario.codegeneration_10_0.2_eval_all.json	DeepCoder-14B-Preview	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DeepSeek-R1-0528/Scenario.codegeneration_10_0.6_eval_all.json	DeepSeek-R1-0528	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.6_eval_all
LiveCodeBench	release encodée dans le fichier	DeepSeek-R1-Lite-Preview/Scenario.codegeneration_10_0.2_eval_all.json	DeepSeek-R1-Lite-Preview	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DeepSeek-R1-Preview/Scenario.codegeneration_10_0.2_eval_all.json	DeepSeek-R1-Preview	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DeepSeek-V3 copy/Scenario.codegeneration_10_0.2_eval_all.json	DeepSeek-V3 copy	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	DeepSeek-V3/Scenario.codegeneration_10_0.2_eval_all.json	DeepSeek-V3	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	EXAONE-4.0-32B/Scenario.codegeneration_4_0.6_eval_all.json	EXAONE-4.0-32B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_4_0.6_eval_all
LiveCodeBench	release encodée dans le fichier	GPT-4-0613/Scenario.codegeneration_10_0.2_eval_all.json	GPT-4-0613	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	GPT-4-Turbo-1106/Scenario.codegeneration_10_0.2_eval_all.json	GPT-4-Turbo-1106	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	GPT-4-Turbo-2024-04-09/Scenario.codegeneration_10_0.2_eval_all.json	GPT-4-Turbo-2024-04-09	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	GPT-4O-2024-05-13/Scenario.codegeneration_10_0.2_eval_all.json	GPT-4O-2024-05-13	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	GPT-4O-2024-08-06/Scenario.codegeneration_10_0.2_eval_all.json	GPT-4O-2024-08-06	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	GPT-4O-mini-2024-07-18/Scenario.codegeneration_10_0.2_eval_all.json	GPT-4O-mini-2024-07-18	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-2.5-Flash-04-17/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-2.5-Flash-04-17	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-2.5-Flash-05-20/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-2.5-Flash-05-20	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-2.5-Pro-03-25/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-2.5-Pro-03-25	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-2.5-Pro-05-06/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-2.5-Pro-05-06	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-2.5-Pro-06-05/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-2.5-Pro-06-05	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Exp-1206/Scenario.codegeneration_10_0.2_eval_all.json	Gemini-Exp-1206	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-1.5-002/Scenario.codegeneration_10_0.2_eval_all.json	Gemini-Flash-1.5-002	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-2.0-Exp (N=10)/Scenario.codegeneration_10_0.2_eval_all.json	Gemini-Flash-2.0-Exp (N=10)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-2.0-Exp (N=10)/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-Flash-2.0-Exp (N=10)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-2.0-Exp/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-Flash-2.0-Exp	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-2.0-Thinking-01-21/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-Flash-2.0-Thinking-01-21	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-2.0-Thinking-12-19/Scenario.codegeneration_1_0.2_eval_all.json	Gemini-Flash-2.0-Thinking-12-19	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Flash-2.0-Thinking/Scenario.codegeneration_10_0.2_eval_all.json	Gemini-Flash-2.0-Thinking	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Gemini-Pro-1.5-002/Scenario.codegeneration_10_0.2_eval_all.json	Gemini-Pro-1.5-002	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Grok-3-Mini (High)/Scenario.codegeneration_1_0.4_eval_all.json	Grok-3-Mini (High)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.4_eval_all
LiveCodeBench	release encodée dans le fichier	Kimi-k1.6-IOI-high/Scenario.codegeneration_1_1.0_eval_all.json	Kimi-k1.6-IOI-high	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_1.0_eval_all
LiveCodeBench	release encodée dans le fichier	Kimi-k1.6-IOI/Scenario.codegeneration_10_0.8_eval_all.json	Kimi-k1.6-IOI	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.8_eval_all
LiveCodeBench	release encodée dans le fichier	LLama3.3-70b-Ins/Scenario.codegeneration_10_0.2_eval_all.json	LLama3.3-70b-Ins	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Llama-3_1-Nemotron-Nano-8B-v1/Scenario.codegeneration_1_eval_all.json	Llama-3_1-Nemotron-Nano-8B-v1	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_eval_all
LiveCodeBench	release encodée dans le fichier	Llama-3_1-Nemotron-Ultra-253B-v1/Scenario.codegeneration_1_eval_all.json	Llama-3_1-Nemotron-Ultra-253B-v1	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_eval_all
LiveCodeBench	release encodée dans le fichier	MetaStone-L1-7B/Scenario.codegeneration_10_0.6_eval_all.json	MetaStone-L1-7B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.6_eval_all
LiveCodeBench	release encodée dans le fichier	Mistral-Large/Scenario.codegeneration_10_0.2_eval_all.json	Mistral-Large	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O1-2024-12-17 (High)/Scenario.codegeneration_1_0.2_eval_all.json	O1-2024-12-17 (High)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O1-2024-12-17 (Low)/Scenario.codegeneration_1_0.2_eval_all.json	O1-2024-12-17 (Low)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O1-2024-12-17 (Low)_prompt_old/Scenario.codegeneration_1_0.2_eval_all.json	O1-2024-12-17 (Low)_prompt_old	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O1-2024-12-17 (Med)/Scenario.codegeneration_1_0.2_eval_all.json	O1-2024-12-17 (Med)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O1-Mini-2024-09-12/Scenario.codegeneration_1_0.2_eval_all.json	O1-Mini-2024-09-12	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O1-Preview-2024-09-12/Scenario.codegeneration_1_0.2_eval_all.json	O1-Preview-2024-09-12	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O3 (High)/Scenario.codegeneration_1_0.2_eval_all.json	O3 (High)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O3-Mini-2025-01-31 (High)/Scenario.codegeneration_1_0.2_eval_all.json	O3-Mini-2025-01-31 (High)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O3-Mini-2025-01-31 (Low)/Scenario.codegeneration_1_0.2_eval_all.json	O3-Mini-2025-01-31 (Low)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O3-Mini-2025-01-31 (Med)/Scenario.codegeneration_1_0.2_eval_all.json	O3-Mini-2025-01-31 (Med)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O4-Mini (High)/Scenario.codegeneration_1_0.2_eval_all.json	O4-Mini (High)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O4-Mini (Low)/Scenario.codegeneration_1_0.2_eval_all.json	O4-Mini (Low)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	O4-Mini (Medium)/Scenario.codegeneration_1_0.2_eval_all.json	O4-Mini (Medium)	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	OpenReasoning-Nemotron-32B/Scenario.codegeneration_10_0.6_eval_all.json	OpenReasoning-Nemotron-32B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.6_eval_all
LiveCodeBench	release encodée dans le fichier	QwQ-32B-Preview/Scenario.codegeneration_1_0.2_eval_all.json	QwQ-32B-Preview	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	QwQ-32B_temp/Scenario.codegeneration_1_0.2_eval_all.json	QwQ-32B_temp	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	QwQ-Max-Preview/Scenario.codegeneration_1_0.6_eval_all.json	QwQ-Max-Preview	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.6_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen2-Ins-72B/Scenario.codegeneration_10_0.2_eval_all.json	Qwen2-Ins-72B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen2.5-Coder-Ins-32B/Scenario.codegeneration_10_0.2_eval_all.json	Qwen2.5-Coder-Ins-32B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen2.5-Coder-Ins-7B/Scenario.codegeneration_10_0.2_eval_all.json	Qwen2.5-Coder-Ins-7B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen2.5-Ins-32B/Scenario.codegeneration_10_0.2_eval_all.json	Qwen2.5-Ins-32B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen2.5-Ins-72B/Scenario.codegeneration_10_0.2_eval_all.json	Qwen2.5-Ins-72B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen2.5-Ins-7B/Scenario.codegeneration_10_0.2_eval_all.json	Qwen2.5-Ins-7B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_10_0.2_eval_all
LiveCodeBench	release encodée dans le fichier	Qwen3-235B-A22B/Scenario.codegeneration_1_0.6_eval_all.json	Qwen3-235B-A22B	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.6_eval_all
LiveCodeBench	release encodée dans le fichier	XBai-o4-medium/Scenario.codegeneration_1_0.6_eval_all.json	XBai-o4-medium	non vérifié	scénario codegeneration	non applicable	échantillons encodés	non déclaré	non applicable	Scenario.codegeneration_1_0.6_eval_all
GPQA	baseline public 2023	baseline_results/5_shot_gpt-3.5-turbo-16k-0613_2023-10-16_00-06-35.csv	gpt-3.5-turbo-16k-0613	non vérifié	5_shot	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/5_shot_gpt-4_2023-11-08_19-55-25.csv	gpt-4	non vérifié	5_shot	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/chain_of_thought_gpt-3.5-turbo-16k-0613_2023-11-08_17-29-40.csv	gpt-3.5-turbo-16k-0613	non vérifié	chain_of_thought	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/chain_of_thought_gpt-4_2023-11-08_19-55-27.csv	gpt-4	non vérifié	chain_of_thought	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/few_shot_cot_3_llama_20231108.csv	Llama, révision non vérifiée	non vérifié	few_shot_cot_3	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/few_shot_llama_20231016.csv	Llama, révision non vérifiée	non vérifié	few_shot	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/retrieval_content_gpt-4_2023-10-27_16-33-29.csv	gpt-4	non vérifié	retrieval_content	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/zero_shot_chain_of_thought_gpt-3.5-turbo-16k-0613_2023-10-16_00-06-36.csv	gpt-3.5-turbo-16k-0613	non vérifié	zero_shot_chain_of_thought	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/zero_shot_chain_of_thought_gpt-4_2023-10-15_19-29-35.csv	gpt-4	non vérifié	zero_shot_chain_of_thought	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/zero_shot_cot_llama_20231016.csv	Llama, révision non vérifiée	non vérifié	zero_shot_cot	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/zero_shot_gpt-3.5-turbo-16k-0613_2023-10-16_00-06-35.csv	gpt-3.5-turbo-16k-0613	non vérifié	zero_shot	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/zero_shot_gpt-4_2023-10-15_11-29-56.csv	gpt-4	non vérifié	zero_shot	non applicable	non vérifié	non déclaré	non applicable	présence publique
GPQA	baseline public 2023	baseline_results/zero_shot_llama_20231016.csv	Llama, révision non vérifiée	non vérifié	zero_shot	non applicable	non vérifié	non déclaré	non applicable	présence publique
FinanceBench	échantillon public	results/claude-2_inContext.jsonl	claude-2	non vérifié	inContext	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/claude-2_inContext_reverse.jsonl	claude-2	non vérifié	inContext_reverse	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_closedBook.jsonl	gpt-4-1106-preview	non vérifié	closedBook	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_inContext.jsonl	gpt-4-1106-preview	non vérifié	inContext	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_inContext_reverse.jsonl	gpt-4-1106-preview	non vérifié	inContext_reverse	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_oracle.jsonl	gpt-4-1106-preview	non vérifié	oracle	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_oracle_reverse.jsonl	gpt-4-1106-preview	non vérifié	oracle_reverse	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_sharedStore.jsonl	gpt-4-1106-preview	non vérifié	sharedStore	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4-1106-preview_singleStore.jsonl	gpt-4-1106-preview	non vérifié	singleStore	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4_closedBook.jsonl	gpt-4	non vérifié	closedBook	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4_oracle.jsonl	gpt-4	non vérifié	oracle	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4_oracle_reverse.jsonl	gpt-4	non vérifié	oracle_reverse	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4_sharedStore.jsonl	gpt-4	non vérifié	sharedStore	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/gpt-4_singleStore.jsonl	gpt-4	non vérifié	singleStore	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/llama2_sharedStore.jsonl	llama2	non vérifié	sharedStore	non applicable	1	non déclaré	non applicable	température 0.01
FinanceBench	échantillon public	results/llama2_singleStore.jsonl	llama2	non vérifié	singleStore	non applicable	1	non déclaré	non applicable	température 0.01
MedHELM	v4.0.0	stanfordhealthcare_claude-3-5-sonnet-20241022	anthropic_claude-3-5-sonnet-20241022	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_claude-3-7-sonnet-20250219	anthropic_claude-3-7-sonnet-20250219	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_deepseek-r1	deepseek-ai_deepseek-r1	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gemini-1.5-pro-001	google_gemini-1.5-pro-001	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gemini-2.0-flash-001	google_gemini-2.0-flash-001	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gemini-2.5-pro-preview-05-06	google_gemini-2.5-pro-preview-05-06	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gpt-4o-2024-05-13	openai_gpt-4o-2024-05-13	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gpt-4o-mini-2024-07-18	openai_gpt-4o-mini-2024-07-18	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gpt-5-2025-08-07	openai_gpt-5-2025-08-07	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_gpt-5-mini-2025-08-07	openai_gpt-5-mini-2025-08-07	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_llama-3.3-70b-instruct	meta_llama-3.3-70b-instruct	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_o3-mini-2025-01-31	openai_o3-mini-2025-01-31	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario
MedHELM	v4.0.0	stanfordhealthcare_o4-mini-2025-04-16	openai_o4-mini-2025-04-16	non vérifié	HELM	run_spec.json	1	non déclaré	non applicable	réglage par scénario