How Accurate Are 10 LLMs in 13,500 Triage Tests?

Emergency triage results compare 10 LLMs across 45 vignettes, three prompt strategies and 10 rounds, covering EM, NE and SE.
#
Model
Round
Vignette
Triage
Prompt
solution
correct
1 1 gpt-4o 1 3 EM Recognition-Primed Prompt NE FALSE
2 2 gpt-4o 1 9 EM Recognition-Primed Prompt EM TRUE
3 3 gpt-4o 1 11 EM Recognition-Primed Prompt NE FALSE
4 4 gpt-4o 1 29 EM Recognition-Primed Prompt SE FALSE
5 5 gpt-4o 1 42 EM Recognition-Primed Prompt EM TRUE
6 6 gpt-4o 1 45 EM Recognition-Primed Prompt SE FALSE
7 7 gpt-4o 2 3 EM Recognition-Primed Prompt NE FALSE
8 8 gpt-4o 2 9 EM Recognition-Primed Prompt EM TRUE
9 9 gpt-4o 2 29 EM Recognition-Primed Prompt SE FALSE
10 10 gpt-4o 2 42 EM Recognition-Primed Prompt EM TRUE
11 11 gpt-4o 2 45 EM Recognition-Primed Prompt SE FALSE
12 12 gpt-4o 3 3 EM Recognition-Primed Prompt NE FALSE
13 13 gpt-4o 3 9 EM Recognition-Primed Prompt EM TRUE
14 14 gpt-4o 3 29 EM Recognition-Primed Prompt SE FALSE
15 15 gpt-4o 3 42 EM Recognition-Primed Prompt EM TRUE
16 16 gpt-4o 3 45 EM Recognition-Primed Prompt SE FALSE
17 17 gpt-4o 4 3 EM Recognition-Primed Prompt NE FALSE
18 18 gpt-4o 4 9 EM Recognition-Primed Prompt EM TRUE
19 19 gpt-4o 4 10 EM Recognition-Primed Prompt NE FALSE
20 20 gpt-4o 4 25 EM Recognition-Primed Prompt NE FALSE
21 21 gpt-4o 4 42 EM Recognition-Primed Prompt EM TRUE
22 22 gpt-4o 4 45 EM Recognition-Primed Prompt SE FALSE
23 23 gpt-4o 5 3 EM Recognition-Primed Prompt NE FALSE
24 24 gpt-4o 5 9 EM Recognition-Primed Prompt EM TRUE
25 25 gpt-4o 5 29 EM Recognition-Primed Prompt SE FALSE
26 26 gpt-4o 5 42 EM Recognition-Primed Prompt EM TRUE
27 27 gpt-4o 5 45 EM Recognition-Primed Prompt SE FALSE
28 28 gpt-4o 6 3 EM Recognition-Primed Prompt NE FALSE
29 29 gpt-4o 6 9 EM Recognition-Primed Prompt EM TRUE
30 30 gpt-4o 6 42 EM Recognition-Primed Prompt EM TRUE
31 31 gpt-4o 6 45 EM Recognition-Primed Prompt SE FALSE
32 32 gpt-4o 7 3 EM Recognition-Primed Prompt NE FALSE
33 33 gpt-4o 7 9 EM Recognition-Primed Prompt EM TRUE
34 34 gpt-4o 7 29 EM Recognition-Primed Prompt SE FALSE
35 35 gpt-4o 7 42 EM Recognition-Primed Prompt EM TRUE
36 36 gpt-4o 7 45 EM Recognition-Primed Prompt SE FALSE
37 37 gpt-4o 8 9 EM Recognition-Primed Prompt EM TRUE
38 38 gpt-4o 8 11 EM Recognition-Primed Prompt NE FALSE
39 39 gpt-4o 8 29 EM Recognition-Primed Prompt SE FALSE
40 40 gpt-4o 8 42 EM Recognition-Primed Prompt EM TRUE
41 41 gpt-4o 8 45 EM Recognition-Primed Prompt SE FALSE
42 42 gpt-4o 9 3 EM Recognition-Primed Prompt NE FALSE
43 43 gpt-4o 9 9 EM Recognition-Primed Prompt EM TRUE
44 44 gpt-4o 9 29 EM Recognition-Primed Prompt SE FALSE
45 45 gpt-4o 9 42 EM Recognition-Primed Prompt EM TRUE
46 46 gpt-4o 9 45 EM Recognition-Primed Prompt SE FALSE
47 47 gpt-4o 10 3 EM Recognition-Primed Prompt NE FALSE
48 48 gpt-4o 10 9 EM Recognition-Primed Prompt EM TRUE
49 49 gpt-4o 10 29 EM Recognition-Primed Prompt SE FALSE
50 50 gpt-4o 10 42 EM Recognition-Primed Prompt EM TRUE
51 51 gpt-4o 10 45 EM Recognition-Primed Prompt SE FALSE
52 52 gpt-4.1-mini 1 3 EM Recognition-Primed Prompt NE FALSE
53 53 gpt-4.1-mini 1 5 EM Recognition-Primed Prompt NE FALSE
54 54 gpt-4.1-mini 1 9 EM Recognition-Primed Prompt EM TRUE
55 55 gpt-4.1-mini 1 13 EM Recognition-Primed Prompt NE FALSE
56 56 gpt-4.1-mini 1 25 EM Recognition-Primed Prompt NE FALSE
57 57 gpt-4.1-mini 1 29 EM Recognition-Primed Prompt SE FALSE
58 58 gpt-4.1-mini 1 41 EM Recognition-Primed Prompt NE FALSE
59 59 gpt-4.1-mini 1 42 EM Recognition-Primed Prompt EM TRUE
60 60 gpt-4.1-mini 1 45 EM Recognition-Primed Prompt SE FALSE
61 61 gpt-4.1-mini 2 3 EM Recognition-Primed Prompt NE FALSE
62 62 gpt-4.1-mini 2 9 EM Recognition-Primed Prompt EM TRUE
63 63 gpt-4.1-mini 2 10 EM Recognition-Primed Prompt NE FALSE
64 64 gpt-4.1-mini 2 11 EM Recognition-Primed Prompt NE FALSE
65 65 gpt-4.1-mini 2 13 EM Recognition-Primed Prompt NE FALSE
66 66 gpt-4.1-mini 2 15 EM Recognition-Primed Prompt NE FALSE
67 67 gpt-4.1-mini 2 25 EM Recognition-Primed Prompt NE FALSE
68 68 gpt-4.1-mini 2 29 EM Recognition-Primed Prompt SE FALSE
69 69 gpt-4.1-mini 2 32 EM Recognition-Primed Prompt SE FALSE
70 70 gpt-4.1-mini 2 42 EM Recognition-Primed Prompt EM TRUE
71 71 gpt-4.1-mini 2 45 EM Recognition-Primed Prompt SE FALSE
72 72 gpt-4.1-mini 3 3 EM Recognition-Primed Prompt NE FALSE
73 73 gpt-4.1-mini 3 9 EM Recognition-Primed Prompt EM TRUE
74 74 gpt-4.1-mini 3 13 EM Recognition-Primed Prompt NE FALSE
75 75 gpt-4.1-mini 3 25 EM Recognition-Primed Prompt NE FALSE
76 76 gpt-4.1-mini 3 27 EM Recognition-Primed Prompt SE FALSE
77 77 gpt-4.1-mini 3 29 EM Recognition-Primed Prompt SE FALSE
78 78 gpt-4.1-mini 3 31 EM Recognition-Primed Prompt SE FALSE
79 79 gpt-4.1-mini 3 41 EM Recognition-Primed Prompt NE FALSE
80 80 gpt-4.1-mini 3 42 EM Recognition-Primed Prompt EM TRUE
81 81 gpt-4.1-mini 3 45 EM Recognition-Primed Prompt SE FALSE
82 82 gpt-4.1-mini 4 3 EM Recognition-Primed Prompt NE FALSE
83 83 gpt-4.1-mini 4 5 EM Recognition-Primed Prompt NE FALSE
84 84 gpt-4.1-mini 4 9 EM Recognition-Primed Prompt EM TRUE
85 85 gpt-4.1-mini 4 13 EM Recognition-Primed Prompt NE FALSE
86 86 gpt-4.1-mini 4 25 EM Recognition-Primed Prompt NE FALSE
87 87 gpt-4.1-mini 4 29 EM Recognition-Primed Prompt SE FALSE
88 88 gpt-4.1-mini 4 41 EM Recognition-Primed Prompt NE FALSE
89 89 gpt-4.1-mini 4 42 EM Recognition-Primed Prompt EM TRUE
90 90 gpt-4.1-mini 4 45 EM Recognition-Primed Prompt SE FALSE
91 91 gpt-4.1-mini 5 3 EM Recognition-Primed Prompt NE FALSE
92 92 gpt-4.1-mini 5 9 EM Recognition-Primed Prompt EM TRUE
93 93 gpt-4.1-mini 5 10 EM Recognition-Primed Prompt NE FALSE
94 94 gpt-4.1-mini 5 11 EM Recognition-Primed Prompt NE FALSE
95 95 gpt-4.1-mini 5 13 EM Recognition-Primed Prompt NE FALSE
96 96 gpt-4.1-mini 5 25 EM Recognition-Primed Prompt NE FALSE
97 97 gpt-4.1-mini 5 29 EM Recognition-Primed Prompt SE FALSE
98 98 gpt-4.1-mini 5 41 EM Recognition-Primed Prompt NE FALSE
99 99 gpt-4.1-mini 5 42 EM Recognition-Primed Prompt EM TRUE
100 100 gpt-4.1-mini 5 45 EM Recognition-Primed Prompt SE FALSE
101 101 gpt-4.1-mini 6 3 EM Recognition-Primed Prompt NE FALSE
102 102 gpt-4.1-mini 6 9 EM Recognition-Primed Prompt EM TRUE
103 103 gpt-4.1-mini 6 11 EM Recognition-Primed Prompt NE FALSE
104 104 gpt-4.1-mini 6 25 EM Recognition-Primed Prompt NE FALSE
105 105 gpt-4.1-mini 6 29 EM Recognition-Primed Prompt SE FALSE
106 106 gpt-4.1-mini 6 32 EM Recognition-Primed Prompt SE FALSE
107 107 gpt-4.1-mini 6 33 EM Recognition-Primed Prompt SE FALSE
108 108 gpt-4.1-mini 6 41 EM Recognition-Primed Prompt NE FALSE
109 109 gpt-4.1-mini 6 42 EM Recognition-Primed Prompt EM TRUE
110 110 gpt-4.1-mini 6 45 EM Recognition-Primed Prompt SE FALSE
111 111 gpt-4.1-mini 7 3 EM Recognition-Primed Prompt NE FALSE
112 112 gpt-4.1-mini 7 9 EM Recognition-Primed Prompt EM TRUE
113 113 gpt-4.1-mini 7 10 EM Recognition-Primed Prompt NE FALSE
114 114 gpt-4.1-mini 7 11 EM Recognition-Primed Prompt NE FALSE
115 115 gpt-4.1-mini 7 25 EM Recognition-Primed Prompt NE FALSE
116 116 gpt-4.1-mini 7 29 EM Recognition-Primed Prompt SE FALSE
117 117 gpt-4.1-mini 7 41 EM Recognition-Primed Prompt NE FALSE
118 118 gpt-4.1-mini 7 42 EM Recognition-Primed Prompt EM TRUE
119 119 gpt-4.1-mini 7 45 EM Recognition-Primed Prompt SE FALSE
120 120 gpt-4.1-mini 8 3 EM Recognition-Primed Prompt NE FALSE
121 121 gpt-4.1-mini 8 5 EM Recognition-Primed Prompt NE FALSE
122 122 gpt-4.1-mini 8 9 EM Recognition-Primed Prompt EM TRUE
123 123 gpt-4.1-mini 8 11 EM Recognition-Primed Prompt NE FALSE
124 124 gpt-4.1-mini 8 13 EM Recognition-Primed Prompt NE FALSE
125 125 gpt-4.1-mini 8 25 EM Recognition-Primed Prompt NE FALSE
126 126 gpt-4.1-mini 8 29 EM Recognition-Primed Prompt SE FALSE
127 127 gpt-4.1-mini 8 41 EM Recognition-Primed Prompt NE FALSE
128 128 gpt-4.1-mini 8 42 EM Recognition-Primed Prompt EM TRUE
129 129 gpt-4.1-mini 8 45 EM Recognition-Primed Prompt SE FALSE
130 130 gpt-4.1-mini 9 3 EM Recognition-Primed Prompt NE FALSE
131 131 gpt-4.1-mini 9 5 EM Recognition-Primed Prompt NE FALSE
132 132 gpt-4.1-mini 9 9 EM Recognition-Primed Prompt EM TRUE
133 133 gpt-4.1-mini 9 25 EM Recognition-Primed Prompt NE FALSE
134 134 gpt-4.1-mini 9 29 EM Recognition-Primed Prompt SE FALSE
135 135 gpt-4.1-mini 9 33 EM Recognition-Primed Prompt SE FALSE
136 136 gpt-4.1-mini 9 42 EM Recognition-Primed Prompt EM TRUE
137 137 gpt-4.1-mini 9 45 EM Recognition-Primed Prompt SE FALSE
138 138 gpt-4.1-mini 10 3 EM Recognition-Primed Prompt NE FALSE
139 139 gpt-4.1-mini 10 5 EM Recognition-Primed Prompt NE FALSE
140 140 gpt-4.1-mini 10 9 EM Recognition-Primed Prompt EM TRUE
141 141 gpt-4.1-mini 10 11 EM Recognition-Primed Prompt NE FALSE
142 142 gpt-4.1-mini 10 12 EM Recognition-Primed Prompt NE FALSE
143 143 gpt-4.1-mini 10 15 EM Recognition-Primed Prompt NE FALSE
144 144 gpt-4.1-mini 10 25 EM Recognition-Primed Prompt NE FALSE
145 145 gpt-4.1-mini 10 29 EM Recognition-Primed Prompt SE FALSE
146 146 gpt-4.1-mini 10 41 EM Recognition-Primed Prompt NE FALSE
147 147 gpt-4.1-mini 10 42 EM Recognition-Primed Prompt EM TRUE
148 148 gpt-4.1-mini 10 45 EM Recognition-Primed Prompt SE FALSE
149 149 gpt-4.1 1 9 EM Recognition-Primed Prompt EM TRUE
150 150 gpt-4.1 1 25 EM Recognition-Primed Prompt NE FALSE
151 151 gpt-4.1 1 29 EM Recognition-Primed Prompt SE FALSE
152 152 gpt-4.1 1 42 EM Recognition-Primed Prompt EM TRUE
153 153 gpt-4.1 2 9 EM Recognition-Primed Prompt EM TRUE
154 154 gpt-4.1 2 29 EM Recognition-Primed Prompt SE FALSE
155 155 gpt-4.1 2 35 EM Recognition-Primed Prompt NE FALSE
156 156 gpt-4.1 2 42 EM Recognition-Primed Prompt EM TRUE
157 157 gpt-4.1 2 45 EM Recognition-Primed Prompt SE FALSE
158 158 gpt-4.1 3 3 EM Recognition-Primed Prompt NE FALSE
159 159 gpt-4.1 3 9 EM Recognition-Primed Prompt EM TRUE
160 160 gpt-4.1 3 29 EM Recognition-Primed Prompt SE FALSE
161 161 gpt-4.1 3 35 EM Recognition-Primed Prompt NE FALSE
162 162 gpt-4.1 3 42 EM Recognition-Primed Prompt EM TRUE
163 163 gpt-4.1 3 45 EM Recognition-Primed Prompt SE FALSE
164 164 gpt-4.1 4 3 EM Recognition-Primed Prompt NE FALSE
165 165 gpt-4.1 4 9 EM Recognition-Primed Prompt EM TRUE
166 166 gpt-4.1 4 29 EM Recognition-Primed Prompt SE FALSE
167 167 gpt-4.1 4 42 EM Recognition-Primed Prompt EM TRUE
168 168 gpt-4.1 4 45 EM Recognition-Primed Prompt SE FALSE
169 169 gpt-4.1 5 3 EM Recognition-Primed Prompt NE FALSE
170 170 gpt-4.1 5 9 EM Recognition-Primed Prompt EM TRUE
171 171 gpt-4.1 5 25 EM Recognition-Primed Prompt NE FALSE
172 172 gpt-4.1 5 29 EM Recognition-Primed Prompt SE FALSE
173 173 gpt-4.1 5 42 EM Recognition-Primed Prompt EM TRUE
174 174 gpt-4.1 5 45 EM Recognition-Primed Prompt SE FALSE
175 175 gpt-4.1 6 3 EM Recognition-Primed Prompt NE FALSE
176 176 gpt-4.1 6 9 EM Recognition-Primed Prompt EM TRUE
177 177 gpt-4.1 6 29 EM Recognition-Primed Prompt SE FALSE
178 178 gpt-4.1 6 42 EM Recognition-Primed Prompt EM TRUE
179 179 gpt-4.1 6 45 EM Recognition-Primed Prompt SE FALSE
180 180 gpt-4.1 7 3 EM Recognition-Primed Prompt NE FALSE
181 181 gpt-4.1 7 9 EM Recognition-Primed Prompt EM TRUE
182 182 gpt-4.1 7 29 EM Recognition-Primed Prompt SE FALSE
183 183 gpt-4.1 7 42 EM Recognition-Primed Prompt EM TRUE
184 184 gpt-4.1 7 45 EM Recognition-Primed Prompt SE FALSE
185 185 gpt-4.1 8 3 EM Recognition-Primed Prompt NE FALSE
186 186 gpt-4.1 8 9 EM Recognition-Primed Prompt EM TRUE
187 187 gpt-4.1 8 29 EM Recognition-Primed Prompt SE FALSE
188 188 gpt-4.1 8 42 EM Recognition-Primed Prompt EM TRUE
189 189 gpt-4.1 8 45 EM Recognition-Primed Prompt SE FALSE
190 190 gpt-4.1 9 3 EM Recognition-Primed Prompt NE FALSE
191 191 gpt-4.1 9 9 EM Recognition-Primed Prompt EM TRUE
192 192 gpt-4.1 9 29 EM Recognition-Primed Prompt SE FALSE
193 193 gpt-4.1 9 42 EM Recognition-Primed Prompt EM TRUE
194 194 gpt-4.1 9 45 EM Recognition-Primed Prompt SE FALSE
195 195 gpt-4.1 10 3 EM Recognition-Primed Prompt NE FALSE
196 196 gpt-4.1 10 9 EM Recognition-Primed Prompt EM TRUE
197 197 gpt-4.1 10 29 EM Recognition-Primed Prompt SE FALSE
198 198 gpt-4.1 10 42 EM Recognition-Primed Prompt EM TRUE
199 199 gpt-4.1 10 45 EM Recognition-Primed Prompt SE FALSE
200 200 o4-mini-high 1 9 EM Recognition-Primed Prompt EM TRUE
201 201 o4-mini-high 1 10 EM Recognition-Primed Prompt NE FALSE
202 202 o4-mini-high 1 25 EM Recognition-Primed Prompt NE FALSE
203 203 o4-mini-high 1 28 EM Recognition-Primed Prompt NE FALSE
204 204 o4-mini-high 1 29 EM Recognition-Primed Prompt SE FALSE
205 205 o4-mini-high 1 42 EM Recognition-Primed Prompt EM TRUE
206 206 o4-mini-high 1 45 EM Recognition-Primed Prompt SE FALSE
207 207 o4-mini-high 2 9 EM Recognition-Primed Prompt EM TRUE
208 208 o4-mini-high 2 10 EM Recognition-Primed Prompt NE FALSE
209 209 o4-mini-high 2 25 EM Recognition-Primed Prompt NE FALSE
210 210 o4-mini-high 2 29 EM Recognition-Primed Prompt SE FALSE
211 211 o4-mini-high 2 41 EM Recognition-Primed Prompt NE FALSE
212 212 o4-mini-high 2 42 EM Recognition-Primed Prompt EM TRUE
213 213 o4-mini-high 2 45 EM Recognition-Primed Prompt SE FALSE
214 214 o4-mini-high 3 9 EM Recognition-Primed Prompt EM TRUE
215 215 o4-mini-high 3 25 EM Recognition-Primed Prompt NE FALSE
216 216 o4-mini-high 3 35 EM Recognition-Primed Prompt NE FALSE
217 217 o4-mini-high 3 42 EM Recognition-Primed Prompt EM TRUE
218 218 o4-mini-high 3 45 EM Recognition-Primed Prompt SE FALSE
219 219 o4-mini-high 4 9 EM Recognition-Primed Prompt EM TRUE
220 220 o4-mini-high 4 10 EM Recognition-Primed Prompt NE FALSE
221 221 o4-mini-high 4 25 EM Recognition-Primed Prompt NE FALSE
222 222 o4-mini-high 4 29 EM Recognition-Primed Prompt SE FALSE
223 223 o4-mini-high 4 42 EM Recognition-Primed Prompt EM TRUE
224 224 o4-mini-high 4 45 EM Recognition-Primed Prompt SE FALSE
225 225 o4-mini-high 5 9 EM Recognition-Primed Prompt EM TRUE
226 226 o4-mini-high 5 10 EM Recognition-Primed Prompt NE FALSE
227 227 o4-mini-high 5 25 EM Recognition-Primed Prompt NE FALSE
228 228 o4-mini-high 5 29 EM Recognition-Primed Prompt SE FALSE
229 229 o4-mini-high 5 41 EM Recognition-Primed Prompt NE FALSE
230 230 o4-mini-high 5 42 EM Recognition-Primed Prompt EM TRUE
231 231 o4-mini-high 5 45 EM Recognition-Primed Prompt SE FALSE
232 232 o4-mini-high 6 9 EM Recognition-Primed Prompt EM TRUE
233 233 o4-mini-high 6 10 EM Recognition-Primed Prompt NE FALSE
234 234 o4-mini-high 6 25 EM Recognition-Primed Prompt NE FALSE
235 235 o4-mini-high 6 35 EM Recognition-Primed Prompt NE FALSE
236 236 o4-mini-high 6 41 EM Recognition-Primed Prompt NE FALSE
237 237 o4-mini-high 6 42 EM Recognition-Primed Prompt EM TRUE
238 238 o4-mini-high 7 9 EM Recognition-Primed Prompt EM TRUE
239 239 o4-mini-high 7 10 EM Recognition-Primed Prompt NE FALSE
240 240 o4-mini-high 7 25 EM Recognition-Primed Prompt NE FALSE
241 241 o4-mini-high 7 42 EM Recognition-Primed Prompt EM TRUE
242 242 o4-mini-high 7 45 EM Recognition-Primed Prompt SE FALSE
243 243 o4-mini-high 8 9 EM Recognition-Primed Prompt EM TRUE
244 244 o4-mini-high 8 10 EM Recognition-Primed Prompt NE FALSE
245 245 o4-mini-high 8 25 EM Recognition-Primed Prompt NE FALSE
246 246 o4-mini-high 8 41 EM Recognition-Primed Prompt NE FALSE
247 247 o4-mini-high 8 42 EM Recognition-Primed Prompt EM TRUE
248 248 o4-mini-high 8 45 EM Recognition-Primed Prompt SE FALSE
249 249 o4-mini-high 9 9 EM Recognition-Primed Prompt EM TRUE
250 250 o4-mini-high 9 10 EM Recognition-Primed Prompt NE FALSE
Double-click to expand
Sign in to edit this dataset. Sign in

Expand Analysis

Embed this dataset

Paste this code into your blog or website. Readers can search, sort, and paginate the data.

<iframe src="https://www.tablepage.ai/d/llm-medical-triage-accuracy-10-models-across-13500-clinical-vignettes?embed=1" width="100%" height="500" frameborder="0"></iframe>

Works on WordPress, Ghost, and any site that supports iframes.

Drop to create a new dataset CSV, TSV, or Excel
Uploading...