Past-paper topics

Pick a topic to jump straight to every past-year question that tests it. Each link opens the question, its scanned stem and a worked answer. Repeated questions are kept once per paper because the same template often returns in later terms.

241 routed paper occurrences (Week 1 73, Week 2 65, Week 3 36, Week 4 67). A question that tests two topics is listed under both. Topics that no paper asked about directly are still listed, marked no direct question, with a link to the study notes.

Week 1 — From Sequence Models to Transformer Encoders

Study notes · Exam-focused guide · All Week 1 questions

Topic	Where it was asked
Seq2seq and the RNN bottleneck (2)	2025T1 Q1 NA Q107 · 2026T1 Q2 NA Q9
Bahdanau (additive) attention (4)	2026T1 Q1 NA Q13 · 2026T1 Q1 NA Q14 · 2026T1 Q1 NA Q15 · 2026T2 Q1 NA Q2
Self-attention and Q/K/V projections (30)	2024T1 ET AN Q153 · 2024T1 ET AN Q154 · 2024T1 ET AN Q155 · 2024T1 ET AN Q156 · 2024T1 ET FN Q208 · 2024T1 ET FN Q209 · 2024T1 ET FN Q210 · 2024T1 ET FN Q211 · 2024T1 Q1 NA Q186 · 2024T1 Q1 NA Q187 · 2024T3 ET AN Q176 · 2024T3 ET AN Q184 · 2024T3 ET FN Q189 · 2024T3 ET FN Q199 · 2024T3 Q1 NA Q292 · 2025T2 ET AN Q199 · 2025T2 ET AN Q200 · 2025T2 ET FN Q146 · 2025T2 ET FN Q147 · 2025T3 ET AN Q17 · 2025T3 ET FN Q8 · 2025T3 ET FN Q18 · 2025T3 ET FN Q25 · 2026T1 ET AN Q10 · 2026T1 Q1 NA Q2 · 2026T1 Q2 NA Q14 · 2026T2 ET AN Q2 · 2026T2 ET AN Q18 · 2026T2 ET AN Q19 · 2026T2 Q1 NA Q4
Scaled dot-product attention and the sqrt(d_k) factor (14)	2025T2 ET AN Q199 · 2025T2 ET AN Q200 · 2025T2 ET FN Q146 · 2025T2 ET FN Q147 · 2025T2 Q1 NA Q136 · 2025T2 Q1 NA Q146 · 2025T2 Q1 NA Q147 · 2025T2 Q1 NA Q148 · 2025T3 ET AN Q17 · 2025T3 ET FN Q25 · 2025T3 Q1 NA Q173 · 2026T1 Q1 NA Q3 · 2026T1 Q1 NA Q10 · 2026T2 Q1 NA Q3
Multi-head attention and W^O (17)	2024T3 Q1 NA Q290 · 2025T1 Q1 NA Q112 · 2025T1 Q1 NA Q113 · 2025T2 ET AN Q199 · 2025T2 ET AN Q200 · 2025T2 ET FN Q146 · 2025T2 ET FN Q147 · 2025T2 Q1 NA Q147 · 2025T2 Q1 NA Q148 · 2025T2 Q1 NA Q149 · 2025T3 Q1 NA Q183 · 2025T3 Q1 NA Q186 · 2025T3 Q1 NA Q187 · 2025T3 Q1 NA Q191 · 2026T1 Q1 NA Q9 · 2026T1 Q2 NA Q2 · 2026T2 Q1 NA Q5
Position-wise FFN and the encoder layer/stack (8)	2025T2 Q1 NA Q135 · 2025T3 ET AN Q17 · 2025T3 ET FN Q25 · 2026T1 ET FN Q4 · 2026T1 Q1 NA Q4 · 2026T1 Q2 NA Q8 · 2026T2 ET FN Q4 · 2026T2 Q1 NA Q6
Parameter counting for the encoder (14)	2024T1 ET AN Q151 · 2024T1 ET AN Q152 · 2024T1 ET FN Q206 · 2024T1 ET FN Q207 · 2024T1 Q1 NA Q189 · 2025T1 Q1 NA Q112 · 2025T1 Q1 NA Q113 · 2025T3 ET AN Q20 · 2025T3 Q1 NA Q188 · 2025T3 Q2 NA Q110 · 2026T1 ET FN Q2 · 2026T1 ET FN Q3 · 2026T2 ET FN Q2 · 2026T2 ET FN Q3

Week 2 — Transformer Decoding, Position, Normalization, and Training

Study notes · Exam-focused guide · All Week 2 questions

Topic	Where it was asked
Teacher forcing (8)	2024T1 Q1 NA Q192 · 2024T3 ET FN Q190 · 2024T3 Q1 NA Q275 · 2025T1 Q1 NA Q105 · 2025T3 ET AN Q25 · 2025T3 Q1 NA Q175 · 2025T3 Q1 NA Q177 · 2026T2 Q1 NA Q9
Masked (causal) self-attention (15)	2024T1 ET AN Q157 · 2024T1 ET FN Q212 · 2024T1 Q1 NA Q196 · 2024T1 Q1 NA Q197 · 2024T3 ET AN Q191 · 2024T3 Q1 NA Q291 · 2025T2 ET AN Q193 · 2025T3 ET AN Q26 · 2025T3 Q1 NA Q176 · 2025T3 Q1 NA Q190 · 2025T3 Q2 NA Q113 · 2026T1 ET AN Q2 · 2026T2 Q1 NA Q7 · 2026T2 Q2 NA Q3 · 2026T2 Q2 NA Q5
Cross-attention (encoder-decoder attention) (5)	2024T1 Q1 NA Q190 · 2025T1 Q1 NA Q104 · 2025T3 Q2 NA Q128 · 2026T1 Q1 NA Q5 · 2026T1 Q1 NA Q11
Decoder output layer and decoder parameter counts (4)	2024T3 Q1 NA Q277 · 2024T3 Q1 NA Q278 · 2024T3 Q1 NA Q279 · 2024T3 Q1 NA Q280
Sinusoidal positional encoding (11)	2024T1 Q1 NA Q184 · 2024T1 Q1 NA Q185 · 2024T3 Q1 NA Q276 · 2024T3 Q1 NA Q293 · 2025T1 Q1 NA Q111 · 2025T2 Q1 NA Q144 · 2025T3 Q1 NA Q174 · 2026T1 ET AN Q14 · 2026T1 Q1 NA Q12 · 2026T2 ET AN Q3 · 2026T2 Q1 NA Q8
Residual connections, LayerNorm vs BatchNorm (21)	2024T3 Q1 NA Q276 · 2024T3 Q1 NA Q281 · 2024T3 Q1 NA Q282 · 2024T3 Q1 NA Q283 · 2024T3 Q1 NA Q284 · 2025T1 Q1 NA Q114 · 2025T1 Q1 NA Q115 · 2025T1 Q1 NA Q116 · 2025T1 Q1 NA Q117 · 2025T2 ET FN Q142 · 2025T2 Q1 NA Q139 · 2025T2 Q1 NA Q150 · 2025T2 Q1 NA Q151 · 2025T2 Q1 NA Q152 · 2025T3 ET AN Q3 · 2025T3 ET FN Q2 · 2025T3 Q1 NA Q179 · 2025T3 Q2 NA Q127 · 2026T1 Q2 NA Q12 · 2026T2 ET AN Q6 · 2026T2 Q2 NA Q2
Training tricks: label smoothing, warm-up schedule, dropout (1)	2025T2 ET FN Q142
The full Transformer data flow (4)	2024T3 ET AN Q191 · 2024T3 ET FN Q190 · 2025T3 Q1 NA Q184 · 2026T2 Q2 NA Q4

Week 3 — Language Modelling, GPT-1, and Transfer

Study notes · Exam-focused guide · All Week 3 questions

Topic	Where it was asked
Language-modelling objective, chain rule and perplexity (10)	2024T3 Q1 NA Q285 · 2024T3 Q1 NA Q286 · 2024T3 Q1 NA Q287 · 2025T1 Q1 NA Q118 · 2025T1 Q1 NA Q119 · 2025T1 Q1 NA Q120 · 2025T1 Q1 NA Q121 · 2026T2 Q1 NA Q10 · 2026T2 Q1 NA Q11 · 2026T2 Q1 NA Q12
Ways to parameterise a language model (no direct question)	No routed paper asked this topic directly. Study it in the Week 3 notes and the exam-focused guide.
Causal language modelling with a decoder-only stack (8)	2024T1 ET AN Q149 · 2024T1 ET FN Q202 · 2024T1 Q1 NA Q193 · 2025T2 Q1 NA Q140 · 2025T3 ET AN Q23 · 2025T3 ET FN Q23 · 2026T1 Q2 NA Q13 · 2026T2 Q1 NA Q13
GPT-1 architecture and pre-train/fine-tune paradigm (4)	2024T1 ET AN Q144 · 2024T3 ET AN Q193 · 2025T1 Q1 NA Q108 · 2025T2 Q1 NA Q141
GPT-1 parameter count (117M) (7)	2024T1 Q2 NA Q135 · 2024T3 Q1 NA Q289 · 2026T1 Q1 NA Q16 · 2026T1 Q1 NA Q17 · 2026T1 Q1 NA Q18 · 2026T1 Q1 NA Q19 · 2026T1 Q1 NA Q20
Pre-training objective and teacher forcing (5)	2024T1 Q1 NA Q194 · 2024T3 ET AN Q177 · 2024T3 ET FN Q194 · 2025T3 ET AN Q24 · 2025T3 Q1 NA Q189
Fine-tuning GPT and the fine-tuning loss (4)	2024T1 Q1 NA Q194 · 2024T3 ET FN Q194 · 2025T1 Q1 NA Q108 · 2026T2 Q2 NA Q9
Task-specific input transformations (1)	2026T2 Q2 NA Q8

Week 4 — Decoding Strategies and Bidirectional Language Representation

Study notes · Exam-focused guide · All Week 4 questions

Topic	Where it was asked
Exhaustive and greedy search (15)	2024T1 ET AN Q148 · 2024T1 ET AN Q150 · 2024T1 ET FN Q201 · 2024T1 ET FN Q203 · 2024T1 Q1 NA Q195 · 2024T3 ET AN Q178 · 2025T1 Q1 NA Q109 · 2025T1 Q1 NA Q110 · 2025T2 ET FN Q141 · 2025T2 Q1 NA Q153 · 2025T2 Q1 NA Q154 · 2025T3 Q1 NA Q178 · 2025T3 Q1 NA Q180 · 2026T2 Q1 NA Q14 · 2026T2 Q1 NA Q15
Beam search and length normalisation (13)	2024T1 ET AN Q150 · 2024T1 ET FN Q203 · 2024T1 Q1 NA Q195 · 2024T3 ET AN Q178 · 2025T1 Q1 NA Q110 · 2025T2 ET FN Q141 · 2025T3 Q1 NA Q181 · 2025T3 Q1 NA Q185 · 2025T3 Q2 NA Q115 · 2026T1 ET FN Q15 · 2026T2 ET AN Q4 · 2026T2 ET FN Q15 · 2026T2 Q1 NA Q17
Top-k sampling and temperature (22)	2024T1 ET AN Q150 · 2024T1 ET FN Q203 · 2024T1 Q1 NA Q195 · 2024T3 ET AN Q178 · 2024T3 ET FN Q196 · 2024T3 Q1 NA Q288 · 2025T1 Q1 NA Q106 · 2025T1 Q1 NA Q110 · 2025T2 ET FN Q141 · 2025T2 ET FN Q143 · 2025T2 ET FN Q145 · 2025T2 Q1 NA Q138 · 2025T2 Q1 NA Q143 · 2025T2 Q1 NA Q145 · 2025T2 Q1 NA Q155 · 2025T3 ET AN Q2 · 2025T3 ET FN Q3 · 2025T3 ET FN Q24 · 2026T1 ET AN Q11 · 2026T1 Q1 NA Q7 · 2026T1 Q2 NA Q17 · 2026T2 Q1 NA Q16
Top-p (nucleus) sampling and repetition issues (15)	2024T1 ET AN Q150 · 2024T1 ET FN Q203 · 2024T1 Q1 NA Q195 · 2025T1 Q1 NA Q110 · 2025T2 ET AN Q198 · 2025T2 ET FN Q141 · 2025T2 ET FN Q143 · 2025T2 Q1 NA Q143 · 2025T3 ET AN Q15 · 2025T3 ET FN Q4 · 2025T3 Q1 NA Q182 · 2026T1 ET AN Q8 · 2026T2 ET AN Q9 · 2026T2 ET AN Q10 · 2026T2 Q2 NA Q10
BERT masked language modelling (80/10/10) (3)	2025T2 Q1 NA Q137 · 2026T1 Q2 NA Q3 · 2026T1 Q2 NA Q4
NSP, [CLS]/[SEP] and the three input embeddings (6)	2024T1 Q1 NA Q198 · 2025T2 Q1 NA Q142 · 2026T1 ET FN Q6 · 2026T1 Q1 NA Q6 · 2026T2 ET AN Q5 · 2026T2 ET FN Q6
BERT sizes and parameter counts (2)	2024T1 ET FN Q198 · 2026T1 Q2 NA Q18
BERT fine-tuning heads and GPT vs BERT (11)	2025T2 Q1 NA Q137 · 2025T3 ET AN Q5 · 2025T3 ET AN Q6 · 2025T3 ET FN Q6 · 2026T1 ET FN Q12 · 2026T1 ET FN Q16 · 2026T1 ET FN Q17 · 2026T1 Q1 NA Q8 · 2026T2 ET FN Q12 · 2026T2 ET FN Q16 · 2026T2 ET FN Q17