До 2017 года эту задачу лучше всего выполняли так называемые рекуррентные нейросети — они помнят ранее увиденное и потому могут учитывать контекст поступающей информации. Вообще, значение контекста не одинаково в разных задачах при машинном обучении. Например, для распознавания лиц контекст почти ничего не дает, и нейросети, которые эту задачу решают, обычно его не учитывают — и потому устроены иначе. Но, к примеру, для машинного перевода контекст имеет решающее значение, ведь именно от него во многом зависит смысл каждого конкретного слова в тексте. Поэтому, чтобы его правильно перевести, нейросеть должна учитывать, о чем говорилось ранее, уметь «заглядывать» в прошлое — причем чем дальше, тем лучше.