TL;DR: Порядок полей в структурах Go влияет на их итоговый размер в памяти из-за механизма выравнивания. Группировка полей по их размеру (от большего к меньшему) позволяет минимизировать неиспользуемое пространство (padding) и сократить потребление памяти.
Для максимальной производительности процессору требуется, чтобы данные в памяти располагались по адресам, кратным их размеру. Этот механизм называется выравниванием (alignment). Чтобы его обеспечить, компилятор Go может добавлять между полями структуры неиспользуемые байты — заполнение (padding).
Неоптимальный порядок полей приводит к избыточному паддингу и "раздувает" структуру.