Надо отметить, что первый пример с оптимизацией действительно не компилируется в лоб, но это не значит, что от аллокации в цикле нельзя избавиться. Именно, вот такой код с использованием bumpalo компилируется:

fn process_source(sources: Vec<Source>) {
    let b = bumpalo::Bump::new();
    for source in sources {
        let data = source.fetch_data();
        let mut buffer = bumpalo::collections::Vec::new_in(&b);
        buffer.extend(data.split(splitter);
        process_data(&buffer);
    }
}

В этом коде арена, которая в реализации и выделяет память, конструируется один раз за пределами цикла и позволяет переиспользовать память, но версия вектора из bumpalo создаётся заново на каждой итерации и потому может позволить себе иметь время жизни, сравнимое с временами жизни переменной итерации. Вызывать при этом явно .clear() за счёт RAII не требуется.