Acabei de perceber que a palavra "rápido" é muito serial. Quando você pode fazer uma coisa de cada vez, a latência (quão rápido você é) determina a taxa de transferência. Mas com paralelismo, a taxa de transferência é dissociada da latência. Por exemplo, uma empresa que vende uísque de 12 anos tem alta latência, mas alta taxa de transferência que você pode fazer lotes infinitos por ano. E se você faz um lote todos os anos, depois de 12 anos você começa a vender muito todos os anos. E isso é chamado de pipelining.
960