Для пассивного фильтра, кроме конденсаторов, используются катушки индуктивности. В грубом приближении посчитайте фильтр 2-го порядка для нагрузки 20 кОм, и попробуйте сделать для него катушку индуктивности.
И ещё один недостаток - хороший пассивный фильтр на выходе усилителя помогает этому самому усилителю справляться (контролировать) с динамиками.