Если вы хотите говорить по-английски, вам необходимо уметь понимать, что вам отвечают. Иначе это будет очень короткий диалог.
Да и вообще, умение понимать устную речь никому никогда не мешало - количество прекрасных сериалов, фильмов, Youtube роликов, подкастов зашкаливает.
А, главное, если бы вы умели это все слушать в оригинале, вы постоянно увеличивали бы свой словарный запас и прокачивали все остальные навыки английского, да еще и без потери времени - вы же итак смотрите сериалы и слушаете подкасты.