האם בימי בין המצרים מותר ללכת לבריכה?

רצוי שלא!

לא,
גם לים אסור מן הסתם.

זה לא עניין של אסור זה עניין של אמונה.
מבחינת תקופת תשעת הימים חל איסור לקנות מוצרים חדשים, ללכת לים לבריכה, לאכול בשר ( כי בשר שווה עונג ביהדות ) ובעיקרון זו תקופת אבל לעם היהודי.
אם את מאמינה בתקופה הזו מומלץ לא ללכת לים או לבריכה.

בין המצרים היא תקופה של שלוש שבועות מי''ז בתמוז עד ט' באב, ומכאן בין המצרים כלומר בין שתי התעניות, ומי''ז בתמוז עד ראש חודש אב אין שום איסור ללכת לבריכה שום איסור (אם לא מדובר במקום שהוא קצת מסוכן שראוי להימנע גם בתקופה זו)
מנהג הספרדים להקפיד על כגון בריכה רק בשבוע שחל בו ט' באב, אבל מנהג האשכנזים להקפיד כבר מראש חודש אב

בטח שמותר
אלוהים זאת סתם המצאה של אנשים משועממים