Se llama formatear por que lo que hace es precisamente darle un formato a la manera en cómo son almacenados los archivos (Tabla Maestra de Archivos), los formatos más comunes son FAT32 y NTFS, para memorias es mejor FAT32 ya que soporta vacunas (evita contagio de virus automático) y es más común. El mismo Windows puede formatear tus memorias sin ningún problema (clic derecho sobre el icono de la pendrive, Formatear, Iniciar), lo que sí obviamente perderás los datos almacenados en la memoria, también al formatear y reinsertar los archivos eliminas la fragmentación de los mismos que hará que transifera datos más rápido.