romio321: invoke PMPI_Allreduce() without holding the global lock

Signed-off-by: Gilles Gouaillardet <[email protected]>

Author: ggouaillardet

ompi/mca/io/romio321/romio/adio/include/mpipr.h

@@ -10,14 +10,16 @@
 
 #ifndef USE_MPI_VERSIONS
 
+#include "mpi-io/glue/openmpi/mpio_wrappers.h"
+
 #undef MPI_Abort
 #define MPI_Abort PMPI_Abort
 #undef MPI_Allgather
 #define MPI_Allgather PMPI_Allgather
 #undef MPI_Allgatherv
 #define MPI_Allgatherv PMPI_Allgatherv
 #undef MPI_Allreduce
-#define MPI_Allreduce PMPI_Allreduce
+#define MPI_Allreduce MPIO_Allreduce
 #undef MPI_Alltoall
 #define MPI_Alltoall PMPI_Alltoall
 #undef MPI_Alltoallv

ompi/mca/io/romio321/romio/mpi-io/glue/openmpi/Makefile.mk

@@ -8,6 +8,10 @@
 if MPIO_GLUE_OPENMPI
 romio_other_sources +=              \
     mpi-io/glue/openmpi/mpio_file.c \
-    mpi-io/glue/openmpi/mpio_err.c
+    mpi-io/glue/openmpi/mpio_err.c \
+    mpi-io/glue/openmpi/mpio_wrappers.c
+
+noinst_HEADERS += mpi-io/glue/openmpi/mpio_wrappers.h
+
 endif MPIO_GLUE_OPENMPI
 

ompi/mca/io/romio321/romio/mpi-io/glue/openmpi/mpio_wrappers.c

@@ -0,0 +1,28 @@
+#include "mpi-io/mpioimpl.h"
+
+#include "mpi-io/glue/openmpi/mpio_wrappers.h"
+
+int MPIO_Allreduce(const void *sendbuf, void *recvbuf, int count,
+                   MPI_Datatype datatype, MPI_Op op, MPI_Comm comm)
+{
+    int res;
+    ROMIO_THREAD_CS_EXIT();
+    res = PMPI_Allreduce(sendbuf, recvbuf, count, datatype, op, comm);
+    ROMIO_THREAD_CS_ENTER();
+    return res;
+}
+/*
+                 U PMPI_Allgather
+                 U PMPI_Allreduce
+                 U PMPI_Alltoall
+                 U PMPI_Alltoallw
+                 U PMPI_Barrier
+                 U PMPI_Bcast
+                 U PMPI_Gather
+                 U PMPI_Gatherv
+                 U PMPI_Recv
+                 U PMPI_Send
+                 U PMPI_Wait
+                 U PMPI_Waitall
+                 U PMPI_Waitany
+*/

ompi/mca/io/romio321/romio/mpi-io/glue/openmpi/mpio_wrappers.h

@@ -0,0 +1,4 @@
+#include <mpi.h>
+
+int MPIO_Allreduce(const void *sendbuf, void *recvbuf, int count,
+                   MPI_Datatype datatype, MPI_Op op, MPI_Comm comm);