l4/pkg/libgomp/lib/contrib/gcc-4.7/libgomp/config/linux/bar.c

   1 /* Copyright (C) 2005, 2008, 2009, 2011 Free Software Foundation, Inc.
   2    Contributed by Richard Henderson <rth@redhat.com>.
   3
   4    This file is part of the GNU OpenMP Library (libgomp).
   5
   6    Libgomp is free software; you can redistribute it and/or modify it
   7    under the terms of the GNU General Public License as published by
   8    the Free Software Foundation; either version 3, or (at your option)
   9    any later version.
  10
  11    Libgomp is distributed in the hope that it will be useful, but WITHOUT ANY
  12    WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS
  13    FOR A PARTICULAR PURPOSE.  See the GNU General Public License for
  14    more details.
  15
  16    Under Section 7 of GPL version 3, you are granted additional
  17    permissions described in the GCC Runtime Library Exception, version
  18    3.1, as published by the Free Software Foundation.
  19
  20    You should have received a copy of the GNU General Public License and
  21    a copy of the GCC Runtime Library Exception along with this program;
  22    see the files COPYING3 and COPYING.RUNTIME respectively.  If not, see
  23    <http://www.gnu.org/licenses/>.  */
  24
  25 /* This is a Linux specific implementation of a barrier synchronization
  26    mechanism for libgomp.  This type is private to the library.  This
  27    implementation uses atomic instructions and the futex syscall.  */
  28
  29 #include <limits.h>
  30 #include "wait.h"
  31
  32
  33 void
  34 gomp_barrier_wait_end (gomp_barrier_t *bar, gomp_barrier_state_t state)
  35 {
  36   if (__builtin_expect ((state & 1) != 0, 0))
  37     {
  38       /* Next time we'll be awaiting TOTAL threads again.  */
  39       bar->awaited = bar->total;
  40       __atomic_store_n (&bar->generation, bar->generation + 4,
  41                         MEMMODEL_RELEASE);
  42       futex_wake ((int *) &bar->generation, INT_MAX);
  43     }
  44   else
  45     {
  46       do
  47         do_wait ((int *) &bar->generation, state);
  48       while (__atomic_load_n (&bar->generation, MEMMODEL_ACQUIRE) == state);
  49     }
  50 }
  51
  52 void
  53 gomp_barrier_wait (gomp_barrier_t *bar)
  54 {
  55   gomp_barrier_wait_end (bar, gomp_barrier_wait_start (bar));
  56 }
  57
  58 /* Like gomp_barrier_wait, except that if the encountering thread
  59    is not the last one to hit the barrier, it returns immediately.
  60    The intended usage is that a thread which intends to gomp_barrier_destroy
  61    this barrier calls gomp_barrier_wait, while all other threads
  62    call gomp_barrier_wait_last.  When gomp_barrier_wait returns,
  63    the barrier can be safely destroyed.  */
  64
  65 void
  66 gomp_barrier_wait_last (gomp_barrier_t *bar)
  67 {
  68   gomp_barrier_state_t state = gomp_barrier_wait_start (bar);
  69   if (state & 1)
  70     gomp_barrier_wait_end (bar, state);
  71 }
  72
  73 void
  74 gomp_team_barrier_wake (gomp_barrier_t *bar, int count)
  75 {
  76   futex_wake ((int *) &bar->generation, count == 0 ? INT_MAX : count);
  77 }
  78
  79 void
  80 gomp_team_barrier_wait_end (gomp_barrier_t *bar, gomp_barrier_state_t state)
  81 {
  82   unsigned int generation, gen;
  83
  84   if (__builtin_expect ((state & 1) != 0, 0))
  85     {
  86       /* Next time we'll be awaiting TOTAL threads again.  */
  87       struct gomp_thread *thr = gomp_thread ();
  88       struct gomp_team *team = thr->ts.team;
  89
  90       bar->awaited = bar->total;
  91       if (__builtin_expect (team->task_count, 0))
  92         {
  93           gomp_barrier_handle_tasks (state);
  94           state &= ~1;
  95         }
  96       else
  97         {
  98           __atomic_store_n (&bar->generation, state + 3, MEMMODEL_RELEASE);
  99           futex_wake ((int *) &bar->generation, INT_MAX);
 100           return;
 101         }
 102     }
 103
 104   generation = state;
 105   do
 106     {
 107       do_wait ((int *) &bar->generation, generation);
 108       gen = __atomic_load_n (&bar->generation, MEMMODEL_ACQUIRE);
 109       if (__builtin_expect (gen & 1, 0))
 110         {
 111           gomp_barrier_handle_tasks (state);
 112           gen = __atomic_load_n (&bar->generation, MEMMODEL_ACQUIRE);
 113         }
 114       if ((gen & 2) != 0)
 115         generation |= 2;
 116     }
 117   while (gen != state + 4);
 118 }
 119
 120 void
 121 gomp_team_barrier_wait (gomp_barrier_t *bar)
 122 {
 123   gomp_team_barrier_wait_end (bar, gomp_barrier_wait_start (bar));
 124 }