]> gcc.gnu.org Git - gcc.git/blobdiff - gcc/calls.c
[Patch 7/7] Remove *_BY_PIECES_P
[gcc.git] / gcc / calls.c
index 0cd8cc9dbcb9d2e26032461ac18c6137e70c85d5..861c6158c90e81ce2e262ed461fce4ea2a0dfeb3 100644 (file)
@@ -1,7 +1,5 @@
 /* Convert function calls to rtl insns, for GNU C compiler.
-   Copyright (C) 1989, 1992, 1993, 1994, 1995, 1996, 1997, 1998,
-   1999, 2000, 2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009, 2010,
-   2011 Free Software Foundation, Inc.
+   Copyright (C) 1989-2014 Free Software Foundation, Inc.
 
 This file is part of GCC.
 
@@ -25,12 +23,28 @@ along with GCC; see the file COPYING3.  If not see
 #include "tm.h"
 #include "rtl.h"
 #include "tree.h"
+#include "stor-layout.h"
+#include "varasm.h"
+#include "stringpool.h"
+#include "attribs.h"
+#include "predict.h"
+#include "vec.h"
+#include "hashtab.h"
+#include "hash-set.h"
+#include "machmode.h"
+#include "hard-reg-set.h"
+#include "input.h"
+#include "function.h"
+#include "basic-block.h"
+#include "tree-ssa-alias.h"
+#include "internal-fn.h"
+#include "gimple-expr.h"
+#include "is-a.h"
 #include "gimple.h"
 #include "flags.h"
 #include "expr.h"
 #include "optabs.h"
 #include "libfuncs.h"
-#include "function.h"
 #include "regs.h"
 #include "diagnostic-core.h"
 #include "output.h"
@@ -39,10 +53,13 @@ along with GCC; see the file COPYING3.  If not see
 #include "sbitmap.h"
 #include "langhooks.h"
 #include "target.h"
+#include "hash-map.h"
+#include "plugin-api.h"
+#include "ipa-ref.h"
 #include "cgraph.h"
 #include "except.h"
 #include "dbgcnt.h"
-#include "tree-flow.h"
+#include "rtl-iter.h"
 
 /* Like PREFERRED_STACK_BOUNDARY but in units of bytes, not bits.  */
 #define STACK_BYTES (PREFERRED_STACK_BOUNDARY / BITS_PER_UNIT)
@@ -54,7 +71,7 @@ struct arg_data
   /* Tree node for this argument.  */
   tree tree_value;
   /* Mode for value; TYPE_MODE unless promoted.  */
-  enum machine_mode mode;
+  machine_mode mode;
   /* Current RTL value for argument, or 0 if it isn't precomputed.  */
   rtx value;
   /* Initially-compute RTL value for argument; only for const functions.  */
@@ -144,10 +161,10 @@ static rtx rtx_for_function_call (tree, tree);
 static void load_register_parameters (struct arg_data *, int, rtx *, int,
                                      int, int *);
 static rtx emit_library_call_value_1 (int, rtx, rtx, enum libcall_type,
-                                     enum machine_mode, int, va_list);
+                                     machine_mode, int, va_list);
 static int special_function_p (const_tree, int);
 static int check_sibcall_argument_overlap_1 (rtx);
-static int check_sibcall_argument_overlap (rtx, struct arg_data *, int);
+static int check_sibcall_argument_overlap (rtx_insn *, struct arg_data *, int);
 
 static int combine_pending_stack_adjustment_and_call (int, struct args_size *,
                                                      unsigned int);
@@ -255,7 +272,8 @@ emit_call_1 (rtx funexp, tree fntree ATTRIBUTE_UNUSED, tree fndecl ATTRIBUTE_UNU
             cumulative_args_t args_so_far ATTRIBUTE_UNUSED)
 {
   rtx rounded_stack_size_rtx = GEN_INT (rounded_stack_size);
-  rtx call_insn, call, funmem;
+  rtx_insn *call_insn;
+  rtx call, funmem;
   int already_popped = 0;
   HOST_WIDE_INT n_popped
     = targetm.calls.return_pops_args (fndecl, funtype, stack_size);
@@ -274,6 +292,7 @@ emit_call_1 (rtx funexp, tree fntree ATTRIBUTE_UNUSED, tree fndecl ATTRIBUTE_UNU
   if (fndecl && TREE_CODE (fndecl) == FUNCTION_DECL)
     {
       tree t = fndecl;
+
       /* Although a built-in FUNCTION_DECL and its non-__builtin
         counterpart compare equal and get a shared mem_attrs, they
         produce different dump output in compare-debug compilations,
@@ -281,10 +300,14 @@ emit_call_1 (rtx funexp, tree fntree ATTRIBUTE_UNUSED, tree fndecl ATTRIBUTE_UNU
         adds a different (but equivalent) entry, while the other
         doesn't run the garbage collector at the same spot and then
         shares the mem_attr with the equivalent entry. */
-      if (DECL_BUILT_IN_CLASS (t) == BUILT_IN_NORMAL
-         && built_in_decls[DECL_FUNCTION_CODE (t)])
-       t = built_in_decls[DECL_FUNCTION_CODE (t)];
-      set_mem_expr (funmem, t);
+      if (DECL_BUILT_IN_CLASS (t) == BUILT_IN_NORMAL)
+       {
+         tree t2 = builtin_decl_explicit (DECL_FUNCTION_CODE (t));
+         if (t2)
+           t = t2;
+       }
+
+       set_mem_expr (funmem, t);
     }
   else if (fntree)
     set_mem_expr (funmem, build_simple_mem_ref (CALL_EXPR_FN (fntree)));
@@ -379,13 +402,8 @@ emit_call_1 (rtx funexp, tree fntree ATTRIBUTE_UNUSED, tree fndecl ATTRIBUTE_UNU
 
   /* Some target create a fresh MEM instead of reusing the one provided
      above.  Set its MEM_EXPR.  */
-  call = PATTERN (call_insn);
-  if (GET_CODE (call) == PARALLEL)
-    call = XVECEXP (call, 0, 0);
-  if (GET_CODE (call) == SET)
-    call = SET_SRC (call);
-  if (GET_CODE (call) == CALL
-      && MEM_P (XEXP (call, 0))
+  call = get_call_rtx_from (call_insn);
+  if (call
       && MEM_EXPR (XEXP (call, 0)) == NULL_TREE
       && MEM_EXPR (funmem) != NULL_TREE)
     set_mem_expr (XEXP (call, 0), MEM_EXPR (funmem));
@@ -434,10 +452,17 @@ emit_call_1 (rtx funexp, tree fntree ATTRIBUTE_UNUSED, tree fndecl ATTRIBUTE_UNU
       rounded_stack_size_rtx = GEN_INT (rounded_stack_size);
       stack_pointer_delta -= n_popped;
 
+      add_reg_note (call_insn, REG_ARGS_SIZE, GEN_INT (stack_pointer_delta));
+
       /* If popup is needed, stack realign must use DRAP  */
       if (SUPPORTS_STACK_ALIGNMENT)
         crtl->need_drap = true;
     }
+  /* For noreturn calls when not accumulating outgoing args force
+     REG_ARGS_SIZE note to prevent crossjumping of calls with different
+     args sizes.  */
+  else if (!ACCUMULATE_OUTGOING_ARGS && (ecf_flags & ECF_NORETURN) != 0)
+    add_reg_note (call_insn, REG_ARGS_SIZE, GEN_INT (stack_pointer_delta));
 
   if (!ACCUMULATE_OUTGOING_ARGS)
     {
@@ -540,7 +565,7 @@ special_function_p (const_tree fndecl, int flags)
                  && ! strcmp (tname, "sigsetjmp"))
              || (tname[1] == 'a'
                  && ! strcmp (tname, "savectx")))
-           flags |= ECF_RETURNS_TWICE;
+           flags |= ECF_RETURNS_TWICE | ECF_LEAF;
 
          if (tname[1] == 'i'
              && ! strcmp (tname, "siglongjmp"))
@@ -552,7 +577,7 @@ special_function_p (const_tree fndecl, int flags)
                   && ! strcmp (tname, "vfork"))
               || (tname[0] == 'g' && tname[1] == 'e'
                   && !strcmp (tname, "getcontext")))
-       flags |= ECF_RETURNS_TWICE;
+       flags |= ECF_RETURNS_TWICE | ECF_LEAF;
 
       else if (tname[0] == 'l' && tname[1] == 'o'
               && ! strcmp (tname, "longjmp"))
@@ -562,6 +587,41 @@ special_function_p (const_tree fndecl, int flags)
   return flags;
 }
 
+/* Similar to special_function_p; return a set of ERF_ flags for the
+   function FNDECL.  */
+static int
+decl_return_flags (tree fndecl)
+{
+  tree attr;
+  tree type = TREE_TYPE (fndecl);
+  if (!type)
+    return 0;
+
+  attr = lookup_attribute ("fn spec", TYPE_ATTRIBUTES (type));
+  if (!attr)
+    return 0;
+
+  attr = TREE_VALUE (TREE_VALUE (attr));
+  if (!attr || TREE_STRING_LENGTH (attr) < 1)
+    return 0;
+
+  switch (TREE_STRING_POINTER (attr)[0])
+    {
+    case '1':
+    case '2':
+    case '3':
+    case '4':
+      return ERF_RETURNS_ARG | (TREE_STRING_POINTER (attr)[0] - '1');
+
+    case 'm':
+      return ERF_NOALIAS;
+
+    case '.':
+    default:
+      return 0;
+    }
+}
+
 /* Return nonzero when FNDECL represents a call to setjmp.  */
 
 int
@@ -595,12 +655,74 @@ gimple_alloca_call_p (const_gimple stmt)
 bool
 alloca_call_p (const_tree exp)
 {
+  tree fndecl;
   if (TREE_CODE (exp) == CALL_EXPR
-      && TREE_CODE (CALL_EXPR_FN (exp)) == ADDR_EXPR
-      && (TREE_CODE (TREE_OPERAND (CALL_EXPR_FN (exp), 0)) == FUNCTION_DECL)
-      && (special_function_p (TREE_OPERAND (CALL_EXPR_FN (exp), 0), 0)
-         & ECF_MAY_BE_ALLOCA))
+      && (fndecl = get_callee_fndecl (exp))
+      && (special_function_p (fndecl, 0) & ECF_MAY_BE_ALLOCA))
+    return true;
+  return false;
+}
+
+/* Return TRUE if FNDECL is either a TM builtin or a TM cloned
+   function.  Return FALSE otherwise.  */
+
+static bool
+is_tm_builtin (const_tree fndecl)
+{
+  if (fndecl == NULL)
+    return false;
+
+  if (decl_is_tm_clone (fndecl))
     return true;
+
+  if (DECL_BUILT_IN_CLASS (fndecl) == BUILT_IN_NORMAL)
+    {
+      switch (DECL_FUNCTION_CODE (fndecl))
+       {
+       case BUILT_IN_TM_COMMIT:
+       case BUILT_IN_TM_COMMIT_EH:
+       case BUILT_IN_TM_ABORT:
+       case BUILT_IN_TM_IRREVOCABLE:
+       case BUILT_IN_TM_GETTMCLONE_IRR:
+       case BUILT_IN_TM_MEMCPY:
+       case BUILT_IN_TM_MEMMOVE:
+       case BUILT_IN_TM_MEMSET:
+       CASE_BUILT_IN_TM_STORE (1):
+       CASE_BUILT_IN_TM_STORE (2):
+       CASE_BUILT_IN_TM_STORE (4):
+       CASE_BUILT_IN_TM_STORE (8):
+       CASE_BUILT_IN_TM_STORE (FLOAT):
+       CASE_BUILT_IN_TM_STORE (DOUBLE):
+       CASE_BUILT_IN_TM_STORE (LDOUBLE):
+       CASE_BUILT_IN_TM_STORE (M64):
+       CASE_BUILT_IN_TM_STORE (M128):
+       CASE_BUILT_IN_TM_STORE (M256):
+       CASE_BUILT_IN_TM_LOAD (1):
+       CASE_BUILT_IN_TM_LOAD (2):
+       CASE_BUILT_IN_TM_LOAD (4):
+       CASE_BUILT_IN_TM_LOAD (8):
+       CASE_BUILT_IN_TM_LOAD (FLOAT):
+       CASE_BUILT_IN_TM_LOAD (DOUBLE):
+       CASE_BUILT_IN_TM_LOAD (LDOUBLE):
+       CASE_BUILT_IN_TM_LOAD (M64):
+       CASE_BUILT_IN_TM_LOAD (M128):
+       CASE_BUILT_IN_TM_LOAD (M256):
+       case BUILT_IN_TM_LOG:
+       case BUILT_IN_TM_LOG_1:
+       case BUILT_IN_TM_LOG_2:
+       case BUILT_IN_TM_LOG_4:
+       case BUILT_IN_TM_LOG_8:
+       case BUILT_IN_TM_LOG_FLOAT:
+       case BUILT_IN_TM_LOG_DOUBLE:
+       case BUILT_IN_TM_LOG_LDOUBLE:
+       case BUILT_IN_TM_LOG_M64:
+       case BUILT_IN_TM_LOG_M128:
+       case BUILT_IN_TM_LOG_M256:
+         return true;
+       default:
+         break;
+       }
+    }
   return false;
 }
 
@@ -637,10 +759,30 @@ flags_from_decl_or_type (const_tree exp)
       if (TREE_NOTHROW (exp))
        flags |= ECF_NOTHROW;
 
+      if (flag_tm)
+       {
+         if (is_tm_builtin (exp))
+           flags |= ECF_TM_BUILTIN;
+         else if ((flags & (ECF_CONST|ECF_NOVOPS)) != 0
+                  || lookup_attribute ("transaction_pure",
+                                       TYPE_ATTRIBUTES (TREE_TYPE (exp))))
+           flags |= ECF_TM_PURE;
+       }
+
       flags = special_function_p (exp, flags);
     }
-  else if (TYPE_P (exp) && TYPE_READONLY (exp))
-    flags |= ECF_CONST;
+  else if (TYPE_P (exp))
+    {
+      if (TYPE_READONLY (exp))
+       flags |= ECF_CONST;
+
+      if (flag_tm
+         && ((flags & ECF_CONST) != 0
+             || lookup_attribute ("transaction_pure", TYPE_ATTRIBUTES (exp))))
+       flags |= ECF_TM_PURE;
+    }
+  else
+    gcc_unreachable ();
 
   if (TREE_THIS_VOLATILE (exp))
     {
@@ -740,7 +882,7 @@ precompute_register_parameters (int num_actuals, struct arg_data *args,
                     || (GET_CODE (args[i].value) == SUBREG
                         && REG_P (SUBREG_REG (args[i].value)))))
                 && args[i].mode != BLKmode
-                && rtx_cost (args[i].value, SET, optimize_insn_for_speed_p ())
+                && set_src_cost (args[i].value, optimize_insn_for_speed_p ())
                    > COSTS_N_INSNS (1)
                 && ((*reg_parm_seen
                      && targetm.small_register_classes_for_mode_p (args[i].mode))
@@ -773,8 +915,9 @@ save_fixed_argument_area (int reg_parm_stack_space, rtx argblock, int *low_to_sa
     if (stack_usage_map[low] != 0)
       {
        int num_to_save;
-       enum machine_mode save_mode;
+       machine_mode save_mode;
        int delta;
+       rtx addr;
        rtx stack_area;
        rtx save_area;
 
@@ -798,15 +941,13 @@ save_fixed_argument_area (int reg_parm_stack_space, rtx argblock, int *low_to_sa
 #else
        delta = low;
 #endif
-       stack_area = gen_rtx_MEM (save_mode,
-                                 memory_address (save_mode,
-                                                 plus_constant (argblock,
-                                                                delta)));
+       addr = plus_constant (Pmode, argblock, delta);
+       stack_area = gen_rtx_MEM (save_mode, memory_address (save_mode, addr));
 
        set_mem_align (stack_area, PARM_BOUNDARY);
        if (save_mode == BLKmode)
          {
-           save_area = assign_stack_temp (BLKmode, num_to_save, 0);
+           save_area = assign_stack_temp (BLKmode, num_to_save);
            emit_block_move (validize_mem (save_area), stack_area,
                             GEN_INT (num_to_save), BLOCK_OP_CALL_PARM);
          }
@@ -825,18 +966,17 @@ save_fixed_argument_area (int reg_parm_stack_space, rtx argblock, int *low_to_sa
 static void
 restore_fixed_argument_area (rtx save_area, rtx argblock, int high_to_save, int low_to_save)
 {
-  enum machine_mode save_mode = GET_MODE (save_area);
+  machine_mode save_mode = GET_MODE (save_area);
   int delta;
-  rtx stack_area;
+  rtx addr, stack_area;
 
 #ifdef ARGS_GROW_DOWNWARD
   delta = -high_to_save;
 #else
   delta = low_to_save;
 #endif
-  stack_area = gen_rtx_MEM (save_mode,
-                           memory_address (save_mode,
-                                           plus_constant (argblock, delta)));
+  addr = plus_constant (Pmode, argblock, delta);
+  stack_area = gen_rtx_MEM (save_mode, memory_address (save_mode, addr));
   set_mem_align (stack_area, PARM_BOUNDARY);
 
   if (save_mode != BLKmode)
@@ -864,6 +1004,7 @@ store_unaligned_arguments_into_pseudos (struct arg_data *args, int num_actuals)
 
   for (i = 0; i < num_actuals; i++)
     if (args[i].reg != 0 && ! args[i].pass_on_stack
+       && GET_CODE (args[i].reg) != PARALLEL
        && args[i].mode == BLKmode
        && MEM_P (args[i].value)
        && (MEM_ALIGN (args[i].value)
@@ -907,7 +1048,7 @@ store_unaligned_arguments_into_pseudos (struct arg_data *args, int num_actuals)
            int bitsize = MIN (bytes * BITS_PER_UNIT, BITS_PER_WORD);
 
            args[i].aligned_regs[j] = reg;
-           word = extract_bit_field (word, bitsize, 0, 1, false, NULL_RTX,
+           word = extract_bit_field (word, bitsize, 0, 1, NULL_RTX,
                                      word_mode, word_mode);
 
            /* There is no need to restrict this code to loading items
@@ -924,8 +1065,8 @@ store_unaligned_arguments_into_pseudos (struct arg_data *args, int num_actuals)
            emit_move_insn (reg, const0_rtx);
 
            bytes -= bitsize / BITS_PER_UNIT;
-           store_bit_field (reg, bitsize, endian_correction, word_mode,
-                            word);
+           store_bit_field (reg, bitsize, endian_correction, 0, 0,
+                            word_mode, word);
          }
       }
 }
@@ -975,8 +1116,6 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
 {
   CUMULATIVE_ARGS *args_so_far_pnt = get_cumulative_args (args_so_far);
   location_t loc = EXPR_LOCATION (exp);
-  /* 1 if scanning parms front to back, -1 if scanning back to front.  */
-  int inc;
 
   /* Count arg position in order args appear.  */
   int argpos;
@@ -987,22 +1126,9 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
   args_size->var = 0;
 
   /* In this loop, we consider args in the order they are written.
-     We fill up ARGS from the front or from the back if necessary
-     so that in any case the first arg to be pushed ends up at the front.  */
+     We fill up ARGS from the back.  */
 
-  if (PUSH_ARGS_REVERSED)
-    {
-      i = num_actuals - 1, inc = -1;
-      /* In this case, must reverse order of args
-        so that we compute and push the last arg first.  */
-    }
-  else
-    {
-      i = 0, inc = 1;
-    }
-
-  /* First fill in the actual arguments in the ARGS array, splitting
-     complex arguments if necessary.  */
+  i = num_actuals - 1;
   {
     int j = i;
     call_expr_arg_iterator iter;
@@ -1011,7 +1137,7 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
     if (struct_value_addr_value)
       {
        args[j].tree_value = struct_value_addr_value;
-       j += inc;
+       j--;
       }
     FOR_EACH_CALL_EXPR_ARG (arg, iter, exp)
       {
@@ -1023,21 +1149,21 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
          {
            tree subtype = TREE_TYPE (argtype);
            args[j].tree_value = build1 (REALPART_EXPR, subtype, arg);
-           j += inc;
+           j--;
            args[j].tree_value = build1 (IMAGPART_EXPR, subtype, arg);
          }
        else
          args[j].tree_value = arg;
-       j += inc;
+       j--;
       }
   }
 
   /* I counts args in order (to be) pushed; ARGPOS counts in order written.  */
-  for (argpos = 0; argpos < num_actuals; i += inc, argpos++)
+  for (argpos = 0; argpos < num_actuals; i--, argpos++)
     {
       tree type = TREE_TYPE (args[i].tree_value);
       int unsignedp;
-      enum machine_mode mode;
+      machine_mode mode;
 
       /* Replace erroneous argument with constant zero.  */
       if (type == error_mark_node || !COMPLETE_TYPE_P (type))
@@ -1069,7 +1195,7 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
                             type, argpos < n_named_args))
        {
          bool callee_copies;
-         tree base;
+         tree base = NULL_TREE;
 
          callee_copies
            = reference_callee_copied (args_so_far_pnt, TYPE_MODE (type),
@@ -1132,7 +1258,7 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
                  set_mem_attributes (copy, type, 1);
                }
              else
-               copy = assign_temp (type, 0, 1, 0);
+               copy = assign_temp (type, 1, 0);
 
              store_expr (args[i].tree_value, copy, 0, false);
 
@@ -1208,6 +1334,7 @@ initialize_argument_information (int num_actuals ATTRIBUTE_UNUSED,
 #else
                             args[i].reg != 0,
 #endif
+                            reg_parm_stack_space,
                             args[i].pass_on_stack ? 0 : args[i].partial,
                             fndecl, args_size, &args[i].locate);
 #ifdef BLOCK_REG_PADDING
@@ -1339,7 +1466,7 @@ precompute_arguments (int num_actuals, struct arg_data *args)
   for (i = 0; i < num_actuals; i++)
     {
       tree type;
-      enum machine_mode mode;
+      machine_mode mode;
 
       if (TREE_CODE (args[i].tree_value) != CALL_EXPR)
        continue;
@@ -1369,8 +1496,7 @@ precompute_arguments (int num_actuals, struct arg_data *args)
              args[i].initial_value
                = gen_lowpart_SUBREG (mode, args[i].value);
              SUBREG_PROMOTED_VAR_P (args[i].initial_value) = 1;
-             SUBREG_PROMOTED_UNSIGNED_SET (args[i].initial_value,
-                                           args[i].unsignedp);
+             SUBREG_PROMOTED_SET (args[i].initial_value, args[i].unsignedp);
            }
        }
     }
@@ -1458,7 +1584,7 @@ compute_argument_addresses (struct arg_data *args, rtx argblock, int num_actuals
          rtx addr;
          unsigned int align, boundary;
          unsigned int units_on_stack = 0;
-         enum machine_mode partial_mode = VOIDmode;
+         machine_mode partial_mode = VOIDmode;
 
          /* Skip this parm if it will not be passed on the stack.  */
          if (! args[i].pass_on_stack
@@ -1467,11 +1593,11 @@ compute_argument_addresses (struct arg_data *args, rtx argblock, int num_actuals
            continue;
 
          if (CONST_INT_P (offset))
-           addr = plus_constant (arg_reg, INTVAL (offset));
+           addr = plus_constant (Pmode, arg_reg, INTVAL (offset));
          else
            addr = gen_rtx_PLUS (Pmode, arg_reg, offset);
 
-         addr = plus_constant (addr, arg_offset);
+         addr = plus_constant (Pmode, addr, arg_offset);
 
          if (args[i].partial != 0)
            {
@@ -1481,7 +1607,7 @@ compute_argument_addresses (struct arg_data *args, rtx argblock, int num_actuals
              partial_mode = mode_for_size (units_on_stack * BITS_PER_UNIT,
                                            MODE_INT, 1);
              args[i].stack = gen_rtx_MEM (partial_mode, addr);
-             set_mem_size (args[i].stack, GEN_INT (units_on_stack));
+             set_mem_size (args[i].stack, units_on_stack);
            }
          else
            {
@@ -1501,11 +1627,11 @@ compute_argument_addresses (struct arg_data *args, rtx argblock, int num_actuals
          set_mem_align (args[i].stack, align);
 
          if (CONST_INT_P (slot_offset))
-           addr = plus_constant (arg_reg, INTVAL (slot_offset));
+           addr = plus_constant (Pmode, arg_reg, INTVAL (slot_offset));
          else
            addr = gen_rtx_PLUS (Pmode, arg_reg, slot_offset);
 
-         addr = plus_constant (addr, arg_offset);
+         addr = plus_constant (Pmode, addr, arg_offset);
 
          if (args[i].partial != 0)
            {
@@ -1513,7 +1639,7 @@ compute_argument_addresses (struct arg_data *args, rtx argblock, int num_actuals
                 Generate a simple memory reference of the correct size.
               */
              args[i].stack_slot = gen_rtx_MEM (partial_mode, addr);
-             set_mem_size (args[i].stack_slot, GEN_INT (units_on_stack));
+             set_mem_size (args[i].stack_slot, units_on_stack);
            }
          else
            {
@@ -1549,13 +1675,8 @@ rtx_for_function_call (tree fndecl, tree addr)
   /* Get the function to call, in the form of RTL.  */
   if (fndecl)
     {
-      /* If this is the first use of the function, see if we need to
-        make an external definition for it.  */
       if (!TREE_USED (fndecl) && fndecl != current_function_decl)
-       {
-         assemble_external (fndecl);
-         TREE_USED (fndecl) = 1;
-       }
+       TREE_USED (fndecl) = 1;
 
       /* Get a SYMBOL_REF rtx for the function address.  */
       funexp = XEXP (DECL_RTL (fndecl), 0);
@@ -1570,6 +1691,120 @@ rtx_for_function_call (tree fndecl, tree addr)
   return funexp;
 }
 
+/* Internal state for internal_arg_pointer_based_exp and its helpers.  */
+static struct
+{
+  /* Last insn that has been scanned by internal_arg_pointer_based_exp_scan,
+     or NULL_RTX if none has been scanned yet.  */
+  rtx_insn *scan_start;
+  /* Vector indexed by REGNO - FIRST_PSEUDO_REGISTER, recording if a pseudo is
+     based on crtl->args.internal_arg_pointer.  The element is NULL_RTX if the
+     pseudo isn't based on it, a CONST_INT offset if the pseudo is based on it
+     with fixed offset, or PC if this is with variable or unknown offset.  */
+  vec<rtx> cache;
+} internal_arg_pointer_exp_state;
+
+static rtx internal_arg_pointer_based_exp (const_rtx, bool);
+
+/* Helper function for internal_arg_pointer_based_exp.  Scan insns in
+   the tail call sequence, starting with first insn that hasn't been
+   scanned yet, and note for each pseudo on the LHS whether it is based
+   on crtl->args.internal_arg_pointer or not, and what offset from that
+   that pointer it has.  */
+
+static void
+internal_arg_pointer_based_exp_scan (void)
+{
+  rtx_insn *insn, *scan_start = internal_arg_pointer_exp_state.scan_start;
+
+  if (scan_start == NULL_RTX)
+    insn = get_insns ();
+  else
+    insn = NEXT_INSN (scan_start);
+
+  while (insn)
+    {
+      rtx set = single_set (insn);
+      if (set && REG_P (SET_DEST (set)) && !HARD_REGISTER_P (SET_DEST (set)))
+       {
+         rtx val = NULL_RTX;
+         unsigned int idx = REGNO (SET_DEST (set)) - FIRST_PSEUDO_REGISTER;
+         /* Punt on pseudos set multiple times.  */
+         if (idx < internal_arg_pointer_exp_state.cache.length ()
+             && (internal_arg_pointer_exp_state.cache[idx]
+                 != NULL_RTX))
+           val = pc_rtx;
+         else
+           val = internal_arg_pointer_based_exp (SET_SRC (set), false);
+         if (val != NULL_RTX)
+           {
+             if (idx >= internal_arg_pointer_exp_state.cache.length ())
+               internal_arg_pointer_exp_state.cache
+                 .safe_grow_cleared (idx + 1);
+             internal_arg_pointer_exp_state.cache[idx] = val;
+           }
+       }
+      if (NEXT_INSN (insn) == NULL_RTX)
+       scan_start = insn;
+      insn = NEXT_INSN (insn);
+    }
+
+  internal_arg_pointer_exp_state.scan_start = scan_start;
+}
+
+/* Compute whether RTL is based on crtl->args.internal_arg_pointer.  Return
+   NULL_RTX if RTL isn't based on it, a CONST_INT offset if RTL is based on
+   it with fixed offset, or PC if this is with variable or unknown offset.
+   TOPLEVEL is true if the function is invoked at the topmost level.  */
+
+static rtx
+internal_arg_pointer_based_exp (const_rtx rtl, bool toplevel)
+{
+  if (CONSTANT_P (rtl))
+    return NULL_RTX;
+
+  if (rtl == crtl->args.internal_arg_pointer)
+    return const0_rtx;
+
+  if (REG_P (rtl) && HARD_REGISTER_P (rtl))
+    return NULL_RTX;
+
+  if (GET_CODE (rtl) == PLUS && CONST_INT_P (XEXP (rtl, 1)))
+    {
+      rtx val = internal_arg_pointer_based_exp (XEXP (rtl, 0), toplevel);
+      if (val == NULL_RTX || val == pc_rtx)
+       return val;
+      return plus_constant (Pmode, val, INTVAL (XEXP (rtl, 1)));
+    }
+
+  /* When called at the topmost level, scan pseudo assignments in between the
+     last scanned instruction in the tail call sequence and the latest insn
+     in that sequence.  */
+  if (toplevel)
+    internal_arg_pointer_based_exp_scan ();
+
+  if (REG_P (rtl))
+    {
+      unsigned int idx = REGNO (rtl) - FIRST_PSEUDO_REGISTER;
+      if (idx < internal_arg_pointer_exp_state.cache.length ())
+       return internal_arg_pointer_exp_state.cache[idx];
+
+      return NULL_RTX;
+    }
+
+  subrtx_iterator::array_type array;
+  FOR_EACH_SUBRTX (iter, array, rtl, NONCONST)
+    {
+      const_rtx x = *iter;
+      if (REG_P (x) && internal_arg_pointer_based_exp (x, false) != NULL_RTX)
+       return pc_rtx;
+      if (MEM_P (x))
+       iter.skip_subrtxes ();
+    }
+
+  return NULL_RTX;
+}
+
 /* Return true if and only if SIZE storage units (usually bytes)
    starting from address ADDR overlap with already clobbered argument
    area.  This function is used to determine if we should give up a
@@ -1579,24 +1814,22 @@ static bool
 mem_overlaps_already_clobbered_arg_p (rtx addr, unsigned HOST_WIDE_INT size)
 {
   HOST_WIDE_INT i;
+  rtx val;
 
-  if (addr == crtl->args.internal_arg_pointer)
-    i = 0;
-  else if (GET_CODE (addr) == PLUS
-          && XEXP (addr, 0) == crtl->args.internal_arg_pointer
-          && CONST_INT_P (XEXP (addr, 1)))
-    i = INTVAL (XEXP (addr, 1));
-  /* Return true for arg pointer based indexed addressing.  */
-  else if (GET_CODE (addr) == PLUS
-          && (XEXP (addr, 0) == crtl->args.internal_arg_pointer
-              || XEXP (addr, 1) == crtl->args.internal_arg_pointer))
-    return true;
-  /* If the address comes in a register, we have no idea of its origin so
-     give up and conservatively return true.  */
-  else if (REG_P(addr))
+  if (bitmap_empty_p (stored_args_map))
+    return false;
+  val = internal_arg_pointer_based_exp (addr, true);
+  if (val == NULL_RTX)
+    return false;
+  else if (val == pc_rtx)
     return true;
   else
-    return false;
+    i = INTVAL (val);
+#ifdef STACK_GROWS_DOWNWARD
+  i -= crtl->args.pretend_args_size;
+#else
+  i += crtl->args.pretend_args_size;
+#endif
 
 #ifdef ARGS_GROW_DOWNWARD
   i = -i - size;
@@ -1606,8 +1839,8 @@ mem_overlaps_already_clobbered_arg_p (rtx addr, unsigned HOST_WIDE_INT size)
       unsigned HOST_WIDE_INT k;
 
       for (k = 0; k < size; k++)
-       if (i + k < stored_args_map->n_bits
-           && TEST_BIT (stored_args_map, i + k))
+       if (i + k < SBITMAP_SIZE (stored_args_map)
+           && bitmap_bit_p (stored_args_map, i + k))
          return true;
     }
 
@@ -1640,7 +1873,7 @@ load_register_parameters (struct arg_data *args, int num_actuals,
          int partial = args[i].partial;
          int nregs;
          int size = 0;
-         rtx before_arg = get_last_insn ();
+         rtx_insn *before_arg = get_last_insn ();
          /* Set non-negative if we must move a word at a time, even if
             just one word (e.g, partial == 4 && mode == DFmode).  Set
             to -1 if we just use a normal move insn.  This value can be
@@ -1707,7 +1940,7 @@ load_register_parameters (struct arg_data *args, int num_actuals,
 
          else if (partial == 0 || args[i].pass_on_stack)
            {
-             rtx mem = validize_mem (args[i].value);
+             rtx mem = validize_mem (copy_rtx (args[i].value));
 
              /* Check for overlap with already clobbered argument area,
                 providing that this has non-zero size.  */
@@ -1754,7 +1987,8 @@ load_register_parameters (struct arg_data *args, int num_actuals,
          if (GET_CODE (reg) == PARALLEL)
            use_group_regs (call_fusage, reg);
          else if (nregs == -1)
-           use_reg (call_fusage, reg);
+           use_reg_mode (call_fusage, reg,
+                         TYPE_MODE (TREE_TYPE (args[i].tree_value)));
          else if (nregs > 0)
            use_regs (call_fusage, REGNO (reg), nregs);
        }
@@ -1870,7 +2104,8 @@ check_sibcall_argument_overlap_1 (rtx x)
    slots, zero otherwise.  */
 
 static int
-check_sibcall_argument_overlap (rtx insn, struct arg_data *arg, int mark_stored_args_map)
+check_sibcall_argument_overlap (rtx_insn *insn, struct arg_data *arg,
+                               int mark_stored_args_map)
 {
   int low, high;
 
@@ -1893,7 +2128,7 @@ check_sibcall_argument_overlap (rtx insn, struct arg_data *arg, int mark_stored_
 #endif
 
       for (high = low + arg->locate.size.constant; low < high; low++)
-       SET_BIT (stored_args_map, low);
+       bitmap_set_bit (stored_args_map, low);
     }
   return insn != NULL_RTX;
 }
@@ -1903,7 +2138,7 @@ check_sibcall_argument_overlap (rtx insn, struct arg_data *arg, int mark_stored_
    as specified by LEFT_P.  Return true if some action was needed.  */
 
 bool
-shift_return_value (enum machine_mode mode, bool left_p, rtx value)
+shift_return_value (machine_mode mode, bool left_p, rtx value)
 {
   HOST_WIDE_INT shift;
 
@@ -1961,9 +2196,9 @@ expand_call (tree exp, rtx target, int ignore)
   /* RTX for the function to be called.  */
   rtx funexp;
   /* Sequence of insns to perform a normal "call".  */
-  rtx normal_call_insns = NULL_RTX;
+  rtx_insn *normal_call_insns = NULL;
   /* Sequence of insns to perform a tail "call".  */
-  rtx tail_call_insns = NULL_RTX;
+  rtx_insn *tail_call_insns = NULL;
   /* Data type of the function.  */
   tree funtype;
   tree type_arg_types;
@@ -2037,8 +2272,9 @@ expand_call (tree exp, rtx target, int ignore)
      (on machines that lack push insns), or 0 if space not preallocated.  */
   rtx argblock = 0;
 
-  /* Mask of ECF_ flags.  */
+  /* Mask of ECF_ and ERF_ flags.  */
   int flags = 0;
+  int return_flags = 0;
 #ifdef REG_PARM_STACK_SPACE
   /* Define the boundary of the register parm stack space that needs to be
      saved, if any.  */
@@ -2083,6 +2319,7 @@ expand_call (tree exp, rtx target, int ignore)
     {
       fntype = TREE_TYPE (fndecl);
       flags |= flags_from_decl_or_type (fndecl);
+      return_flags |= decl_return_flags (fndecl);
     }
   else
     {
@@ -2150,16 +2387,21 @@ expand_call (tree exp, rtx target, int ignore)
       {
        struct_value_size = int_size_in_bytes (rettype);
 
-       if (target && MEM_P (target) && CALL_EXPR_RETURN_SLOT_OPT (exp))
+       /* Even if it is semantically safe to use the target as the return
+          slot, it may be not sufficiently aligned for the return type.  */
+       if (CALL_EXPR_RETURN_SLOT_OPT (exp)
+           && target
+           && MEM_P (target)
+           && !(MEM_ALIGN (target) < TYPE_ALIGN (rettype)
+                && SLOW_UNALIGNED_ACCESS (TYPE_MODE (rettype),
+                                          MEM_ALIGN (target))))
          structure_value_addr = XEXP (target, 0);
        else
          {
            /* For variable-sized objects, we must be called with a target
               specified.  If we were to allocate space on the stack here,
               we would have no way of knowing when to free it.  */
-           rtx d = assign_temp (rettype, 0, 1, 1);
-
-           mark_temp_addr_taken (d);
+           rtx d = assign_temp (rettype, 1, 1);
            structure_value_addr = XEXP (d, 0);
            target = 0;
          }
@@ -2171,7 +2413,7 @@ expand_call (tree exp, rtx target, int ignore)
   preferred_stack_boundary = PREFERRED_STACK_BOUNDARY;
   if (fndecl)
     {
-      struct cgraph_rtl_info *i = cgraph_rtl_info (fndecl);
+      struct cgraph_rtl_info *i = cgraph_node::rtl_info (fndecl);
       /* Without automatic stack alignment, we can't increase preferred
         stack boundary.  With automatic stack alignment, it is
         unnecessary since unless we can guarantee that all callers will
@@ -2349,7 +2591,7 @@ expand_call (tree exp, rtx target, int ignore)
       /* If outgoing reg parm stack space changes, we can not do sibcall.  */
       || (OUTGOING_REG_PARM_STACK_SPACE (funtype)
          != OUTGOING_REG_PARM_STACK_SPACE (TREE_TYPE (current_function_decl)))
-      || (reg_parm_stack_space != REG_PARM_STACK_SPACE (fndecl))
+      || (reg_parm_stack_space != REG_PARM_STACK_SPACE (current_function_decl))
 #endif
       /* Check whether the target is able to optimize the call
         into a sibcall.  */
@@ -2381,8 +2623,8 @@ expand_call (tree exp, rtx target, int ignore)
      return value.  */
   if (try_tail_call)
     {
-      enum machine_mode caller_mode, caller_promoted_mode;
-      enum machine_mode callee_mode, callee_promoted_mode;
+      machine_mode caller_mode, caller_promoted_mode;
+      machine_mode callee_mode, callee_promoted_mode;
       int caller_unsignedp, callee_unsignedp;
       tree caller_res = DECL_RESULT (current_function_decl);
 
@@ -2428,17 +2670,15 @@ expand_call (tree exp, rtx target, int ignore)
         recursion "call".  That way we know any adjustment after the tail
         recursion call can be ignored if we indeed use the tail
         call expansion.  */
-      int save_pending_stack_adjust = 0;
-      int save_stack_pointer_delta = 0;
-      rtx insns;
-      rtx before_call, next_arg_reg, after_args;
+      saved_pending_stack_adjust save;
+      rtx_insn *insns, *before_call, *after_args;
+      rtx next_arg_reg;
 
       if (pass == 0)
        {
          /* State variables we need to save and restore between
             iterations.  */
-         save_pending_stack_adjust = pending_stack_adjust;
-         save_stack_pointer_delta = stack_pointer_delta;
+         save_pending_stack_adjust (&save);
        }
       if (pass)
        flags &= ~ECF_SIBCALL;
@@ -2504,12 +2744,12 @@ expand_call (tree exp, rtx target, int ignore)
          argblock = crtl->args.internal_arg_pointer;
          argblock
 #ifdef STACK_GROWS_DOWNWARD
-           = plus_constant (argblock, crtl->args.pretend_args_size);
+           = plus_constant (Pmode, argblock, crtl->args.pretend_args_size);
 #else
-           = plus_constant (argblock, -crtl->args.pretend_args_size);
+           = plus_constant (Pmode, argblock, -crtl->args.pretend_args_size);
 #endif
          stored_args_map = sbitmap_alloc (args_size.constant);
-         sbitmap_zero (stored_args_map);
+         bitmap_clear (stored_args_map);
        }
 
       /* If we have no actual push instructions, or shouldn't use them,
@@ -2641,7 +2881,7 @@ expand_call (tree exp, rtx target, int ignore)
                    {
                      argblock = push_block (GEN_INT (needed), 0, 0);
 #ifdef ARGS_GROW_DOWNWARD
-                     argblock = plus_constant (argblock, needed);
+                     argblock = plus_constant (Pmode, argblock, needed);
 #endif
                    }
 
@@ -2708,9 +2948,9 @@ expand_call (tree exp, rtx target, int ignore)
 
       compute_argument_addresses (args, argblock, num_actuals);
 
-      /* If we push args individually in reverse order, perform stack alignment
-        before the first push (the last arg).  */
-      if (PUSH_ARGS_REVERSED && argblock == 0
+      /* Perform stack alignment before the first push (the last arg).  */
+      if (argblock == 0
+          && adjusted_args_size.constant > reg_parm_stack_space
          && adjusted_args_size.constant != unadjusted_args_size)
        {
          /* When the stack adjustment is pending, we get better code
@@ -2801,7 +3041,16 @@ expand_call (tree exp, rtx target, int ignore)
        {
          if (args[i].reg == 0 || args[i].pass_on_stack)
            {
-             rtx before_arg = get_last_insn ();
+             rtx_insn *before_arg = get_last_insn ();
+
+             /* We don't allow passing huge (> 2^30 B) arguments
+                by value.  It would cause an overflow later on.  */
+             if (adjusted_args_size.constant
+                 >= (1 << (HOST_BITS_PER_INT - 2)))
+               {
+                 sorry ("passing too large argument on stack");
+                 continue;
+               }
 
              if (store_one_arg (&args[i], argblock, flags,
                                 adjusted_args_size.var != 0,
@@ -2813,10 +3062,10 @@ expand_call (tree exp, rtx target, int ignore)
              }
 
          if (args[i].stack)
-           call_fusage = gen_rtx_EXPR_LIST (VOIDmode,
-                                            gen_rtx_USE (VOIDmode,
-                                                         args[i].stack),
-                                            call_fusage);
+           call_fusage
+             = gen_rtx_EXPR_LIST (TYPE_MODE (TREE_TYPE (args[i].tree_value)),
+                                  gen_rtx_USE (VOIDmode, args[i].stack),
+                                  call_fusage);
        }
 
       /* If we have a parm that is passed in registers but not in memory
@@ -2832,7 +3081,7 @@ expand_call (tree exp, rtx target, int ignore)
        for (i = 0; i < num_actuals; i++)
          if (args[i].partial != 0 && ! args[i].pass_on_stack)
            {
-             rtx before_arg = get_last_insn ();
+             rtx_insn *before_arg = get_last_insn ();
 
              if (store_one_arg (&args[i], argblock, flags,
                                 adjusted_args_size.var != 0,
@@ -2843,12 +3092,6 @@ expand_call (tree exp, rtx target, int ignore)
                sibcall_failure = 1;
            }
 
-      /* If we pushed args in forward order, perform stack alignment
-        after pushing the last arg.  */
-      if (!PUSH_ARGS_REVERSED && argblock == 0)
-       anti_adjust_stack (GEN_INT (adjusted_args_size.constant
-                                   - unadjusted_args_size));
-
       /* If register arguments require space on the stack and stack space
         was not preallocated, allocate stack space here for arguments
         passed in registers.  */
@@ -2895,6 +3138,21 @@ expand_call (tree exp, rtx target, int ignore)
                                                   VOIDmode, void_type_node,
                                                   true);
 
+      if (pass == 1 && (return_flags & ERF_RETURNS_ARG))
+       {
+         int arg_nr = return_flags & ERF_RETURN_ARG_MASK;
+         arg_nr = num_actuals - arg_nr - 1;
+         if (arg_nr >= 0
+             && arg_nr < num_actuals
+             && args[arg_nr].reg
+             && valreg
+             && REG_P (valreg)
+             && GET_MODE (args[arg_nr].reg) == GET_MODE (valreg))
+         call_fusage
+           = gen_rtx_EXPR_LIST (TYPE_MODE (TREE_TYPE (args[arg_nr].tree_value)),
+                                gen_rtx_SET (VOIDmode, valreg, args[arg_nr].reg),
+                                call_fusage);
+       }
       /* All arguments and registers used for the call must be set up by
         now!  */
 
@@ -2908,6 +3166,20 @@ expand_call (tree exp, rtx target, int ignore)
                   next_arg_reg, valreg, old_inhibit_defer_pop, call_fusage,
                   flags, args_so_far);
 
+      if (flag_use_caller_save)
+       {
+         rtx_call_insn *last;
+         rtx datum = NULL_RTX;
+         if (fndecl != NULL_TREE)
+           {
+             datum = XEXP (DECL_RTL (fndecl), 0);
+             gcc_assert (datum != NULL_RTX
+                         && GET_CODE (datum) == SYMBOL_REF);
+           }
+         last = last_call_insn ();
+         add_reg_note (last, REG_CALL_DECL, datum);
+       }
+
       /* If the call setup or the call itself overlaps with anything
         of the argument setup we probably clobbered our call address.
         In that case we can't do sibcalls.  */
@@ -2921,7 +3193,9 @@ expand_call (tree exp, rtx target, int ignore)
         group load/store machinery below.  */
       if (!structure_value_addr
          && !pcc_struct_value
+         && TYPE_MODE (rettype) != VOIDmode
          && TYPE_MODE (rettype) != BLKmode
+         && REG_P (valreg)
          && targetm.calls.return_in_msb (rettype))
        {
          if (shift_return_value (TYPE_MODE (rettype), false, valreg))
@@ -2932,11 +3206,11 @@ expand_call (tree exp, rtx target, int ignore)
       if (pass && (flags & ECF_MALLOC))
        {
          rtx temp = gen_reg_rtx (GET_MODE (valreg));
-         rtx last, insns;
+         rtx_insn *last, *insns;
 
          /* The return value from a malloc-like function is a pointer.  */
          if (TREE_CODE (rettype) == POINTER_TYPE)
-           mark_reg_pointer (temp, BIGGEST_ALIGNMENT);
+           mark_reg_pointer (temp, MALLOC_ABI_ALIGNMENT);
 
          emit_move_insn (temp, valreg);
 
@@ -2963,7 +3237,7 @@ expand_call (tree exp, rtx target, int ignore)
             immediately after the CALL_INSN.  Some ports emit more
             than just a CALL_INSN above, so we must search for it here.  */
 
-         rtx last = get_last_insn ();
+         rtx_insn *last = get_last_insn ();
          while (!CALL_P (last))
            {
              last = PREV_INSN (last);
@@ -3013,21 +3287,16 @@ expand_call (tree exp, rtx target, int ignore)
       else if (GET_CODE (valreg) == PARALLEL)
        {
          if (target == 0)
-           {
-             /* This will only be assigned once, so it can be readonly.  */
-             tree nt = build_qualified_type (rettype,
-                                             (TYPE_QUALS (rettype)
-                                              | TYPE_QUAL_CONST));
-
-             target = assign_temp (nt, 0, 1, 1);
-           }
-
-         if (! rtx_equal_p (target, valreg))
+           target = emit_group_move_into_temps (valreg);
+         else if (rtx_equal_p (target, valreg))
+           ;
+         else if (GET_CODE (target) == PARALLEL)
+           /* Handle the result of a emit_group_move_into_temps
+              call in the previous pass.  */
+           emit_group_move (target, valreg);
+         else
            emit_group_store (target, valreg, rettype,
                              int_size_in_bytes (rettype));
-
-         /* We can not support sibling calls for this case.  */
-         sibcall_failure = 1;
        }
       else if (target
               && GET_MODE (target) == TYPE_MODE (rettype)
@@ -3075,16 +3344,6 @@ expand_call (tree exp, rtx target, int ignore)
                sibcall_failure = 1;
            }
        }
-      else if (TYPE_MODE (rettype) == BLKmode)
-       {
-         rtx val = valreg;
-         if (GET_MODE (val) != BLKmode)
-           val = avoid_likely_spilled_reg (val);
-         target = copy_blkmode_from_reg (target, val, rettype);
-
-         /* We can not support sibling calls for this case.  */
-         sibcall_failure = 1;
-       }
       else
        target = copy_to_reg (avoid_likely_spilled_reg (valreg));
 
@@ -3097,7 +3356,7 @@ expand_call (tree exp, rtx target, int ignore)
          tree type = rettype;
          int unsignedp = TYPE_UNSIGNED (type);
          int offset = 0;
-         enum machine_mode pmode;
+         machine_mode pmode;
 
          /* Ensure we promote as expected, and get the new unsignedness.  */
          pmode = promote_function_mode (type, TYPE_MODE (type), &unsignedp,
@@ -3118,7 +3377,7 @@ expand_call (tree exp, rtx target, int ignore)
 
          target = gen_rtx_SUBREG (TYPE_MODE (type), target, offset);
          SUBREG_PROMOTED_VAR_P (target) = 1;
-         SUBREG_PROMOTED_UNSIGNED_SET (target, unsignedp);
+         SUBREG_PROMOTED_SET (target, unsignedp);
        }
 
       /* If size of args is variable or this was a constructor call for a stack
@@ -3126,8 +3385,13 @@ expand_call (tree exp, rtx target, int ignore)
 
       if (old_stack_level)
        {
+         rtx_insn *prev = get_last_insn ();
+
          emit_stack_restore (SAVE_BLOCK, old_stack_level);
          stack_pointer_delta = old_stack_pointer_delta;
+
+         fixup_args_size_notes (prev, get_last_insn (), stack_pointer_delta);
+
          pending_stack_adjust = old_pending_adj;
          old_stack_allocated = stack_pointer_delta - pending_stack_adjust;
          stack_arg_under_construction = old_stack_arg_under_construction;
@@ -3147,7 +3411,7 @@ expand_call (tree exp, rtx target, int ignore)
          for (i = 0; i < num_actuals; i++)
            if (args[i].save_area)
              {
-               enum machine_mode save_mode = GET_MODE (args[i].save_area);
+               machine_mode save_mode = GET_MODE (args[i].save_area);
                rtx stack_area
                  = gen_rtx_MEM (save_mode,
                                 memory_address (save_mode,
@@ -3186,8 +3450,7 @@ expand_call (tree exp, rtx target, int ignore)
          /* Restore the pending stack adjustment now that we have
             finished generating the sibling call sequence.  */
 
-         pending_stack_adjust = save_pending_stack_adjust;
-         stack_pointer_delta = save_stack_pointer_delta;
+         restore_pending_stack_adjust (&save);
 
          /* Prepare arg structure for next iteration.  */
          for (i = 0; i < num_actuals; i++)
@@ -3198,6 +3461,8 @@ expand_call (tree exp, rtx target, int ignore)
            }
 
          sbitmap_free (stored_args_map);
+         internal_arg_pointer_exp_state.scan_start = NULL;
+         internal_arg_pointer_exp_state.cache.release ();
        }
       else
        {
@@ -3212,7 +3477,7 @@ expand_call (tree exp, rtx target, int ignore)
       /* If something prevents making this a sibling call,
         zero out the sequence.  */
       if (sibcall_failure)
-       tail_call_insns = NULL_RTX;
+       tail_call_insns = NULL;
       else
        break;
     }
@@ -3249,7 +3514,7 @@ expand_call (tree exp, rtx target, int ignore)
 void
 fixup_tail_calls (void)
 {
-  rtx insn;
+  rtx_insn *insn;
 
   for (insn = get_insns (); insn; insn = NEXT_INSN (insn))
     {
@@ -3322,7 +3587,7 @@ split_complex_types (tree types)
 static rtx
 emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
                           enum libcall_type fn_type,
-                          enum machine_mode outmode, int nargs, va_list p)
+                          machine_mode outmode, int nargs, va_list p)
 {
   /* Total size in bytes of all the stack-parms scanned so far.  */
   struct args_size args_size;
@@ -3334,7 +3599,6 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
      isn't present here, so we default to native calling abi here.  */
   tree fndecl ATTRIBUTE_UNUSED = NULL_TREE; /* library calls default to host calling abi ? */
   tree fntype ATTRIBUTE_UNUSED = NULL_TREE; /* library calls default to host calling abi ? */
-  int inc;
   int count;
   rtx argblock = 0;
   CUMULATIVE_ARGS args_so_far_v;
@@ -3342,7 +3606,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
   struct arg
   {
     rtx value;
-    enum machine_mode mode;
+    machine_mode mode;
     rtx reg;
     int partial;
     struct locate_and_pad_arg_data locate;
@@ -3358,7 +3622,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
   int flags;
   int reg_parm_stack_space = 0;
   int needed;
-  rtx before_call;
+  rtx_insn *before_call;
   tree tfom;                   /* type_for_mode (outmode, 0) */
 
 #ifdef REG_PARM_STACK_SPACE
@@ -3428,7 +3692,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
          if (value != 0 && MEM_P (value))
            mem_value = value;
          else
-           mem_value = assign_temp (tfom, 0, 1, 1);
+           mem_value = assign_temp (tfom, 1, 1);
 #endif
          /* This call returns a big structure.  */
          flags &= ~(ECF_CONST | ECF_PURE | ECF_LOOPING_CONST_OR_PURE);
@@ -3492,7 +3756,8 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
 #else
                           argvec[count].reg != 0,
 #endif
-                          0, NULL_TREE, &args_size, &argvec[count].locate);
+                          reg_parm_stack_space, 0,
+                          NULL_TREE, &args_size, &argvec[count].locate);
 
       if (argvec[count].reg == 0 || argvec[count].partial != 0
          || reg_parm_stack_space > 0)
@@ -3506,7 +3771,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
   for (; count < nargs; count++)
     {
       rtx val = va_arg (p, rtx);
-      enum machine_mode mode = (enum machine_mode) va_arg (p, int);
+      machine_mode mode = (machine_mode) va_arg (p, int);
       int unsigned_p = 0;
 
       /* We cannot convert the arg value to the mode the library wants here;
@@ -3543,7 +3808,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
          else
            {
              slot = assign_temp (lang_hooks.types.type_for_mode (mode, 0),
-                                 0, 1, 1);
+                                 1, 1);
              emit_move_insn (slot, val);
            }
 
@@ -3569,20 +3834,29 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
       argvec[count].partial
        = targetm.calls.arg_partial_bytes (args_so_far, mode, NULL_TREE, 1);
 
-      locate_and_pad_parm (mode, NULL_TREE,
+      if (argvec[count].reg == 0
+         || argvec[count].partial != 0
+         || reg_parm_stack_space > 0)
+       {
+         locate_and_pad_parm (mode, NULL_TREE,
 #ifdef STACK_PARMS_IN_REG_PARM_AREA
-                          1,
+                              1,
 #else
-                          argvec[count].reg != 0,
+                              argvec[count].reg != 0,
+#endif
+                              reg_parm_stack_space, argvec[count].partial,
+                              NULL_TREE, &args_size, &argvec[count].locate);
+         args_size.constant += argvec[count].locate.size.constant;
+         gcc_assert (!argvec[count].locate.size.var);
+       }
+#ifdef BLOCK_REG_PADDING
+      else
+       /* The argument is passed entirely in registers.  See at which
+          end it should be padded.  */
+       argvec[count].locate.where_pad =
+         BLOCK_REG_PADDING (mode, NULL_TREE,
+                            GET_MODE_SIZE (mode) <= UNITS_PER_WORD);
 #endif
-                          argvec[count].partial,
-                          NULL_TREE, &args_size, &argvec[count].locate);
-
-      gcc_assert (!argvec[count].locate.size.var);
-
-      if (argvec[count].reg == 0 || argvec[count].partial != 0
-         || reg_parm_stack_space > 0)
-       args_size.constant += argvec[count].locate.size.constant;
 
       targetm.calls.function_arg_advance (args_so_far, mode, (tree) 0, true);
     }
@@ -3662,7 +3936,8 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
         use virtuals anyway, they won't match the rtl patterns.  */
 
       if (virtuals_instantiated)
-       argblock = plus_constant (stack_pointer_rtx, STACK_POINTER_OFFSET);
+       argblock = plus_constant (Pmode, stack_pointer_rtx,
+                                 STACK_POINTER_OFFSET);
       else
        argblock = virtual_outgoing_args_rtx;
     }
@@ -3672,22 +3947,13 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
        argblock = push_block (GEN_INT (args_size.constant), 0, 0);
     }
 
-  /* If we push args individually in reverse order, perform stack alignment
+  /* We push args individually in reverse order, perform stack alignment
      before the first push (the last arg).  */
-  if (argblock == 0 && PUSH_ARGS_REVERSED)
+  if (argblock == 0)
     anti_adjust_stack (GEN_INT (args_size.constant
                                - original_args_size.constant));
 
-  if (PUSH_ARGS_REVERSED)
-    {
-      inc = -1;
-      argnum = nargs - 1;
-    }
-  else
-    {
-      inc = 1;
-      argnum = 0;
-    }
+  argnum = nargs - 1;
 
 #ifdef REG_PARM_STACK_SPACE
   if (ACCUMULATE_OUTGOING_ARGS)
@@ -3704,9 +3970,9 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
 
   /* ARGNUM indexes the ARGVEC array in the order in which the arguments
      are to be pushed.  */
-  for (count = 0; count < nargs; count++, argnum += inc)
+  for (count = 0; count < nargs; count++, argnum--)
     {
-      enum machine_mode mode = argvec[argnum].mode;
+      machine_mode mode = argvec[argnum].mode;
       rtx val = argvec[argnum].value;
       rtx reg = argvec[argnum].reg;
       int partial = argvec[argnum].partial;
@@ -3745,10 +4011,10 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
                  /* We need to make a save area.  */
                  unsigned int size
                    = argvec[argnum].locate.size.constant * BITS_PER_UNIT;
-                 enum machine_mode save_mode
+                 machine_mode save_mode
                    = mode_for_size (size, MODE_INT, 1);
                  rtx adr
-                   = plus_constant (argblock,
+                   = plus_constant (Pmode, argblock,
                                     argvec[argnum].locate.offset.constant);
                  rtx stack_area
                    = gen_rtx_MEM (save_mode, memory_address (save_mode, adr));
@@ -3757,10 +4023,11 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
                    {
                      argvec[argnum].save_area
                        = assign_stack_temp (BLKmode,
-                                            argvec[argnum].locate.size.constant,
-                                            0);
+                                            argvec[argnum].locate.size.constant
+                                            );
 
-                     emit_block_move (validize_mem (argvec[argnum].save_area),
+                     emit_block_move (validize_mem
+                                        (copy_rtx (argvec[argnum].save_area)),
                                       stack_area,
                                       GEN_INT (argvec[argnum].locate.size.constant),
                                       BLOCK_OP_CALL_PARM);
@@ -3790,7 +4057,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
          /* Indicate argument access so that alias.c knows that these
             values are live.  */
          if (argblock)
-           use = plus_constant (argblock,
+           use = plus_constant (Pmode, argblock,
                                 argvec[argnum].locate.offset.constant);
          else
            /* When arguments are pushed, trying to tell alias.c where
@@ -3806,16 +4073,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
        }
     }
 
-  /* If we pushed args in forward order, perform stack alignment
-     after pushing the last arg.  */
-  if (argblock == 0 && !PUSH_ARGS_REVERSED)
-    anti_adjust_stack (GEN_INT (args_size.constant
-                               - original_args_size.constant));
-
-  if (PUSH_ARGS_REVERSED)
-    argnum = nargs - 1;
-  else
-    argnum = 0;
+  argnum = nargs - 1;
 
   fun = prepare_call_address (NULL, fun, NULL, &call_fusage, 0, 0);
 
@@ -3823,19 +4081,49 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
 
   /* ARGNUM indexes the ARGVEC array in the order in which the arguments
      are to be pushed.  */
-  for (count = 0; count < nargs; count++, argnum += inc)
+  for (count = 0; count < nargs; count++, argnum--)
     {
-      enum machine_mode mode = argvec[argnum].mode;
+      machine_mode mode = argvec[argnum].mode;
       rtx val = argvec[argnum].value;
       rtx reg = argvec[argnum].reg;
       int partial = argvec[argnum].partial;
-
+#ifdef BLOCK_REG_PADDING
+      int size = 0;
+#endif
+      
       /* Handle calls that pass values in multiple non-contiguous
         locations.  The PA64 has examples of this for library calls.  */
       if (reg != 0 && GET_CODE (reg) == PARALLEL)
        emit_group_load (reg, val, NULL_TREE, GET_MODE_SIZE (mode));
       else if (reg != 0 && partial == 0)
-       emit_move_insn (reg, val);
+        {
+         emit_move_insn (reg, val);
+#ifdef BLOCK_REG_PADDING
+         size = GET_MODE_SIZE (argvec[argnum].mode);
+
+         /* Copied from load_register_parameters.  */
+
+         /* Handle case where we have a value that needs shifting
+            up to the msb.  eg. a QImode value and we're padding
+            upward on a BYTES_BIG_ENDIAN machine.  */
+         if (size < UNITS_PER_WORD
+             && (argvec[argnum].locate.where_pad
+                 == (BYTES_BIG_ENDIAN ? upward : downward)))
+           {
+             rtx x;
+             int shift = (UNITS_PER_WORD - size) * BITS_PER_UNIT;
+
+             /* Assigning REG here rather than a temp makes CALL_FUSAGE
+                report the whole reg as used.  Strictly speaking, the
+                call only uses SIZE bytes at the msb end, but it doesn't
+                seem worth generating rtl to say that.  */
+             reg = gen_rtx_REG (word_mode, REGNO (reg));
+             x = expand_shift (LSHIFT_EXPR, word_mode, reg, shift, reg, 1);
+             if (x != reg)
+               emit_move_insn (reg, x);
+           }
+#endif
+       }
 
       NO_DEFER_POP;
     }
@@ -3901,18 +4189,33 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
               valreg,
               old_inhibit_defer_pop + 1, call_fusage, flags, args_so_far);
 
+  if (flag_use_caller_save)
+    {
+      rtx last, datum = orgfun;
+      gcc_assert (GET_CODE (datum) == SYMBOL_REF);
+      last = last_call_insn ();
+      add_reg_note (last, REG_CALL_DECL, datum);
+    }
+
+  /* Right-shift returned value if necessary.  */
+  if (!pcc_struct_value
+      && TYPE_MODE (tfom) != BLKmode
+      && targetm.calls.return_in_msb (tfom))
+    {
+      shift_return_value (TYPE_MODE (tfom), false, valreg);
+      valreg = gen_rtx_REG (TYPE_MODE (tfom), REGNO (valreg));
+    }
+
   /* For calls to `setjmp', etc., inform function.c:setjmp_warnings
      that it should complain if nonvolatile values are live.  For
      functions that cannot return, inform flow that control does not
      fall through.  */
-
   if (flags & ECF_NORETURN)
     {
       /* The barrier note must be emitted
         immediately after the CALL_INSN.  Some ports emit more than
         just a CALL_INSN above, so we must search for it here.  */
-
-      rtx last = get_last_insn ();
+      rtx_insn *last = get_last_insn ();
       while (!CALL_P (last))
        {
          last = PREV_INSN (last);
@@ -3923,6 +4226,21 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
       emit_barrier_after (last);
     }
 
+  /* Consider that "regular" libcalls, i.e. all of them except for LCT_THROW
+     and LCT_RETURNS_TWICE, cannot perform non-local gotos.  */
+  if (flags & ECF_NOTHROW)
+    {
+      rtx_insn *last = get_last_insn ();
+      while (!CALL_P (last))
+       {
+         last = PREV_INSN (last);
+         /* There was no CALL_INSN?  */
+         gcc_assert (last != before_call);
+       }
+
+      make_reg_eh_region_note_nothrow_nononlocal (last);
+    }
+
   /* Now restore inhibit_defer_pop to its actual original value.  */
   OK_DEFER_POP;
 
@@ -3976,15 +4294,16 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
       for (count = 0; count < nargs; count++)
        if (argvec[count].save_area)
          {
-           enum machine_mode save_mode = GET_MODE (argvec[count].save_area);
-           rtx adr = plus_constant (argblock,
+           machine_mode save_mode = GET_MODE (argvec[count].save_area);
+           rtx adr = plus_constant (Pmode, argblock,
                                     argvec[count].locate.offset.constant);
            rtx stack_area = gen_rtx_MEM (save_mode,
                                          memory_address (save_mode, adr));
 
            if (save_mode == BLKmode)
              emit_block_move (stack_area,
-                              validize_mem (argvec[count].save_area),
+                              validize_mem
+                                (copy_rtx (argvec[count].save_area)),
                               GEN_INT (argvec[count].locate.size.constant),
                               BLOCK_OP_CALL_PARM);
            else
@@ -4013,7 +4332,7 @@ emit_library_call_value_1 (int retval, rtx orgfun, rtx value,
 
 void
 emit_library_call (rtx orgfun, enum libcall_type fn_type,
-                  enum machine_mode outmode, int nargs, ...)
+                  machine_mode outmode, int nargs, ...)
 {
   va_list p;
 
@@ -4033,7 +4352,7 @@ emit_library_call (rtx orgfun, enum libcall_type fn_type,
 rtx
 emit_library_call_value (rtx orgfun, rtx value,
                         enum libcall_type fn_type,
-                        enum machine_mode outmode, int nargs, ...)
+                        machine_mode outmode, int nargs, ...)
 {
   rtx result;
   va_list p;
@@ -4119,19 +4438,17 @@ store_one_arg (struct arg_data *arg, rtx argblock, int flags,
            {
              /* We need to make a save area.  */
              unsigned int size = arg->locate.size.constant * BITS_PER_UNIT;
-             enum machine_mode save_mode = mode_for_size (size, MODE_INT, 1);
+             machine_mode save_mode = mode_for_size (size, MODE_INT, 1);
              rtx adr = memory_address (save_mode, XEXP (arg->stack_slot, 0));
              rtx stack_area = gen_rtx_MEM (save_mode, adr);
 
              if (save_mode == BLKmode)
                {
-                 tree ot = TREE_TYPE (arg->tree_value);
-                 tree nt = build_qualified_type (ot, (TYPE_QUALS (ot)
-                                                      | TYPE_QUAL_CONST));
-
-                 arg->save_area = assign_temp (nt, 0, 1, 1);
+                 arg->save_area
+                   = assign_temp (TREE_TYPE (arg->tree_value), 1, 1);
                  preserve_temp_slots (arg->save_area);
-                 emit_block_move (validize_mem (arg->save_area), stack_area,
+                 emit_block_move (validize_mem (copy_rtx (arg->save_area)),
+                                  stack_area,
                                   GEN_INT (arg->locate.size.constant),
                                   BLOCK_OP_CALL_PARM);
                }
@@ -4406,11 +4723,7 @@ store_one_arg (struct arg_data *arg, rtx argblock, int flags,
      be deferred during the rest of the arguments.  */
   NO_DEFER_POP;
 
-  /* Free any temporary slots made in processing this argument.  Show
-     that we might have taken the address of something and pushed that
-     as an operand.  */
-  preserve_temp_slots (NULL_RTX);
-  free_temp_slots ();
+  /* Free any temporary slots made in processing this argument.  */
   pop_temp_slots ();
 
   return sibcall_failure;
@@ -4419,7 +4732,7 @@ store_one_arg (struct arg_data *arg, rtx argblock, int flags,
 /* Nonzero if we do not know how to pass TYPE solely in registers.  */
 
 bool
-must_pass_in_stack_var_size (enum machine_mode mode ATTRIBUTE_UNUSED,
+must_pass_in_stack_var_size (machine_mode mode ATTRIBUTE_UNUSED,
                             const_tree type)
 {
   if (!type)
@@ -4442,7 +4755,7 @@ must_pass_in_stack_var_size (enum machine_mode mode ATTRIBUTE_UNUSED,
 /* ??? Should be able to merge these two by examining BLOCK_REG_PADDING.  */
 
 bool
-must_pass_in_stack_var_size_or_pad (enum machine_mode mode, const_tree type)
+must_pass_in_stack_var_size_or_pad (machine_mode mode, const_tree type)
 {
   if (!type)
     return false;
This page took 0.078874 seconds and 5 git commands to generate.