1; RUN: opt < %s  -basic-aa -loop-vectorize -force-vector-width=4 -force-vector-interleave=1 -dce -instcombine -S | FileCheck %s
2; RUN: opt < %s  -basic-aa -loop-vectorize -force-vector-width=4 -force-vector-interleave=4 -dce -instcombine -S | FileCheck %s -check-prefix=UNROLL
3
4target datalayout = "e-p:64:64:64-i1:8:8-i8:8:8-i16:16:16-i32:32:32-i64:64:64-f32:32:32-f64:64:64-v64:64:64-v128:128:128-a0:0:64-s0:64:64-f80:128:128-n8:16:32:64-S128"
5
6@b = common global [2048 x i32] zeroinitializer, align 16
7@c = common global [2048 x i32] zeroinitializer, align 16
8@a = common global [2048 x i32] zeroinitializer, align 16
9@G = common global [32 x [1024 x i32]] zeroinitializer, align 16
10@ub = common global [1024 x i32] zeroinitializer, align 16
11@uc = common global [1024 x i32] zeroinitializer, align 16
12@d = common global [2048 x i32] zeroinitializer, align 16
13@fa = common global [1024 x float] zeroinitializer, align 16
14@fb = common global [1024 x float] zeroinitializer, align 16
15@ic = common global [1024 x i32] zeroinitializer, align 16
16@da = common global [1024 x float] zeroinitializer, align 16
17@db = common global [1024 x float] zeroinitializer, align 16
18@dc = common global [1024 x float] zeroinitializer, align 16
19@dd = common global [1024 x float] zeroinitializer, align 16
20@dj = common global [1024 x i32] zeroinitializer, align 16
21
22;CHECK-LABEL: @example1(
23;CHECK: load <4 x i32>
24;CHECK: add nsw <4 x i32>
25;CHECK: store <4 x i32>
26;CHECK: ret void
27;UNROLL-LABEL: @example1(
28;UNROLL: load <4 x i32>
29;UNROLL: load <4 x i32>
30;UNROLL: load <4 x i32>
31;UNROLL: load <4 x i32>
32;UNROLL: add nsw <4 x i32>
33;UNROLL: add nsw <4 x i32>
34;UNROLL: add nsw <4 x i32>
35;UNROLL: add nsw <4 x i32>
36;UNROLL: store <4 x i32>
37;UNROLL: store <4 x i32>
38;UNROLL: store <4 x i32>
39;UNROLL: store <4 x i32>
40;UNROLL: ret void
41define void @example1() nounwind uwtable ssp {
42  br label %1
43
44; <label>:1                                       ; preds = %1, %0
45  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
46  %2 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
47  %3 = load i32, i32* %2, align 4
48  %4 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %indvars.iv
49  %5 = load i32, i32* %4, align 4
50  %6 = add nsw i32 %5, %3
51  %7 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
52  store i32 %6, i32* %7, align 4
53  %indvars.iv.next = add i64 %indvars.iv, 1
54  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
55  %exitcond = icmp eq i32 %lftr.wideiv, 256
56  br i1 %exitcond, label %8, label %1
57
58; <label>:8                                       ; preds = %1
59  ret void
60}
61
62;CHECK-LABEL: @example2(
63;CHECK: store <4 x i32>
64;CHECK: ret void
65;UNROLL-LABEL: @example2(
66;UNROLL: store <4 x i32>
67;UNROLL: store <4 x i32>
68;UNROLL: store <4 x i32>
69;UNROLL: store <4 x i32>
70;UNROLL: ret void
71define void @example2(i32 %n, i32 %x) nounwind uwtable ssp {
72  %1 = icmp sgt i32 %n, 0
73  br i1 %1, label %.lr.ph5, label %.preheader
74
75..preheader_crit_edge:                            ; preds = %.lr.ph5
76  %phitmp = sext i32 %n to i64
77  br label %.preheader
78
79.preheader:                                       ; preds = %..preheader_crit_edge, %0
80  %i.0.lcssa = phi i64 [ %phitmp, %..preheader_crit_edge ], [ 0, %0 ]
81  %2 = icmp eq i32 %n, 0
82  br i1 %2, label %._crit_edge, label %.lr.ph
83
84.lr.ph5:                                          ; preds = %0, %.lr.ph5
85  %indvars.iv6 = phi i64 [ %indvars.iv.next7, %.lr.ph5 ], [ 0, %0 ]
86  %3 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv6
87  store i32 %x, i32* %3, align 4
88  %indvars.iv.next7 = add i64 %indvars.iv6, 1
89  %lftr.wideiv = trunc i64 %indvars.iv.next7 to i32
90  %exitcond = icmp eq i32 %lftr.wideiv, %n
91  br i1 %exitcond, label %..preheader_crit_edge, label %.lr.ph5
92
93.lr.ph:                                           ; preds = %.preheader, %.lr.ph
94  %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ %i.0.lcssa, %.preheader ]
95  %.02 = phi i32 [ %4, %.lr.ph ], [ %n, %.preheader ]
96  %4 = add nsw i32 %.02, -1
97  %5 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
98  %6 = load i32, i32* %5, align 4
99  %7 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %indvars.iv
100  %8 = load i32, i32* %7, align 4
101  %9 = and i32 %8, %6
102  %10 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
103  store i32 %9, i32* %10, align 4
104  %indvars.iv.next = add i64 %indvars.iv, 1
105  %11 = icmp eq i32 %4, 0
106  br i1 %11, label %._crit_edge, label %.lr.ph
107
108._crit_edge:                                      ; preds = %.lr.ph, %.preheader
109  ret void
110}
111
112;CHECK-LABEL: @example3(
113;CHECK: <4 x i32>
114;CHECK: ret void
115;UNROLL-LABEL: @example3(
116;UNROLL: <4 x i32>
117;UNROLL: <4 x i32>
118;UNROLL: <4 x i32>
119;UNROLL: <4 x i32>
120;UNROLL: ret void
121define void @example3(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
122  %1 = icmp eq i32 %n, 0
123  br i1 %1, label %._crit_edge, label %.lr.ph
124
125.lr.ph:                                           ; preds = %0, %.lr.ph
126  %.05 = phi i32 [ %2, %.lr.ph ], [ %n, %0 ]
127  %.014 = phi i32* [ %5, %.lr.ph ], [ %p, %0 ]
128  %.023 = phi i32* [ %3, %.lr.ph ], [ %q, %0 ]
129  %2 = add nsw i32 %.05, -1
130  %3 = getelementptr inbounds i32, i32* %.023, i64 1
131  %4 = load i32, i32* %.023, align 16
132  %5 = getelementptr inbounds i32, i32* %.014, i64 1
133  store i32 %4, i32* %.014, align 16
134  %6 = icmp eq i32 %2, 0
135  br i1 %6, label %._crit_edge, label %.lr.ph
136
137._crit_edge:                                      ; preds = %.lr.ph, %0
138  ret void
139}
140
141;CHECK-LABEL: @example4(
142;CHECK: load <4 x i32>
143;CHECK: ret void
144;UNROLL-LABEL: @example4(
145;UNROLL: load <4 x i32>
146;UNROLL: load <4 x i32>
147;UNROLL: load <4 x i32>
148;UNROLL: load <4 x i32>
149;UNROLL: ret void
150define void @example4(i32 %n, i32* noalias nocapture %p, i32* noalias nocapture %q) nounwind uwtable ssp {
151  %1 = add nsw i32 %n, -1
152  %2 = icmp eq i32 %n, 0
153  br i1 %2, label %.preheader4, label %.lr.ph10
154
155.preheader4:                                      ; preds = %0
156  %3 = icmp sgt i32 %1, 0
157  br i1 %3, label %.lr.ph6, label %._crit_edge
158
159.lr.ph10:                                         ; preds = %0, %.lr.ph10
160  %4 = phi i32 [ %9, %.lr.ph10 ], [ %1, %0 ]
161  %.018 = phi i32* [ %8, %.lr.ph10 ], [ %p, %0 ]
162  %.027 = phi i32* [ %5, %.lr.ph10 ], [ %q, %0 ]
163  %5 = getelementptr inbounds i32, i32* %.027, i64 1
164  %6 = load i32, i32* %.027, align 16
165  %7 = add nsw i32 %6, 5
166  %8 = getelementptr inbounds i32, i32* %.018, i64 1
167  store i32 %7, i32* %.018, align 16
168  %9 = add nsw i32 %4, -1
169  %10 = icmp eq i32 %4, 0
170  br i1 %10, label %._crit_edge, label %.lr.ph10
171
172.preheader:                                       ; preds = %.lr.ph6
173  br i1 %3, label %.lr.ph, label %._crit_edge
174
175.lr.ph6:                                          ; preds = %.preheader4, %.lr.ph6
176  %indvars.iv11 = phi i64 [ %indvars.iv.next12, %.lr.ph6 ], [ 0, %.preheader4 ]
177  %indvars.iv.next12 = add i64 %indvars.iv11, 1
178  %11 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv.next12
179  %12 = load i32, i32* %11, align 4
180  %13 = add nsw i64 %indvars.iv11, 3
181  %14 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %13
182  %15 = load i32, i32* %14, align 4
183  %16 = add nsw i32 %15, %12
184  %17 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv11
185  store i32 %16, i32* %17, align 4
186  %lftr.wideiv13 = trunc i64 %indvars.iv.next12 to i32
187  %exitcond14 = icmp eq i32 %lftr.wideiv13, %1
188  br i1 %exitcond14, label %.preheader, label %.lr.ph6
189
190.lr.ph:                                           ; preds = %.preheader, %.lr.ph
191  %indvars.iv = phi i64 [ %indvars.iv.next, %.lr.ph ], [ 0, %.preheader ]
192  %18 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
193  %19 = load i32, i32* %18, align 4
194  %20 = icmp sgt i32 %19, 4
195  %21 = select i1 %20, i32 4, i32 0
196  %22 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %indvars.iv
197  store i32 %21, i32* %22, align 4
198  %indvars.iv.next = add i64 %indvars.iv, 1
199  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
200  %exitcond = icmp eq i32 %lftr.wideiv, %1
201  br i1 %exitcond, label %._crit_edge, label %.lr.ph
202
203._crit_edge:                                      ; preds = %.lr.ph10, %.preheader4, %.lr.ph, %.preheader
204  ret void
205}
206
207;CHECK-LABEL: @example8(
208;CHECK: store <4 x i32>
209;CHECK: ret void
210;UNROLL-LABEL: @example8(
211;UNROLL: store <4 x i32>
212;UNROLL: store <4 x i32>
213;UNROLL: store <4 x i32>
214;UNROLL: store <4 x i32>
215;UNROLL: ret void
216define void @example8(i32 %x) nounwind uwtable ssp {
217  br label %.preheader
218
219.preheader:                                       ; preds = %3, %0
220  %indvars.iv3 = phi i64 [ 0, %0 ], [ %indvars.iv.next4, %3 ]
221  br label %1
222
223; <label>:1                                       ; preds = %1, %.preheader
224  %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %1 ]
225  %2 = getelementptr inbounds [32 x [1024 x i32]], [32 x [1024 x i32]]* @G, i64 0, i64 %indvars.iv3, i64 %indvars.iv
226  store i32 %x, i32* %2, align 4
227  %indvars.iv.next = add i64 %indvars.iv, 1
228  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
229  %exitcond = icmp eq i32 %lftr.wideiv, 1024
230  br i1 %exitcond, label %3, label %1
231
232; <label>:3                                       ; preds = %1
233  %indvars.iv.next4 = add i64 %indvars.iv3, 1
234  %lftr.wideiv5 = trunc i64 %indvars.iv.next4 to i32
235  %exitcond6 = icmp eq i32 %lftr.wideiv5, 32
236  br i1 %exitcond6, label %4, label %.preheader
237
238; <label>:4                                       ; preds = %3
239  ret void
240}
241
242;CHECK-LABEL: @example9(
243;CHECK: phi <4 x i32>
244;CHECK: ret i32
245define i32 @example9() nounwind uwtable readonly ssp {
246  br label %1
247
248; <label>:1                                       ; preds = %1, %0
249  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
250  %diff.01 = phi i32 [ 0, %0 ], [ %7, %1 ]
251  %2 = getelementptr inbounds [1024 x i32], [1024 x i32]* @ub, i64 0, i64 %indvars.iv
252  %3 = load i32, i32* %2, align 4
253  %4 = getelementptr inbounds [1024 x i32], [1024 x i32]* @uc, i64 0, i64 %indvars.iv
254  %5 = load i32, i32* %4, align 4
255  %6 = add i32 %3, %diff.01
256  %7 = sub i32 %6, %5
257  %indvars.iv.next = add i64 %indvars.iv, 1
258  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
259  %exitcond = icmp eq i32 %lftr.wideiv, 1024
260  br i1 %exitcond, label %8, label %1
261
262; <label>:8                                       ; preds = %1
263  ret i32 %7
264}
265
266;CHECK-LABEL: @example10a(
267;CHECK: load <4 x i32>
268;CHECK: add nsw <4 x i32>
269;CHECK: load <4 x i16>
270;CHECK: add <4 x i16>
271;CHECK: store <4 x i16>
272;CHECK: ret void
273define void @example10a(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
274  br label %1
275
276; <label>:1                                       ; preds = %1, %0
277  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
278  %2 = getelementptr inbounds i32, i32* %ib, i64 %indvars.iv
279  %3 = load i32, i32* %2, align 4
280  %4 = getelementptr inbounds i32, i32* %ic, i64 %indvars.iv
281  %5 = load i32, i32* %4, align 4
282  %6 = add nsw i32 %5, %3
283  %7 = getelementptr inbounds i32, i32* %ia, i64 %indvars.iv
284  store i32 %6, i32* %7, align 4
285  %8 = getelementptr inbounds i16, i16* %sb, i64 %indvars.iv
286  %9 = load i16, i16* %8, align 2
287  %10 = getelementptr inbounds i16, i16* %sc, i64 %indvars.iv
288  %11 = load i16, i16* %10, align 2
289  %12 = add i16 %11, %9
290  %13 = getelementptr inbounds i16, i16* %sa, i64 %indvars.iv
291  store i16 %12, i16* %13, align 2
292  %indvars.iv.next = add i64 %indvars.iv, 1
293  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
294  %exitcond = icmp eq i32 %lftr.wideiv, 1024
295  br i1 %exitcond, label %14, label %1
296
297; <label>:14                                      ; preds = %1
298  ret void
299}
300
301;CHECK-LABEL: @example10b(
302;CHECK: load <4 x i16>
303;CHECK: sext <4 x i16>
304;CHECK: store <4 x i32>
305;CHECK: ret void
306define void @example10b(i16* noalias nocapture %sa, i16* noalias nocapture %sb, i16* noalias nocapture %sc, i32* noalias nocapture %ia, i32* noalias nocapture %ib, i32* noalias nocapture %ic) nounwind uwtable ssp {
307  br label %1
308
309; <label>:1                                       ; preds = %1, %0
310  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
311  %2 = getelementptr inbounds i16, i16* %sb, i64 %indvars.iv
312  %3 = load i16, i16* %2, align 2
313  %4 = sext i16 %3 to i32
314  %5 = getelementptr inbounds i32, i32* %ia, i64 %indvars.iv
315  store i32 %4, i32* %5, align 4
316  %indvars.iv.next = add i64 %indvars.iv, 1
317  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
318  %exitcond = icmp eq i32 %lftr.wideiv, 1024
319  br i1 %exitcond, label %6, label %1
320
321; <label>:6                                       ; preds = %1
322  ret void
323}
324
325;CHECK-LABEL: @example11(
326;CHECK: load i32
327;CHECK: load i32
328;CHECK: load i32
329;CHECK: load i32
330;CHECK: insertelement
331;CHECK: insertelement
332;CHECK: insertelement
333;CHECK: insertelement
334;CHECK: ret void
335define void @example11() nounwind uwtable ssp {
336  br label %1
337
338; <label>:1                                       ; preds = %1, %0
339  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
340  %2 = shl nsw i64 %indvars.iv, 1
341  %3 = or i64 %2, 1
342  %4 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %3
343  %5 = load i32, i32* %4, align 4
344  %6 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %3
345  %7 = load i32, i32* %6, align 4
346  %8 = mul nsw i32 %7, %5
347  %9 = getelementptr inbounds [2048 x i32], [2048 x i32]* @b, i64 0, i64 %2
348  %10 = load i32, i32* %9, align 8
349  %11 = getelementptr inbounds [2048 x i32], [2048 x i32]* @c, i64 0, i64 %2
350  %12 = load i32, i32* %11, align 8
351  %13 = mul nsw i32 %12, %10
352  %14 = sub nsw i32 %8, %13
353  %15 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
354  store i32 %14, i32* %15, align 4
355  %16 = mul nsw i32 %7, %10
356  %17 = mul nsw i32 %12, %5
357  %18 = add nsw i32 %17, %16
358  %19 = getelementptr inbounds [2048 x i32], [2048 x i32]* @d, i64 0, i64 %indvars.iv
359  store i32 %18, i32* %19, align 4
360  %indvars.iv.next = add i64 %indvars.iv, 1
361  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
362  %exitcond = icmp eq i32 %lftr.wideiv, 512
363  br i1 %exitcond, label %20, label %1
364
365; <label>:20                                      ; preds = %1
366  ret void
367}
368
369;CHECK-LABEL: @example12(
370;CHECK: %vec.ind1 = phi <4 x i32>
371;CHECK: store <4 x i32>
372;CHECK: ret void
373define void @example12() nounwind uwtable ssp {
374  br label %1
375
376; <label>:1                                       ; preds = %1, %0
377  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
378  %2 = getelementptr inbounds [2048 x i32], [2048 x i32]* @a, i64 0, i64 %indvars.iv
379  %3 = trunc i64 %indvars.iv to i32
380  store i32 %3, i32* %2, align 4
381  %indvars.iv.next = add i64 %indvars.iv, 1
382  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
383  %exitcond = icmp eq i32 %lftr.wideiv, 1024
384  br i1 %exitcond, label %4, label %1
385
386; <label>:4                                       ; preds = %1
387  ret void
388}
389
390;CHECK-LABEL: @example13(
391;CHECK: <4 x i32>
392;CHECK: ret void
393define void @example13(i32** nocapture %A, i32** nocapture %B, i32* nocapture %out) nounwind uwtable ssp {
394  br label %.preheader
395
396.preheader:                                       ; preds = %14, %0
397  %indvars.iv4 = phi i64 [ 0, %0 ], [ %indvars.iv.next5, %14 ]
398  %1 = getelementptr inbounds i32*, i32** %A, i64 %indvars.iv4
399  %2 = load i32*, i32** %1, align 8
400  %3 = getelementptr inbounds i32*, i32** %B, i64 %indvars.iv4
401  %4 = load i32*, i32** %3, align 8
402  br label %5
403
404; <label>:5                                       ; preds = %.preheader, %5
405  %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %5 ]
406  %diff.02 = phi i32 [ 0, %.preheader ], [ %11, %5 ]
407  %6 = getelementptr inbounds i32, i32* %2, i64 %indvars.iv
408  %7 = load i32, i32* %6, align 4
409  %8 = getelementptr inbounds i32, i32* %4, i64 %indvars.iv
410  %9 = load i32, i32* %8, align 4
411  %10 = add i32 %7, %diff.02
412  %11 = sub i32 %10, %9
413  %indvars.iv.next = add i64 %indvars.iv, 8
414  %12 = trunc i64 %indvars.iv.next to i32
415  %13 = icmp slt i32 %12, 1024
416  br i1 %13, label %5, label %14
417
418; <label>:14                                      ; preds = %5
419  %15 = getelementptr inbounds i32, i32* %out, i64 %indvars.iv4
420  store i32 %11, i32* %15, align 4
421  %indvars.iv.next5 = add i64 %indvars.iv4, 1
422  %lftr.wideiv = trunc i64 %indvars.iv.next5 to i32
423  %exitcond = icmp eq i32 %lftr.wideiv, 32
424  br i1 %exitcond, label %16, label %.preheader
425
426; <label>:16                                      ; preds = %14
427  ret void
428}
429
430; Can vectorize.
431;CHECK-LABEL: @example14(
432;CHECK: <4 x i32>
433;CHECK: ret void
434define void @example14(i32** nocapture %in, i32** nocapture %coeff, i32* nocapture %out) nounwind uwtable ssp {
435.preheader3:
436  br label %.preheader
437
438.preheader:                                       ; preds = %11, %.preheader3
439  %indvars.iv7 = phi i64 [ 0, %.preheader3 ], [ %indvars.iv.next8, %11 ]
440  %sum.05 = phi i32 [ 0, %.preheader3 ], [ %10, %11 ]
441  br label %0
442
443; <label>:0                                       ; preds = %0, %.preheader
444  %indvars.iv = phi i64 [ 0, %.preheader ], [ %indvars.iv.next, %0 ]
445  %sum.12 = phi i32 [ %sum.05, %.preheader ], [ %10, %0 ]
446  %1 = getelementptr inbounds i32*, i32** %in, i64 %indvars.iv
447  %2 = load i32*, i32** %1, align 8
448  %3 = getelementptr inbounds i32, i32* %2, i64 %indvars.iv7
449  %4 = load i32, i32* %3, align 4
450  %5 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv
451  %6 = load i32*, i32** %5, align 8
452  %7 = getelementptr inbounds i32, i32* %6, i64 %indvars.iv7
453  %8 = load i32, i32* %7, align 4
454  %9 = mul nsw i32 %8, %4
455  %10 = add nsw i32 %9, %sum.12
456  %indvars.iv.next = add i64 %indvars.iv, 1
457  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
458  %exitcond = icmp eq i32 %lftr.wideiv, 1024
459  br i1 %exitcond, label %11, label %0
460
461; <label>:11                                      ; preds = %0
462  %indvars.iv.next8 = add i64 %indvars.iv7, 1
463  %lftr.wideiv9 = trunc i64 %indvars.iv.next8 to i32
464  %exitcond10 = icmp eq i32 %lftr.wideiv9, 32
465  br i1 %exitcond10, label %.preheader3.1, label %.preheader
466
467.preheader3.1:                                    ; preds = %11
468  store i32 %10, i32* %out, align 4
469  br label %.preheader.1
470
471.preheader.1:                                     ; preds = %24, %.preheader3.1
472  %indvars.iv7.1 = phi i64 [ 0, %.preheader3.1 ], [ %indvars.iv.next8.1, %24 ]
473  %sum.05.1 = phi i32 [ 0, %.preheader3.1 ], [ %23, %24 ]
474  br label %12
475
476; <label>:12                                      ; preds = %12, %.preheader.1
477  %indvars.iv.1 = phi i64 [ 0, %.preheader.1 ], [ %13, %12 ]
478  %sum.12.1 = phi i32 [ %sum.05.1, %.preheader.1 ], [ %23, %12 ]
479  %13 = add nsw i64 %indvars.iv.1, 1
480  %14 = getelementptr inbounds i32*, i32** %in, i64 %13
481  %15 = load i32*, i32** %14, align 8
482  %16 = getelementptr inbounds i32, i32* %15, i64 %indvars.iv7.1
483  %17 = load i32, i32* %16, align 4
484  %18 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.1
485  %19 = load i32*, i32** %18, align 8
486  %20 = getelementptr inbounds i32, i32* %19, i64 %indvars.iv7.1
487  %21 = load i32, i32* %20, align 4
488  %22 = mul nsw i32 %21, %17
489  %23 = add nsw i32 %22, %sum.12.1
490  %lftr.wideiv.1 = trunc i64 %13 to i32
491  %exitcond.1 = icmp eq i32 %lftr.wideiv.1, 1024
492  br i1 %exitcond.1, label %24, label %12
493
494; <label>:24                                      ; preds = %12
495  %indvars.iv.next8.1 = add i64 %indvars.iv7.1, 1
496  %lftr.wideiv9.1 = trunc i64 %indvars.iv.next8.1 to i32
497  %exitcond10.1 = icmp eq i32 %lftr.wideiv9.1, 32
498  br i1 %exitcond10.1, label %.preheader3.2, label %.preheader.1
499
500.preheader3.2:                                    ; preds = %24
501  %25 = getelementptr inbounds i32, i32* %out, i64 1
502  store i32 %23, i32* %25, align 4
503  br label %.preheader.2
504
505.preheader.2:                                     ; preds = %38, %.preheader3.2
506  %indvars.iv7.2 = phi i64 [ 0, %.preheader3.2 ], [ %indvars.iv.next8.2, %38 ]
507  %sum.05.2 = phi i32 [ 0, %.preheader3.2 ], [ %37, %38 ]
508  br label %26
509
510; <label>:26                                      ; preds = %26, %.preheader.2
511  %indvars.iv.2 = phi i64 [ 0, %.preheader.2 ], [ %indvars.iv.next.2, %26 ]
512  %sum.12.2 = phi i32 [ %sum.05.2, %.preheader.2 ], [ %37, %26 ]
513  %27 = add nsw i64 %indvars.iv.2, 2
514  %28 = getelementptr inbounds i32*, i32** %in, i64 %27
515  %29 = load i32*, i32** %28, align 8
516  %30 = getelementptr inbounds i32, i32* %29, i64 %indvars.iv7.2
517  %31 = load i32, i32* %30, align 4
518  %32 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.2
519  %33 = load i32*, i32** %32, align 8
520  %34 = getelementptr inbounds i32, i32* %33, i64 %indvars.iv7.2
521  %35 = load i32, i32* %34, align 4
522  %36 = mul nsw i32 %35, %31
523  %37 = add nsw i32 %36, %sum.12.2
524  %indvars.iv.next.2 = add i64 %indvars.iv.2, 1
525  %lftr.wideiv.2 = trunc i64 %indvars.iv.next.2 to i32
526  %exitcond.2 = icmp eq i32 %lftr.wideiv.2, 1024
527  br i1 %exitcond.2, label %38, label %26
528
529; <label>:38                                      ; preds = %26
530  %indvars.iv.next8.2 = add i64 %indvars.iv7.2, 1
531  %lftr.wideiv9.2 = trunc i64 %indvars.iv.next8.2 to i32
532  %exitcond10.2 = icmp eq i32 %lftr.wideiv9.2, 32
533  br i1 %exitcond10.2, label %.preheader3.3, label %.preheader.2
534
535.preheader3.3:                                    ; preds = %38
536  %39 = getelementptr inbounds i32, i32* %out, i64 2
537  store i32 %37, i32* %39, align 4
538  br label %.preheader.3
539
540.preheader.3:                                     ; preds = %52, %.preheader3.3
541  %indvars.iv7.3 = phi i64 [ 0, %.preheader3.3 ], [ %indvars.iv.next8.3, %52 ]
542  %sum.05.3 = phi i32 [ 0, %.preheader3.3 ], [ %51, %52 ]
543  br label %40
544
545; <label>:40                                      ; preds = %40, %.preheader.3
546  %indvars.iv.3 = phi i64 [ 0, %.preheader.3 ], [ %indvars.iv.next.3, %40 ]
547  %sum.12.3 = phi i32 [ %sum.05.3, %.preheader.3 ], [ %51, %40 ]
548  %41 = add nsw i64 %indvars.iv.3, 3
549  %42 = getelementptr inbounds i32*, i32** %in, i64 %41
550  %43 = load i32*, i32** %42, align 8
551  %44 = getelementptr inbounds i32, i32* %43, i64 %indvars.iv7.3
552  %45 = load i32, i32* %44, align 4
553  %46 = getelementptr inbounds i32*, i32** %coeff, i64 %indvars.iv.3
554  %47 = load i32*, i32** %46, align 8
555  %48 = getelementptr inbounds i32, i32* %47, i64 %indvars.iv7.3
556  %49 = load i32, i32* %48, align 4
557  %50 = mul nsw i32 %49, %45
558  %51 = add nsw i32 %50, %sum.12.3
559  %indvars.iv.next.3 = add i64 %indvars.iv.3, 1
560  %lftr.wideiv.3 = trunc i64 %indvars.iv.next.3 to i32
561  %exitcond.3 = icmp eq i32 %lftr.wideiv.3, 1024
562  br i1 %exitcond.3, label %52, label %40
563
564; <label>:52                                      ; preds = %40
565  %indvars.iv.next8.3 = add i64 %indvars.iv7.3, 1
566  %lftr.wideiv9.3 = trunc i64 %indvars.iv.next8.3 to i32
567  %exitcond10.3 = icmp eq i32 %lftr.wideiv9.3, 32
568  br i1 %exitcond10.3, label %53, label %.preheader.3
569
570; <label>:53                                      ; preds = %52
571  %54 = getelementptr inbounds i32, i32* %out, i64 3
572  store i32 %51, i32* %54, align 4
573  ret void
574}
575
576;CHECK-LABEL: @example21(
577;CHECK: load <4 x i32>
578;CHECK: shufflevector {{.*}} <i32 3, i32 2, i32 1, i32 0>
579;CHECK: ret i32
580define i32 @example21(i32* nocapture %b, i32 %n) nounwind uwtable readonly ssp {
581  %1 = icmp sgt i32 %n, 0
582  br i1 %1, label %.lr.ph, label %._crit_edge
583
584.lr.ph:                                           ; preds = %0
585  %2 = sext i32 %n to i64
586  br label %3
587
588; <label>:3                                       ; preds = %.lr.ph, %3
589  %indvars.iv = phi i64 [ %2, %.lr.ph ], [ %indvars.iv.next, %3 ]
590  %a.02 = phi i32 [ 0, %.lr.ph ], [ %6, %3 ]
591  %indvars.iv.next = add i64 %indvars.iv, -1
592  %4 = getelementptr inbounds i32, i32* %b, i64 %indvars.iv.next
593  %5 = load i32, i32* %4, align 4
594  %6 = add nsw i32 %5, %a.02
595  %7 = trunc i64 %indvars.iv.next to i32
596  %8 = icmp sgt i32 %7, 0
597  br i1 %8, label %3, label %._crit_edge
598
599._crit_edge:                                      ; preds = %3, %0
600  %a.0.lcssa = phi i32 [ 0, %0 ], [ %6, %3 ]
601  ret i32 %a.0.lcssa
602}
603
604;CHECK-LABEL: @example23(
605;CHECK: <4 x i32>
606;CHECK: ret void
607define void @example23(i16* nocapture %src, i32* nocapture %dst) nounwind uwtable ssp {
608  br label %1
609
610; <label>:1                                       ; preds = %1, %0
611  %.04 = phi i16* [ %src, %0 ], [ %2, %1 ]
612  %.013 = phi i32* [ %dst, %0 ], [ %6, %1 ]
613  %i.02 = phi i32 [ 0, %0 ], [ %7, %1 ]
614  %2 = getelementptr inbounds i16, i16* %.04, i64 1
615  %3 = load i16, i16* %.04, align 2
616  %4 = zext i16 %3 to i32
617  %5 = shl nuw nsw i32 %4, 7
618  %6 = getelementptr inbounds i32, i32* %.013, i64 1
619  store i32 %5, i32* %.013, align 4
620  %7 = add nsw i32 %i.02, 1
621  %exitcond = icmp eq i32 %7, 256
622  br i1 %exitcond, label %8, label %1
623
624; <label>:8                                       ; preds = %1
625  ret void
626}
627
628;CHECK-LABEL: @example24(
629;CHECK: shufflevector <4 x i16>
630;CHECK: ret void
631define void @example24(i16 signext %x, i16 signext %y) nounwind uwtable ssp {
632  br label %1
633
634; <label>:1                                       ; preds = %1, %0
635  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
636  %2 = getelementptr inbounds [1024 x float], [1024 x float]* @fa, i64 0, i64 %indvars.iv
637  %3 = load float, float* %2, align 4
638  %4 = getelementptr inbounds [1024 x float], [1024 x float]* @fb, i64 0, i64 %indvars.iv
639  %5 = load float, float* %4, align 4
640  %6 = fcmp olt float %3, %5
641  %x.y = select i1 %6, i16 %x, i16 %y
642  %7 = sext i16 %x.y to i32
643  %8 = getelementptr inbounds [1024 x i32], [1024 x i32]* @ic, i64 0, i64 %indvars.iv
644  store i32 %7, i32* %8, align 4
645  %indvars.iv.next = add i64 %indvars.iv, 1
646  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
647  %exitcond = icmp eq i32 %lftr.wideiv, 1024
648  br i1 %exitcond, label %9, label %1
649
650; <label>:9                                       ; preds = %1
651  ret void
652}
653
654;CHECK-LABEL: @example25(
655;CHECK: and <4 x i1>
656;CHECK: zext <4 x i1>
657;CHECK: ret void
658define void @example25() nounwind uwtable ssp {
659  br label %1
660
661; <label>:1                                       ; preds = %1, %0
662  %indvars.iv = phi i64 [ 0, %0 ], [ %indvars.iv.next, %1 ]
663  %2 = getelementptr inbounds [1024 x float], [1024 x float]* @da, i64 0, i64 %indvars.iv
664  %3 = load float, float* %2, align 4
665  %4 = getelementptr inbounds [1024 x float], [1024 x float]* @db, i64 0, i64 %indvars.iv
666  %5 = load float, float* %4, align 4
667  %6 = fcmp olt float %3, %5
668  %7 = getelementptr inbounds [1024 x float], [1024 x float]* @dc, i64 0, i64 %indvars.iv
669  %8 = load float, float* %7, align 4
670  %9 = getelementptr inbounds [1024 x float], [1024 x float]* @dd, i64 0, i64 %indvars.iv
671  %10 = load float, float* %9, align 4
672  %11 = fcmp olt float %8, %10
673  %12 = and i1 %6, %11
674  %13 = zext i1 %12 to i32
675  %14 = getelementptr inbounds [1024 x i32], [1024 x i32]* @dj, i64 0, i64 %indvars.iv
676  store i32 %13, i32* %14, align 4
677  %indvars.iv.next = add i64 %indvars.iv, 1
678  %lftr.wideiv = trunc i64 %indvars.iv.next to i32
679  %exitcond = icmp eq i32 %lftr.wideiv, 1024
680  br i1 %exitcond, label %15, label %1
681
682; <label>:15                                      ; preds = %1
683  ret void
684}
685
686