36   (__m256i)__builtin_ia32_mpsadbw256((__v32qi)(__m256i)(X), \
37                                      (__v32qi)(__m256i)(Y), (int)(M))
39 static __inline__ __m256i __DEFAULT_FN_ATTRS
40 _mm256_abs_epi8(__m256i __a)  in _mm256_abs_epi8()
42     return (__m256i)__builtin_ia32_pabsb256((__v32qi)__a);  in _mm256_abs_epi8()
45 static __inline__ __m256i __DEFAULT_FN_ATTRS
46 _mm256_abs_epi16(__m256i __a)  in _mm256_abs_epi16()
48     return (__m256i)__builtin_ia32_pabsw256((__v16hi)__a);  in _mm256_abs_epi16()
51 static __inline__ __m256i __DEFAULT_FN_ATTRS
52 _mm256_abs_epi32(__m256i __a)  in _mm256_abs_epi32()
54     return (__m256i)__builtin_ia32_pabsd256((__v8si)__a);  in _mm256_abs_epi32()
57 static __inline__ __m256i __DEFAULT_FN_ATTRS
58 _mm256_packs_epi16(__m256i __a, __m256i __b)  in _mm256_packs_epi16()
60   return (__m256i)__builtin_ia32_packsswb256((__v16hi)__a, (__v16hi)__b);  in _mm256_packs_epi16()
63 static __inline__ __m256i __DEFAULT_FN_ATTRS
64 _mm256_packs_epi32(__m256i __a, __m256i __b)  in _mm256_packs_epi32()
66   return (__m256i)__builtin_ia32_packssdw256((__v8si)__a, (__v8si)__b);  in _mm256_packs_epi32()
69 static __inline__ __m256i __DEFAULT_FN_ATTRS
70 _mm256_packus_epi16(__m256i __a, __m256i __b)  in _mm256_packus_epi16()
72   return (__m256i)__builtin_ia32_packuswb256((__v16hi)__a, (__v16hi)__b);  in _mm256_packus_epi16()
75 static __inline__ __m256i __DEFAULT_FN_ATTRS
76 _mm256_packus_epi32(__m256i __V1, __m256i __V2)  in _mm256_packus_epi32()
78   return (__m256i) __builtin_ia32_packusdw256((__v8si)__V1, (__v8si)__V2);  in _mm256_packus_epi32()
81 static __inline__ __m256i __DEFAULT_FN_ATTRS
82 _mm256_add_epi8(__m256i __a, __m256i __b)  in _mm256_add_epi8()
84   return (__m256i)((__v32qu)__a + (__v32qu)__b);  in _mm256_add_epi8()
87 static __inline__ __m256i __DEFAULT_FN_ATTRS
88 _mm256_add_epi16(__m256i __a, __m256i __b)  in _mm256_add_epi16()
90   return (__m256i)((__v16hu)__a + (__v16hu)__b);  in _mm256_add_epi16()
93 static __inline__ __m256i __DEFAULT_FN_ATTRS
94 _mm256_add_epi32(__m256i __a, __m256i __b)  in _mm256_add_epi32()
96   return (__m256i)((__v8su)__a + (__v8su)__b);  in _mm256_add_epi32()
99 static __inline__ __m256i __DEFAULT_FN_ATTRS
100 _mm256_add_epi64(__m256i __a, __m256i __b)  in _mm256_add_epi64()
102   return (__m256i)((__v4du)__a + (__v4du)__b);  in _mm256_add_epi64()
105 static __inline__ __m256i __DEFAULT_FN_ATTRS
106 _mm256_adds_epi8(__m256i __a, __m256i __b)  in _mm256_adds_epi8()
108   return (__m256i)__builtin_ia32_paddsb256((__v32qi)__a, (__v32qi)__b);  in _mm256_adds_epi8()
111 static __inline__ __m256i __DEFAULT_FN_ATTRS
112 _mm256_adds_epi16(__m256i __a, __m256i __b)  in _mm256_adds_epi16()
114   return (__m256i)__builtin_ia32_paddsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_adds_epi16()
117 static __inline__ __m256i __DEFAULT_FN_ATTRS
118 _mm256_adds_epu8(__m256i __a, __m256i __b)  in _mm256_adds_epu8()
120   return (__m256i)__builtin_ia32_paddusb256((__v32qi)__a, (__v32qi)__b);  in _mm256_adds_epu8()
123 static __inline__ __m256i __DEFAULT_FN_ATTRS
124 _mm256_adds_epu16(__m256i __a, __m256i __b)  in _mm256_adds_epu16()
126   return (__m256i)__builtin_ia32_paddusw256((__v16hi)__a, (__v16hi)__b);  in _mm256_adds_epu16()
130   (__m256i)__builtin_ia32_palignr256((__v32qi)(__m256i)(a), \
131                                      (__v32qi)(__m256i)(b), (n)); })
133 static __inline__ __m256i __DEFAULT_FN_ATTRS
134 _mm256_and_si256(__m256i __a, __m256i __b)  in _mm256_and_si256()
136   return (__m256i)((__v4du)__a & (__v4du)__b);  in _mm256_and_si256()
139 static __inline__ __m256i __DEFAULT_FN_ATTRS
140 _mm256_andnot_si256(__m256i __a, __m256i __b)  in _mm256_andnot_si256()
142   return (__m256i)(~(__v4du)__a & (__v4du)__b);  in _mm256_andnot_si256()
145 static __inline__ __m256i __DEFAULT_FN_ATTRS
146 _mm256_avg_epu8(__m256i __a, __m256i __b)  in _mm256_avg_epu8()
148   return (__m256i)__builtin_ia32_pavgb256((__v32qi)__a, (__v32qi)__b);  in _mm256_avg_epu8()
151 static __inline__ __m256i __DEFAULT_FN_ATTRS
152 _mm256_avg_epu16(__m256i __a, __m256i __b)  in _mm256_avg_epu16()
154   return (__m256i)__builtin_ia32_pavgw256((__v16hi)__a, (__v16hi)__b);  in _mm256_avg_epu16()
157 static __inline__ __m256i __DEFAULT_FN_ATTRS
158 _mm256_blendv_epi8(__m256i __V1, __m256i __V2, __m256i __M)  in _mm256_blendv_epi8()
160   return (__m256i)__builtin_ia32_pblendvb256((__v32qi)__V1, (__v32qi)__V2,  in _mm256_blendv_epi8()
165   (__m256i)__builtin_shufflevector((__v16hi)(__m256i)(V1),   \
166                                    (__v16hi)(__m256i)(V2),   \
184 static __inline__ __m256i __DEFAULT_FN_ATTRS
185 _mm256_cmpeq_epi8(__m256i __a, __m256i __b)  in _mm256_cmpeq_epi8()
187   return (__m256i)((__v32qi)__a == (__v32qi)__b);  in _mm256_cmpeq_epi8()
190 static __inline__ __m256i __DEFAULT_FN_ATTRS
191 _mm256_cmpeq_epi16(__m256i __a, __m256i __b)  in _mm256_cmpeq_epi16()
193   return (__m256i)((__v16hi)__a == (__v16hi)__b);  in _mm256_cmpeq_epi16()
196 static __inline__ __m256i __DEFAULT_FN_ATTRS
197 _mm256_cmpeq_epi32(__m256i __a, __m256i __b)  in _mm256_cmpeq_epi32()
199   return (__m256i)((__v8si)__a == (__v8si)__b);  in _mm256_cmpeq_epi32()
202 static __inline__ __m256i __DEFAULT_FN_ATTRS
203 _mm256_cmpeq_epi64(__m256i __a, __m256i __b)  in _mm256_cmpeq_epi64()
205   return (__m256i)((__v4di)__a == (__v4di)__b);  in _mm256_cmpeq_epi64()
208 static __inline__ __m256i __DEFAULT_FN_ATTRS
209 _mm256_cmpgt_epi8(__m256i __a, __m256i __b)  in _mm256_cmpgt_epi8()
213   return (__m256i)((__v32qs)__a > (__v32qs)__b);  in _mm256_cmpgt_epi8()
216 static __inline__ __m256i __DEFAULT_FN_ATTRS
217 _mm256_cmpgt_epi16(__m256i __a, __m256i __b)  in _mm256_cmpgt_epi16()
219   return (__m256i)((__v16hi)__a > (__v16hi)__b);  in _mm256_cmpgt_epi16()
222 static __inline__ __m256i __DEFAULT_FN_ATTRS
223 _mm256_cmpgt_epi32(__m256i __a, __m256i __b)  in _mm256_cmpgt_epi32()
225   return (__m256i)((__v8si)__a > (__v8si)__b);  in _mm256_cmpgt_epi32()
228 static __inline__ __m256i __DEFAULT_FN_ATTRS
229 _mm256_cmpgt_epi64(__m256i __a, __m256i __b)  in _mm256_cmpgt_epi64()
231   return (__m256i)((__v4di)__a > (__v4di)__b);  in _mm256_cmpgt_epi64()
234 static __inline__ __m256i __DEFAULT_FN_ATTRS
235 _mm256_hadd_epi16(__m256i __a, __m256i __b)  in _mm256_hadd_epi16()
237     return (__m256i)__builtin_ia32_phaddw256((__v16hi)__a, (__v16hi)__b);  in _mm256_hadd_epi16()
240 static __inline__ __m256i __DEFAULT_FN_ATTRS
241 _mm256_hadd_epi32(__m256i __a, __m256i __b)  in _mm256_hadd_epi32()
243     return (__m256i)__builtin_ia32_phaddd256((__v8si)__a, (__v8si)__b);  in _mm256_hadd_epi32()
246 static __inline__ __m256i __DEFAULT_FN_ATTRS
247 _mm256_hadds_epi16(__m256i __a, __m256i __b)  in _mm256_hadds_epi16()
249     return (__m256i)__builtin_ia32_phaddsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_hadds_epi16()
252 static __inline__ __m256i __DEFAULT_FN_ATTRS
253 _mm256_hsub_epi16(__m256i __a, __m256i __b)  in _mm256_hsub_epi16()
255     return (__m256i)__builtin_ia32_phsubw256((__v16hi)__a, (__v16hi)__b);  in _mm256_hsub_epi16()
258 static __inline__ __m256i __DEFAULT_FN_ATTRS
259 _mm256_hsub_epi32(__m256i __a, __m256i __b)  in _mm256_hsub_epi32()
261     return (__m256i)__builtin_ia32_phsubd256((__v8si)__a, (__v8si)__b);  in _mm256_hsub_epi32()
264 static __inline__ __m256i __DEFAULT_FN_ATTRS
265 _mm256_hsubs_epi16(__m256i __a, __m256i __b)  in _mm256_hsubs_epi16()
267     return (__m256i)__builtin_ia32_phsubsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_hsubs_epi16()
270 static __inline__ __m256i __DEFAULT_FN_ATTRS
271 _mm256_maddubs_epi16(__m256i __a, __m256i __b)  in _mm256_maddubs_epi16()
273     return (__m256i)__builtin_ia32_pmaddubsw256((__v32qi)__a, (__v32qi)__b);  in _mm256_maddubs_epi16()
276 static __inline__ __m256i __DEFAULT_FN_ATTRS
277 _mm256_madd_epi16(__m256i __a, __m256i __b)  in _mm256_madd_epi16()
279   return (__m256i)__builtin_ia32_pmaddwd256((__v16hi)__a, (__v16hi)__b);  in _mm256_madd_epi16()
282 static __inline__ __m256i __DEFAULT_FN_ATTRS
283 _mm256_max_epi8(__m256i __a, __m256i __b)  in _mm256_max_epi8()
285   return (__m256i)__builtin_ia32_pmaxsb256((__v32qi)__a, (__v32qi)__b);  in _mm256_max_epi8()
288 static __inline__ __m256i __DEFAULT_FN_ATTRS
289 _mm256_max_epi16(__m256i __a, __m256i __b)  in _mm256_max_epi16()
291   return (__m256i)__builtin_ia32_pmaxsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_max_epi16()
294 static __inline__ __m256i __DEFAULT_FN_ATTRS
295 _mm256_max_epi32(__m256i __a, __m256i __b)  in _mm256_max_epi32()
297   return (__m256i)__builtin_ia32_pmaxsd256((__v8si)__a, (__v8si)__b);  in _mm256_max_epi32()
300 static __inline__ __m256i __DEFAULT_FN_ATTRS
301 _mm256_max_epu8(__m256i __a, __m256i __b)  in _mm256_max_epu8()
303   return (__m256i)__builtin_ia32_pmaxub256((__v32qi)__a, (__v32qi)__b);  in _mm256_max_epu8()
306 static __inline__ __m256i __DEFAULT_FN_ATTRS
307 _mm256_max_epu16(__m256i __a, __m256i __b)  in _mm256_max_epu16()
309   return (__m256i)__builtin_ia32_pmaxuw256((__v16hi)__a, (__v16hi)__b);  in _mm256_max_epu16()
312 static __inline__ __m256i __DEFAULT_FN_ATTRS
313 _mm256_max_epu32(__m256i __a, __m256i __b)  in _mm256_max_epu32()
315   return (__m256i)__builtin_ia32_pmaxud256((__v8si)__a, (__v8si)__b);  in _mm256_max_epu32()
318 static __inline__ __m256i __DEFAULT_FN_ATTRS
319 _mm256_min_epi8(__m256i __a, __m256i __b)  in _mm256_min_epi8()
321   return (__m256i)__builtin_ia32_pminsb256((__v32qi)__a, (__v32qi)__b);  in _mm256_min_epi8()
324 static __inline__ __m256i __DEFAULT_FN_ATTRS
325 _mm256_min_epi16(__m256i __a, __m256i __b)  in _mm256_min_epi16()
327   return (__m256i)__builtin_ia32_pminsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_min_epi16()
330 static __inline__ __m256i __DEFAULT_FN_ATTRS
331 _mm256_min_epi32(__m256i __a, __m256i __b)  in _mm256_min_epi32()
333   return (__m256i)__builtin_ia32_pminsd256((__v8si)__a, (__v8si)__b);  in _mm256_min_epi32()
336 static __inline__ __m256i __DEFAULT_FN_ATTRS
337 _mm256_min_epu8(__m256i __a, __m256i __b)  in _mm256_min_epu8()
339   return (__m256i)__builtin_ia32_pminub256((__v32qi)__a, (__v32qi)__b);  in _mm256_min_epu8()
342 static __inline__ __m256i __DEFAULT_FN_ATTRS
343 _mm256_min_epu16(__m256i __a, __m256i __b)  in _mm256_min_epu16()
345   return (__m256i)__builtin_ia32_pminuw256 ((__v16hi)__a, (__v16hi)__b);  in _mm256_min_epu16()
348 static __inline__ __m256i __DEFAULT_FN_ATTRS
349 _mm256_min_epu32(__m256i __a, __m256i __b)  in _mm256_min_epu32()
351   return (__m256i)__builtin_ia32_pminud256((__v8si)__a, (__v8si)__b);  in _mm256_min_epu32()
355 _mm256_movemask_epi8(__m256i __a)  in _mm256_movemask_epi8()
360 static __inline__ __m256i __DEFAULT_FN_ATTRS
365   return (__m256i)__builtin_convertvector((__v16qs)__V, __v16hi);  in _mm256_cvtepi8_epi16()
368 static __inline__ __m256i __DEFAULT_FN_ATTRS
373 …return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qs)__V, (__v16qs)__V, 0, 1, …  in _mm256_cvtepi8_epi32()
376 static __inline__ __m256i __DEFAULT_FN_ATTRS
381 …return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qs)__V, (__v16qs)__V, 0, 1, …  in _mm256_cvtepi8_epi64()
384 static __inline__ __m256i __DEFAULT_FN_ATTRS
387   return (__m256i)__builtin_convertvector((__v8hi)__V, __v8si);  in _mm256_cvtepi16_epi32()
390 static __inline__ __m256i __DEFAULT_FN_ATTRS
393 …return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v8hi)__V, (__v8hi)__V, 0, 1, 2,…  in _mm256_cvtepi16_epi64()
396 static __inline__ __m256i __DEFAULT_FN_ATTRS
399   return (__m256i)__builtin_convertvector((__v4si)__V, __v4di);  in _mm256_cvtepi32_epi64()
402 static __inline__ __m256i __DEFAULT_FN_ATTRS
405   return (__m256i)__builtin_convertvector((__v16qu)__V, __v16hi);  in _mm256_cvtepu8_epi16()
408 static __inline__ __m256i __DEFAULT_FN_ATTRS
411 …return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qu)__V, (__v16qu)__V, 0, 1, …  in _mm256_cvtepu8_epi32()
414 static __inline__ __m256i __DEFAULT_FN_ATTRS
417 …return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v16qu)__V, (__v16qu)__V, 0, 1, …  in _mm256_cvtepu8_epi64()
420 static __inline__ __m256i __DEFAULT_FN_ATTRS
423   return (__m256i)__builtin_convertvector((__v8hu)__V, __v8si);  in _mm256_cvtepu16_epi32()
426 static __inline__ __m256i __DEFAULT_FN_ATTRS
429 …return (__m256i)__builtin_convertvector(__builtin_shufflevector((__v8hu)__V, (__v8hu)__V, 0, 1, 2,…  in _mm256_cvtepu16_epi64()
432 static __inline__ __m256i __DEFAULT_FN_ATTRS
435   return (__m256i)__builtin_convertvector((__v4su)__V, __v4di);  in _mm256_cvtepu32_epi64()
438 static __inline__  __m256i __DEFAULT_FN_ATTRS
439 _mm256_mul_epi32(__m256i __a, __m256i __b)  in _mm256_mul_epi32()
441   return (__m256i)__builtin_ia32_pmuldq256((__v8si)__a, (__v8si)__b);  in _mm256_mul_epi32()
444 static __inline__ __m256i __DEFAULT_FN_ATTRS
445 _mm256_mulhrs_epi16(__m256i __a, __m256i __b)  in _mm256_mulhrs_epi16()
447   return (__m256i)__builtin_ia32_pmulhrsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_mulhrs_epi16()
450 static __inline__ __m256i __DEFAULT_FN_ATTRS
451 _mm256_mulhi_epu16(__m256i __a, __m256i __b)  in _mm256_mulhi_epu16()
453   return (__m256i)__builtin_ia32_pmulhuw256((__v16hi)__a, (__v16hi)__b);  in _mm256_mulhi_epu16()
456 static __inline__ __m256i __DEFAULT_FN_ATTRS
457 _mm256_mulhi_epi16(__m256i __a, __m256i __b)  in _mm256_mulhi_epi16()
459   return (__m256i)__builtin_ia32_pmulhw256((__v16hi)__a, (__v16hi)__b);  in _mm256_mulhi_epi16()
462 static __inline__ __m256i __DEFAULT_FN_ATTRS
463 _mm256_mullo_epi16(__m256i __a, __m256i __b)  in _mm256_mullo_epi16()
465   return (__m256i)((__v16hu)__a * (__v16hu)__b);  in _mm256_mullo_epi16()
468 static __inline__  __m256i __DEFAULT_FN_ATTRS
469 _mm256_mullo_epi32 (__m256i __a, __m256i __b)  in _mm256_mullo_epi32()
471   return (__m256i)((__v8su)__a * (__v8su)__b);  in _mm256_mullo_epi32()
474 static __inline__ __m256i __DEFAULT_FN_ATTRS
475 _mm256_mul_epu32(__m256i __a, __m256i __b)  in _mm256_mul_epu32()
480 static __inline__ __m256i __DEFAULT_FN_ATTRS
481 _mm256_or_si256(__m256i __a, __m256i __b)  in _mm256_or_si256()
483   return (__m256i)((__v4du)__a | (__v4du)__b);  in _mm256_or_si256()
486 static __inline__ __m256i __DEFAULT_FN_ATTRS
487 _mm256_sad_epu8(__m256i __a, __m256i __b)  in _mm256_sad_epu8()
492 static __inline__ __m256i __DEFAULT_FN_ATTRS
493 _mm256_shuffle_epi8(__m256i __a, __m256i __b)  in _mm256_shuffle_epi8()
495   return (__m256i)__builtin_ia32_pshufb256((__v32qi)__a, (__v32qi)__b);  in _mm256_shuffle_epi8()
499   (__m256i)__builtin_shufflevector((__v8si)(__m256i)(a), \
511   (__m256i)__builtin_shufflevector((__v16hi)(__m256i)(a), \
525   (__m256i)__builtin_shufflevector((__v16hi)(__m256i)(a), \
538 static __inline__ __m256i __DEFAULT_FN_ATTRS
539 _mm256_sign_epi8(__m256i __a, __m256i __b)  in _mm256_sign_epi8()
541     return (__m256i)__builtin_ia32_psignb256((__v32qi)__a, (__v32qi)__b);  in _mm256_sign_epi8()
544 static __inline__ __m256i __DEFAULT_FN_ATTRS
545 _mm256_sign_epi16(__m256i __a, __m256i __b)  in _mm256_sign_epi16()
547     return (__m256i)__builtin_ia32_psignw256((__v16hi)__a, (__v16hi)__b);  in _mm256_sign_epi16()
550 static __inline__ __m256i __DEFAULT_FN_ATTRS
551 _mm256_sign_epi32(__m256i __a, __m256i __b)  in _mm256_sign_epi32()
553     return (__m256i)__builtin_ia32_psignd256((__v8si)__a, (__v8si)__b);  in _mm256_sign_epi32()
557   (__m256i)__builtin_shufflevector(                                          \
559         (__v32qi)(__m256i)(a),                                               \
595 static __inline__ __m256i __DEFAULT_FN_ATTRS
596 _mm256_slli_epi16(__m256i __a, int __count)  in _mm256_slli_epi16()
598   return (__m256i)__builtin_ia32_psllwi256((__v16hi)__a, __count);  in _mm256_slli_epi16()
601 static __inline__ __m256i __DEFAULT_FN_ATTRS
602 _mm256_sll_epi16(__m256i __a, __m128i __count)  in _mm256_sll_epi16()
604   return (__m256i)__builtin_ia32_psllw256((__v16hi)__a, (__v8hi)__count);  in _mm256_sll_epi16()
607 static __inline__ __m256i __DEFAULT_FN_ATTRS
608 _mm256_slli_epi32(__m256i __a, int __count)  in _mm256_slli_epi32()
610   return (__m256i)__builtin_ia32_pslldi256((__v8si)__a, __count);  in _mm256_slli_epi32()
613 static __inline__ __m256i __DEFAULT_FN_ATTRS
614 _mm256_sll_epi32(__m256i __a, __m128i __count)  in _mm256_sll_epi32()
616   return (__m256i)__builtin_ia32_pslld256((__v8si)__a, (__v4si)__count);  in _mm256_sll_epi32()
619 static __inline__ __m256i __DEFAULT_FN_ATTRS
620 _mm256_slli_epi64(__m256i __a, int __count)  in _mm256_slli_epi64()
625 static __inline__ __m256i __DEFAULT_FN_ATTRS
626 _mm256_sll_epi64(__m256i __a, __m128i __count)  in _mm256_sll_epi64()
631 static __inline__ __m256i __DEFAULT_FN_ATTRS
632 _mm256_srai_epi16(__m256i __a, int __count)  in _mm256_srai_epi16()
634   return (__m256i)__builtin_ia32_psrawi256((__v16hi)__a, __count);  in _mm256_srai_epi16()
637 static __inline__ __m256i __DEFAULT_FN_ATTRS
638 _mm256_sra_epi16(__m256i __a, __m128i __count)  in _mm256_sra_epi16()
640   return (__m256i)__builtin_ia32_psraw256((__v16hi)__a, (__v8hi)__count);  in _mm256_sra_epi16()
643 static __inline__ __m256i __DEFAULT_FN_ATTRS
644 _mm256_srai_epi32(__m256i __a, int __count)  in _mm256_srai_epi32()
646   return (__m256i)__builtin_ia32_psradi256((__v8si)__a, __count);  in _mm256_srai_epi32()
649 static __inline__ __m256i __DEFAULT_FN_ATTRS
650 _mm256_sra_epi32(__m256i __a, __m128i __count)  in _mm256_sra_epi32()
652   return (__m256i)__builtin_ia32_psrad256((__v8si)__a, (__v4si)__count);  in _mm256_sra_epi32()
656   (__m256i)__builtin_shufflevector(                                           \
657         (__v32qi)(__m256i)(a),                                               \
694 static __inline__ __m256i __DEFAULT_FN_ATTRS
695 _mm256_srli_epi16(__m256i __a, int __count)  in _mm256_srli_epi16()
697   return (__m256i)__builtin_ia32_psrlwi256((__v16hi)__a, __count);  in _mm256_srli_epi16()
700 static __inline__ __m256i __DEFAULT_FN_ATTRS
701 _mm256_srl_epi16(__m256i __a, __m128i __count)  in _mm256_srl_epi16()
703   return (__m256i)__builtin_ia32_psrlw256((__v16hi)__a, (__v8hi)__count);  in _mm256_srl_epi16()
706 static __inline__ __m256i __DEFAULT_FN_ATTRS
707 _mm256_srli_epi32(__m256i __a, int __count)  in _mm256_srli_epi32()
709   return (__m256i)__builtin_ia32_psrldi256((__v8si)__a, __count);  in _mm256_srli_epi32()
712 static __inline__ __m256i __DEFAULT_FN_ATTRS
713 _mm256_srl_epi32(__m256i __a, __m128i __count)  in _mm256_srl_epi32()
715   return (__m256i)__builtin_ia32_psrld256((__v8si)__a, (__v4si)__count);  in _mm256_srl_epi32()
718 static __inline__ __m256i __DEFAULT_FN_ATTRS
719 _mm256_srli_epi64(__m256i __a, int __count)  in _mm256_srli_epi64()
724 static __inline__ __m256i __DEFAULT_FN_ATTRS
725 _mm256_srl_epi64(__m256i __a, __m128i __count)  in _mm256_srl_epi64()
730 static __inline__ __m256i __DEFAULT_FN_ATTRS
731 _mm256_sub_epi8(__m256i __a, __m256i __b)  in _mm256_sub_epi8()
733   return (__m256i)((__v32qu)__a - (__v32qu)__b);  in _mm256_sub_epi8()
736 static __inline__ __m256i __DEFAULT_FN_ATTRS
737 _mm256_sub_epi16(__m256i __a, __m256i __b)  in _mm256_sub_epi16()
739   return (__m256i)((__v16hu)__a - (__v16hu)__b);  in _mm256_sub_epi16()
742 static __inline__ __m256i __DEFAULT_FN_ATTRS
743 _mm256_sub_epi32(__m256i __a, __m256i __b)  in _mm256_sub_epi32()
745   return (__m256i)((__v8su)__a - (__v8su)__b);  in _mm256_sub_epi32()
748 static __inline__ __m256i __DEFAULT_FN_ATTRS
749 _mm256_sub_epi64(__m256i __a, __m256i __b)  in _mm256_sub_epi64()
751   return (__m256i)((__v4du)__a - (__v4du)__b);  in _mm256_sub_epi64()
754 static __inline__ __m256i __DEFAULT_FN_ATTRS
755 _mm256_subs_epi8(__m256i __a, __m256i __b)  in _mm256_subs_epi8()
757   return (__m256i)__builtin_ia32_psubsb256((__v32qi)__a, (__v32qi)__b);  in _mm256_subs_epi8()
760 static __inline__ __m256i __DEFAULT_FN_ATTRS
761 _mm256_subs_epi16(__m256i __a, __m256i __b)  in _mm256_subs_epi16()
763   return (__m256i)__builtin_ia32_psubsw256((__v16hi)__a, (__v16hi)__b);  in _mm256_subs_epi16()
766 static __inline__ __m256i __DEFAULT_FN_ATTRS
767 _mm256_subs_epu8(__m256i __a, __m256i __b)  in _mm256_subs_epu8()
769   return (__m256i)__builtin_ia32_psubusb256((__v32qi)__a, (__v32qi)__b);  in _mm256_subs_epu8()
772 static __inline__ __m256i __DEFAULT_FN_ATTRS
773 _mm256_subs_epu16(__m256i __a, __m256i __b)  in _mm256_subs_epu16()
775   return (__m256i)__builtin_ia32_psubusw256((__v16hi)__a, (__v16hi)__b);  in _mm256_subs_epu16()
778 static __inline__ __m256i __DEFAULT_FN_ATTRS
779 _mm256_unpackhi_epi8(__m256i __a, __m256i __b)  in _mm256_unpackhi_epi8()
781 …return (__m256i)__builtin_shufflevector((__v32qi)__a, (__v32qi)__b, 8, 32+8, 9, 32+9, 10, 32+10, 1…  in _mm256_unpackhi_epi8()
784 static __inline__ __m256i __DEFAULT_FN_ATTRS
785 _mm256_unpackhi_epi16(__m256i __a, __m256i __b)  in _mm256_unpackhi_epi16()
787 …return (__m256i)__builtin_shufflevector((__v16hi)__a, (__v16hi)__b, 4, 16+4, 5, 16+5, 6, 16+6, 7, …  in _mm256_unpackhi_epi16()
790 static __inline__ __m256i __DEFAULT_FN_ATTRS
791 _mm256_unpackhi_epi32(__m256i __a, __m256i __b)  in _mm256_unpackhi_epi32()
793   return (__m256i)__builtin_shufflevector((__v8si)__a, (__v8si)__b, 2, 8+2, 3, 8+3, 6, 8+6, 7, 8+7);  in _mm256_unpackhi_epi32()
796 static __inline__ __m256i __DEFAULT_FN_ATTRS
797 _mm256_unpackhi_epi64(__m256i __a, __m256i __b)  in _mm256_unpackhi_epi64()
799   return (__m256i)__builtin_shufflevector((__v4di)__a, (__v4di)__b, 1, 4+1, 3, 4+3);  in _mm256_unpackhi_epi64()
802 static __inline__ __m256i __DEFAULT_FN_ATTRS
803 _mm256_unpacklo_epi8(__m256i __a, __m256i __b)  in _mm256_unpacklo_epi8()
805 …return (__m256i)__builtin_shufflevector((__v32qi)__a, (__v32qi)__b, 0, 32+0, 1, 32+1, 2, 32+2, 3, …  in _mm256_unpacklo_epi8()
808 static __inline__ __m256i __DEFAULT_FN_ATTRS
809 _mm256_unpacklo_epi16(__m256i __a, __m256i __b)  in _mm256_unpacklo_epi16()
811 …return (__m256i)__builtin_shufflevector((__v16hi)__a, (__v16hi)__b, 0, 16+0, 1, 16+1, 2, 16+2, 3, …  in _mm256_unpacklo_epi16()
814 static __inline__ __m256i __DEFAULT_FN_ATTRS
815 _mm256_unpacklo_epi32(__m256i __a, __m256i __b)  in _mm256_unpacklo_epi32()
817   return (__m256i)__builtin_shufflevector((__v8si)__a, (__v8si)__b, 0, 8+0, 1, 8+1, 4, 8+4, 5, 8+5);  in _mm256_unpacklo_epi32()
820 static __inline__ __m256i __DEFAULT_FN_ATTRS
821 _mm256_unpacklo_epi64(__m256i __a, __m256i __b)  in _mm256_unpacklo_epi64()
823   return (__m256i)__builtin_shufflevector((__v4di)__a, (__v4di)__b, 0, 4+0, 2, 4+2);  in _mm256_unpacklo_epi64()
826 static __inline__ __m256i __DEFAULT_FN_ATTRS
827 _mm256_xor_si256(__m256i __a, __m256i __b)  in _mm256_xor_si256()
829   return (__m256i)((__v4du)__a ^ (__v4du)__b);  in _mm256_xor_si256()
832 static __inline__ __m256i __DEFAULT_FN_ATTRS
833 _mm256_stream_load_si256(__m256i const *__V)  in _mm256_stream_load_si256()
835   return (__m256i)__builtin_ia32_movntdqa256((const __v4di *)__V);  in _mm256_stream_load_si256()
862 static __inline__ __m256i __DEFAULT_FN_ATTRS
865   return (__m256i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 1, 0, 1);  in _mm256_broadcastsi128_si256()
877   (__m256i)__builtin_shufflevector((__v8si)(__m256i)(V1),   \
878                                    (__v8si)(__m256i)(V2),   \
888 static __inline__ __m256i __DEFAULT_FN_ATTRS
891 …return (__m256i)__builtin_shufflevector((__v16qi)__X, (__v16qi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, …  in _mm256_broadcastb_epi8()
894 static __inline__ __m256i __DEFAULT_FN_ATTRS
897 …return (__m256i)__builtin_shufflevector((__v8hi)__X, (__v8hi)__X, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,…  in _mm256_broadcastw_epi16()
900 static __inline__ __m256i __DEFAULT_FN_ATTRS
903   return (__m256i)__builtin_shufflevector((__v4si)__X, (__v4si)__X, 0, 0, 0, 0, 0, 0, 0, 0);  in _mm256_broadcastd_epi32()
906 static __inline__ __m256i __DEFAULT_FN_ATTRS
909   return (__m256i)__builtin_shufflevector((__v2di)__X, (__v2di)__X, 0, 0, 0, 0);  in _mm256_broadcastq_epi64()
937 static __inline__ __m256i __DEFAULT_FN_ATTRS
938 _mm256_permutevar8x32_epi32(__m256i __a, __m256i __b)  in _mm256_permutevar8x32_epi32()
940   return (__m256i)__builtin_ia32_permvarsi256((__v8si)__a, (__v8si)__b);  in _mm256_permutevar8x32_epi32()
952 _mm256_permutevar8x32_ps(__m256 __a, __m256i __b)  in _mm256_permutevar8x32_ps()
958   (__m256i)__builtin_shufflevector((__v4di)(__m256i)(V), \
966   (__m256i)__builtin_ia32_permti256((__m256i)(V1), (__m256i)(V2), (M)); })
969   (__m128i)__builtin_shufflevector((__v4di)(__m256i)(V), \
975   (__m256i)__builtin_shufflevector((__v4di)(__m256i)(V1), \
982 static __inline__ __m256i __DEFAULT_FN_ATTRS
983 _mm256_maskload_epi32(int const *__X, __m256i __M)  in _mm256_maskload_epi32()
985   return (__m256i)__builtin_ia32_maskloadd256((const __v8si *)__X, (__v8si)__M);  in _mm256_maskload_epi32()
988 static __inline__ __m256i __DEFAULT_FN_ATTRS
989 _mm256_maskload_epi64(long long const *__X, __m256i __M)  in _mm256_maskload_epi64()
991   return (__m256i)__builtin_ia32_maskloadq256((const __v4di *)__X, (__v4di)__M);  in _mm256_maskload_epi64()
1007 _mm256_maskstore_epi32(int *__X, __m256i __M, __m256i __Y)  in _mm256_maskstore_epi32()
1013 _mm256_maskstore_epi64(long long *__X, __m256i __M, __m256i __Y)  in _mm256_maskstore_epi64()
1030 static __inline__ __m256i __DEFAULT_FN_ATTRS
1031 _mm256_sllv_epi32(__m256i __X, __m256i __Y)  in _mm256_sllv_epi32()
1033   return (__m256i)__builtin_ia32_psllv8si((__v8si)__X, (__v8si)__Y);  in _mm256_sllv_epi32()
1042 static __inline__ __m256i __DEFAULT_FN_ATTRS
1043 _mm256_sllv_epi64(__m256i __X, __m256i __Y)  in _mm256_sllv_epi64()
1045   return (__m256i)__builtin_ia32_psllv4di((__v4di)__X, (__v4di)__Y);  in _mm256_sllv_epi64()
1054 static __inline__ __m256i __DEFAULT_FN_ATTRS
1055 _mm256_srav_epi32(__m256i __X, __m256i __Y)  in _mm256_srav_epi32()
1057   return (__m256i)__builtin_ia32_psrav8si((__v8si)__X, (__v8si)__Y);  in _mm256_srav_epi32()
1066 static __inline__ __m256i __DEFAULT_FN_ATTRS
1067 _mm256_srlv_epi32(__m256i __X, __m256i __Y)  in _mm256_srlv_epi32()
1069   return (__m256i)__builtin_ia32_psrlv8si((__v8si)__X, (__v8si)__Y);  in _mm256_srlv_epi32()
1078 static __inline__ __m256i __DEFAULT_FN_ATTRS
1079 _mm256_srlv_epi64(__m256i __X, __m256i __Y)  in _mm256_srlv_epi64()
1081   return (__m256i)__builtin_ia32_psrlv4di((__v4di)__X, (__v4di)__Y);  in _mm256_srlv_epi64()
1111                                         (__v4di)(__m256i)(i), \
1123                                        (__v8si)(__m256i)(i), \
1135                                        (__v4di)(__m256i)(i), \
1145   (__m256i)__builtin_ia32_gatherd_d256((__v8si)(__m256i)(a), \
1147                                        (__v8si)(__m256i)(i), \
1148                                        (__v8si)(__m256i)(mask), (s)); })
1159                                        (__v4di)(__m256i)(i), \
1169   (__m256i)__builtin_ia32_gatherd_q256((__v4di)(__m256i)(a), \
1172                                        (__v4di)(__m256i)(mask), (s)); })
1181   (__m256i)__builtin_ia32_gatherq_q256((__v4di)(__m256i)(a), \
1183                                        (__v4di)(__m256i)(i), \
1184                                        (__v4di)(__m256i)(mask), (s)); })
1214                                         (__v4di)(__m256i)(i), \
1231                                        (__v8si)(__m256i)(i), \
1248                                        (__v4di)(__m256i)(i), \
1259   (__m256i)__builtin_ia32_gatherd_d256((__v8si)_mm256_undefined_si256(), \
1260                                        (int const *)(m), (__v8si)(__m256i)(i), \
1270                                        (int const *)(m), (__v4di)(__m256i)(i), \
1280   (__m256i)__builtin_ia32_gatherd_q256((__v4di)_mm256_undefined_si256(), \
1292   (__m256i)__builtin_ia32_gatherq_q256((__v4di)_mm256_undefined_si256(), \
1294                                        (__v4di)(__m256i)(i), \