33 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
35   return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b,  in _mm_cmpeq_epi8_mask()
36                                                    (__mmask16)-1);  in _mm_cmpeq_epi8_mask()
39 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
40 _mm_mask_cmpeq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpeq_epi8_mask()
41   return (__mmask16)__builtin_ia32_pcmpeqb128_mask((__v16qi)__a, (__v16qi)__b,  in _mm_mask_cmpeq_epi8_mask()
45 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
47   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0,  in _mm_cmpeq_epu8_mask()
48                                                  (__mmask16)-1);  in _mm_cmpeq_epu8_mask()
51 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
52 _mm_mask_cmpeq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpeq_epu8_mask()
53   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 0,  in _mm_mask_cmpeq_epu8_mask()
105 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
107   return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b,  in _mm256_cmpeq_epi16_mask()
108                                                    (__mmask16)-1);  in _mm256_cmpeq_epi16_mask()
111 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
112 _mm256_mask_cmpeq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpeq_epi16_mask()
113   return (__mmask16)__builtin_ia32_pcmpeqw256_mask((__v16hi)__a, (__v16hi)__b,  in _mm256_mask_cmpeq_epi16_mask()
117 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
119   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0,  in _mm256_cmpeq_epu16_mask()
120                                                  (__mmask16)-1);  in _mm256_cmpeq_epu16_mask()
123 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
124 _mm256_mask_cmpeq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpeq_epu16_mask()
125   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 0,  in _mm256_mask_cmpeq_epu16_mask()
129 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
131   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,  in _mm_cmpge_epi8_mask()
132                                                 (__mmask16)-1);  in _mm_cmpge_epi8_mask()
135 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
136 _mm_mask_cmpge_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpge_epi8_mask()
137   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,  in _mm_mask_cmpge_epi8_mask()
141 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
143   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,  in _mm_cmpge_epu8_mask()
144                                                  (__mmask16)-1);  in _mm_cmpge_epu8_mask()
147 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
148 _mm_mask_cmpge_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpge_epu8_mask()
149   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 5,  in _mm_mask_cmpge_epu8_mask()
201 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
203   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,  in _mm256_cmpge_epi16_mask()
204                                                 (__mmask16)-1);  in _mm256_cmpge_epi16_mask()
207 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
208 _mm256_mask_cmpge_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpge_epi16_mask()
209   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,  in _mm256_mask_cmpge_epi16_mask()
213 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
215   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,  in _mm256_cmpge_epu16_mask()
216                                                  (__mmask16)-1);  in _mm256_cmpge_epu16_mask()
219 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
220 _mm256_mask_cmpge_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpge_epu16_mask()
221   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 5,  in _mm256_mask_cmpge_epu16_mask()
225 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
227   return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b,  in _mm_cmpgt_epi8_mask()
228                                                    (__mmask16)-1);  in _mm_cmpgt_epi8_mask()
231 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
232 _mm_mask_cmpgt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpgt_epi8_mask()
233   return (__mmask16)__builtin_ia32_pcmpgtb128_mask((__v16qi)__a, (__v16qi)__b,  in _mm_mask_cmpgt_epi8_mask()
237 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
239   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6,  in _mm_cmpgt_epu8_mask()
240                                                  (__mmask16)-1);  in _mm_cmpgt_epu8_mask()
243 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
244 _mm_mask_cmpgt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpgt_epu8_mask()
245   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 6,  in _mm_mask_cmpgt_epu8_mask()
297 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
299   return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b,  in _mm256_cmpgt_epi16_mask()
300                                                    (__mmask16)-1);  in _mm256_cmpgt_epi16_mask()
303 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
304 _mm256_mask_cmpgt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpgt_epi16_mask()
305   return (__mmask16)__builtin_ia32_pcmpgtw256_mask((__v16hi)__a, (__v16hi)__b,  in _mm256_mask_cmpgt_epi16_mask()
309 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
311   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6,  in _mm256_cmpgt_epu16_mask()
312                                                  (__mmask16)-1);  in _mm256_cmpgt_epu16_mask()
315 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
316 _mm256_mask_cmpgt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpgt_epu16_mask()
317   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 6,  in _mm256_mask_cmpgt_epu16_mask()
321 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
323   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,  in _mm_cmple_epi8_mask()
324                                                 (__mmask16)-1);  in _mm_cmple_epi8_mask()
327 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
328 _mm_mask_cmple_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmple_epi8_mask()
329   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,  in _mm_mask_cmple_epi8_mask()
333 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
335   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,  in _mm_cmple_epu8_mask()
336                                                  (__mmask16)-1);  in _mm_cmple_epu8_mask()
339 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
340 _mm_mask_cmple_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmple_epu8_mask()
341   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 2,  in _mm_mask_cmple_epu8_mask()
393 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
395   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,  in _mm256_cmple_epi16_mask()
396                                                 (__mmask16)-1);  in _mm256_cmple_epi16_mask()
399 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
400 _mm256_mask_cmple_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmple_epi16_mask()
401   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,  in _mm256_mask_cmple_epi16_mask()
405 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
407   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,  in _mm256_cmple_epu16_mask()
408                                                  (__mmask16)-1);  in _mm256_cmple_epu16_mask()
411 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
412 _mm256_mask_cmple_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmple_epu16_mask()
413   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 2,  in _mm256_mask_cmple_epu16_mask()
417 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
419   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,  in _mm_cmplt_epi8_mask()
420                                                 (__mmask16)-1);  in _mm_cmplt_epi8_mask()
423 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
424 _mm_mask_cmplt_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmplt_epi8_mask()
425   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,  in _mm_mask_cmplt_epi8_mask()
429 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
431   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,  in _mm_cmplt_epu8_mask()
432                                                  (__mmask16)-1);  in _mm_cmplt_epu8_mask()
435 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
436 _mm_mask_cmplt_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmplt_epu8_mask()
437   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 1,  in _mm_mask_cmplt_epu8_mask()
489 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
491   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,  in _mm256_cmplt_epi16_mask()
492                                                 (__mmask16)-1);  in _mm256_cmplt_epi16_mask()
495 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
496 _mm256_mask_cmplt_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmplt_epi16_mask()
497   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,  in _mm256_mask_cmplt_epi16_mask()
501 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
503   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,  in _mm256_cmplt_epu16_mask()
504                                                  (__mmask16)-1);  in _mm256_cmplt_epu16_mask()
507 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
508 _mm256_mask_cmplt_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmplt_epu16_mask()
509   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 1,  in _mm256_mask_cmplt_epu16_mask()
513 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
515   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,  in _mm_cmpneq_epi8_mask()
516                                                 (__mmask16)-1);  in _mm_cmpneq_epi8_mask()
519 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
520 _mm_mask_cmpneq_epi8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpneq_epi8_mask()
521   return (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,  in _mm_mask_cmpneq_epi8_mask()
525 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
527   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,  in _mm_cmpneq_epu8_mask()
528                                                  (__mmask16)-1);  in _mm_cmpneq_epu8_mask()
531 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
532 _mm_mask_cmpneq_epu8_mask(__mmask16 __u, __m128i __a, __m128i __b) {  in _mm_mask_cmpneq_epu8_mask()
533   return (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)__a, (__v16qi)__b, 4,  in _mm_mask_cmpneq_epu8_mask()
585 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
587   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,  in _mm256_cmpneq_epi16_mask()
588                                                 (__mmask16)-1);  in _mm256_cmpneq_epi16_mask()
591 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
592 _mm256_mask_cmpneq_epi16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpneq_epi16_mask()
593   return (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,  in _mm256_mask_cmpneq_epi16_mask()
597 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
599   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,  in _mm256_cmpneq_epu16_mask()
600                                                  (__mmask16)-1);  in _mm256_cmpneq_epu16_mask()
603 static __inline__ __mmask16 __attribute__((__always_inline__, __nodebug__))
604 _mm256_mask_cmpneq_epu16_mask(__mmask16 __u, __m256i __a, __m256i __b) {  in _mm256_mask_cmpneq_epu16_mask()
605   return (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)__a, (__v16hi)__b, 4,  in _mm256_mask_cmpneq_epu16_mask()
610   (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \
612                                          (p), (__mmask16)-1); })
615   (__mmask16)__builtin_ia32_cmpb128_mask((__v16qi)(__m128i)(a), \
617                                          (p), (__mmask16)(m)); })
620   (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \
622                                           (p), (__mmask16)-1); })
625   (__mmask16)__builtin_ia32_ucmpb128_mask((__v16qi)(__m128i)(a), \
627                                           (p), (__mmask16)(m)); })
670   (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \
672                                          (p), (__mmask16)-1); })
675   (__mmask16)__builtin_ia32_cmpw256_mask((__v16hi)(__m256i)(a), \
677                                          (p), (__mmask16)(m)); })
680   (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \
682                                           (p), (__mmask16)-1); })
685   (__mmask16)__builtin_ia32_ucmpw256_mask((__v16hi)(__m256i)(a), \
687                                           (p), (__mmask16)(m)); })