1// This file is generated from a similarly-named Perl script in the BoringSSL
2// source tree. Do not edit by hand.
3
4#if !defined(__has_feature)
5#define __has_feature(x) 0
6#endif
7#if __has_feature(memory_sanitizer) && !defined(OPENSSL_NO_ASM)
8#define OPENSSL_NO_ASM
9#endif
10
11#if !defined(OPENSSL_NO_ASM)
12#if defined(__arm__)
13#include <GFp/arm_arch.h>
14
15@ Silence ARMv8 deprecated IT instruction warnings. This file is used by both
16@ ARMv7 and ARMv8 processors and does not use ARMv8 instructions. (ARMv8 PMULL
17@ instructions are in aesv8-armx.pl.)
18.arch	armv7-a
19
20.text
21#if defined(__thumb2__) || defined(__clang__)
22.syntax	unified
23#define ldrplb  ldrbpl
24#define ldrneb  ldrbne
25#endif
26#if defined(__thumb2__)
27.thumb
28#else
29.code	32
30#endif
31#if __ARM_MAX_ARCH__>=7
32.arch	armv7-a
33.fpu	neon
34
35.globl	GFp_gcm_init_neon
36.hidden	GFp_gcm_init_neon
37.type	GFp_gcm_init_neon,%function
38.align	4
39GFp_gcm_init_neon:
40	vld1.64	d7,[r1]!		@ load H
41	vmov.i8	q8,#0xe1
42	vld1.64	d6,[r1]
43	vshl.i64	d17,#57
44	vshr.u64	d16,#63		@ t0=0xc2....01
45	vdup.8	q9,d7[7]
46	vshr.u64	d26,d6,#63
47	vshr.s8	q9,#7			@ broadcast carry bit
48	vshl.i64	q3,q3,#1
49	vand	q8,q8,q9
50	vorr	d7,d26		@ H<<<=1
51	veor	q3,q3,q8		@ twisted H
52	vstmia	r0,{q3}
53
54	bx	lr					@ bx lr
55.size	GFp_gcm_init_neon,.-GFp_gcm_init_neon
56
57.globl	GFp_gcm_gmult_neon
58.hidden	GFp_gcm_gmult_neon
59.type	GFp_gcm_gmult_neon,%function
60.align	4
61GFp_gcm_gmult_neon:
62	vld1.64	d7,[r0]!		@ load Xi
63	vld1.64	d6,[r0]!
64	vmov.i64	d29,#0x0000ffffffffffff
65	vldmia	r1,{d26,d27}	@ load twisted H
66	vmov.i64	d30,#0x00000000ffffffff
67#ifdef __ARMEL__
68	vrev64.8	q3,q3
69#endif
70	vmov.i64	d31,#0x000000000000ffff
71	veor	d28,d26,d27		@ Karatsuba pre-processing
72	mov	r3,#16
73	b	.Lgmult_neon
74.size	GFp_gcm_gmult_neon,.-GFp_gcm_gmult_neon
75
76.globl	GFp_gcm_ghash_neon
77.hidden	GFp_gcm_ghash_neon
78.type	GFp_gcm_ghash_neon,%function
79.align	4
80GFp_gcm_ghash_neon:
81	vld1.64	d1,[r0]!		@ load Xi
82	vld1.64	d0,[r0]!
83	vmov.i64	d29,#0x0000ffffffffffff
84	vldmia	r1,{d26,d27}	@ load twisted H
85	vmov.i64	d30,#0x00000000ffffffff
86#ifdef __ARMEL__
87	vrev64.8	q0,q0
88#endif
89	vmov.i64	d31,#0x000000000000ffff
90	veor	d28,d26,d27		@ Karatsuba pre-processing
91
92.Loop_neon:
93	vld1.64	d7,[r2]!		@ load inp
94	vld1.64	d6,[r2]!
95#ifdef __ARMEL__
96	vrev64.8	q3,q3
97#endif
98	veor	q3,q0			@ inp^=Xi
99.Lgmult_neon:
100	vext.8	d16, d26, d26, #1	@ A1
101	vmull.p8	q8, d16, d6		@ F = A1*B
102	vext.8	d0, d6, d6, #1	@ B1
103	vmull.p8	q0, d26, d0		@ E = A*B1
104	vext.8	d18, d26, d26, #2	@ A2
105	vmull.p8	q9, d18, d6		@ H = A2*B
106	vext.8	d22, d6, d6, #2	@ B2
107	vmull.p8	q11, d26, d22		@ G = A*B2
108	vext.8	d20, d26, d26, #3	@ A3
109	veor	q8, q8, q0		@ L = E + F
110	vmull.p8	q10, d20, d6		@ J = A3*B
111	vext.8	d0, d6, d6, #3	@ B3
112	veor	q9, q9, q11		@ M = G + H
113	vmull.p8	q0, d26, d0		@ I = A*B3
114	veor	d16, d16, d17	@ t0 = (L) (P0 + P1) << 8
115	vand	d17, d17, d29
116	vext.8	d22, d6, d6, #4	@ B4
117	veor	d18, d18, d19	@ t1 = (M) (P2 + P3) << 16
118	vand	d19, d19, d30
119	vmull.p8	q11, d26, d22		@ K = A*B4
120	veor	q10, q10, q0		@ N = I + J
121	veor	d16, d16, d17
122	veor	d18, d18, d19
123	veor	d20, d20, d21	@ t2 = (N) (P4 + P5) << 24
124	vand	d21, d21, d31
125	vext.8	q8, q8, q8, #15
126	veor	d22, d22, d23	@ t3 = (K) (P6 + P7) << 32
127	vmov.i64	d23, #0
128	vext.8	q9, q9, q9, #14
129	veor	d20, d20, d21
130	vmull.p8	q0, d26, d6		@ D = A*B
131	vext.8	q11, q11, q11, #12
132	vext.8	q10, q10, q10, #13
133	veor	q8, q8, q9
134	veor	q10, q10, q11
135	veor	q0, q0, q8
136	veor	q0, q0, q10
137	veor	d6,d6,d7	@ Karatsuba pre-processing
138	vext.8	d16, d28, d28, #1	@ A1
139	vmull.p8	q8, d16, d6		@ F = A1*B
140	vext.8	d2, d6, d6, #1	@ B1
141	vmull.p8	q1, d28, d2		@ E = A*B1
142	vext.8	d18, d28, d28, #2	@ A2
143	vmull.p8	q9, d18, d6		@ H = A2*B
144	vext.8	d22, d6, d6, #2	@ B2
145	vmull.p8	q11, d28, d22		@ G = A*B2
146	vext.8	d20, d28, d28, #3	@ A3
147	veor	q8, q8, q1		@ L = E + F
148	vmull.p8	q10, d20, d6		@ J = A3*B
149	vext.8	d2, d6, d6, #3	@ B3
150	veor	q9, q9, q11		@ M = G + H
151	vmull.p8	q1, d28, d2		@ I = A*B3
152	veor	d16, d16, d17	@ t0 = (L) (P0 + P1) << 8
153	vand	d17, d17, d29
154	vext.8	d22, d6, d6, #4	@ B4
155	veor	d18, d18, d19	@ t1 = (M) (P2 + P3) << 16
156	vand	d19, d19, d30
157	vmull.p8	q11, d28, d22		@ K = A*B4
158	veor	q10, q10, q1		@ N = I + J
159	veor	d16, d16, d17
160	veor	d18, d18, d19
161	veor	d20, d20, d21	@ t2 = (N) (P4 + P5) << 24
162	vand	d21, d21, d31
163	vext.8	q8, q8, q8, #15
164	veor	d22, d22, d23	@ t3 = (K) (P6 + P7) << 32
165	vmov.i64	d23, #0
166	vext.8	q9, q9, q9, #14
167	veor	d20, d20, d21
168	vmull.p8	q1, d28, d6		@ D = A*B
169	vext.8	q11, q11, q11, #12
170	vext.8	q10, q10, q10, #13
171	veor	q8, q8, q9
172	veor	q10, q10, q11
173	veor	q1, q1, q8
174	veor	q1, q1, q10
175	vext.8	d16, d27, d27, #1	@ A1
176	vmull.p8	q8, d16, d7		@ F = A1*B
177	vext.8	d4, d7, d7, #1	@ B1
178	vmull.p8	q2, d27, d4		@ E = A*B1
179	vext.8	d18, d27, d27, #2	@ A2
180	vmull.p8	q9, d18, d7		@ H = A2*B
181	vext.8	d22, d7, d7, #2	@ B2
182	vmull.p8	q11, d27, d22		@ G = A*B2
183	vext.8	d20, d27, d27, #3	@ A3
184	veor	q8, q8, q2		@ L = E + F
185	vmull.p8	q10, d20, d7		@ J = A3*B
186	vext.8	d4, d7, d7, #3	@ B3
187	veor	q9, q9, q11		@ M = G + H
188	vmull.p8	q2, d27, d4		@ I = A*B3
189	veor	d16, d16, d17	@ t0 = (L) (P0 + P1) << 8
190	vand	d17, d17, d29
191	vext.8	d22, d7, d7, #4	@ B4
192	veor	d18, d18, d19	@ t1 = (M) (P2 + P3) << 16
193	vand	d19, d19, d30
194	vmull.p8	q11, d27, d22		@ K = A*B4
195	veor	q10, q10, q2		@ N = I + J
196	veor	d16, d16, d17
197	veor	d18, d18, d19
198	veor	d20, d20, d21	@ t2 = (N) (P4 + P5) << 24
199	vand	d21, d21, d31
200	vext.8	q8, q8, q8, #15
201	veor	d22, d22, d23	@ t3 = (K) (P6 + P7) << 32
202	vmov.i64	d23, #0
203	vext.8	q9, q9, q9, #14
204	veor	d20, d20, d21
205	vmull.p8	q2, d27, d7		@ D = A*B
206	vext.8	q11, q11, q11, #12
207	vext.8	q10, q10, q10, #13
208	veor	q8, q8, q9
209	veor	q10, q10, q11
210	veor	q2, q2, q8
211	veor	q2, q2, q10
212	veor	q1,q1,q0		@ Karatsuba post-processing
213	veor	q1,q1,q2
214	veor	d1,d1,d2
215	veor	d4,d4,d3	@ Xh|Xl - 256-bit result
216
217	@ equivalent of reduction_avx from ghash-x86_64.pl
218	vshl.i64	q9,q0,#57		@ 1st phase
219	vshl.i64	q10,q0,#62
220	veor	q10,q10,q9		@
221	vshl.i64	q9,q0,#63
222	veor	q10, q10, q9		@
223	veor	d1,d1,d20	@
224	veor	d4,d4,d21
225
226	vshr.u64	q10,q0,#1		@ 2nd phase
227	veor	q2,q2,q0
228	veor	q0,q0,q10		@
229	vshr.u64	q10,q10,#6
230	vshr.u64	q0,q0,#1		@
231	veor	q0,q0,q2		@
232	veor	q0,q0,q10		@
233
234	subs	r3,#16
235	bne	.Loop_neon
236
237#ifdef __ARMEL__
238	vrev64.8	q0,q0
239#endif
240	sub	r0,#16
241	vst1.64	d1,[r0]!		@ write out Xi
242	vst1.64	d0,[r0]
243
244	bx	lr					@ bx lr
245.size	GFp_gcm_ghash_neon,.-GFp_gcm_ghash_neon
246#endif
247.byte	71,72,65,83,72,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
248.align	2
249.align	2
250#endif
251#endif  // !OPENSSL_NO_ASM
252.section	.note.GNU-stack,"",%progbits
253