1#include "arm_arch.h"
2
3.text
4.code	32
5
6#if __ARM_MAX_ARCH__>=7
7.align	5
8.LOPENSSL_armcap:
9.word	OPENSSL_armcap_P-.Lbn_mul_mont
10#endif
11
12.globl	bn_mul_mont
13.hidden	bn_mul_mont
14.type	bn_mul_mont,%function
15
16.align	5
17bn_mul_mont:
18.Lbn_mul_mont:
19	ldr	ip,[sp,#4]		@ load num
20	stmdb	sp!,{r0,r2}		@ sp points at argument block
21#if __ARM_MAX_ARCH__>=7
22	tst	ip,#7
23	bne	.Lialu
24	adr	r0,bn_mul_mont
25	ldr	r2,.LOPENSSL_armcap
26	ldr	r0,[r0,r2]
27#ifdef	__APPLE__
28	ldr	r0,[r0]
29#endif
30	tst	r0,#1			@ NEON available?
31	ldmia	sp, {r0,r2}
32	beq	.Lialu
33	add	sp,sp,#8
34	b	bn_mul8x_mont_neon
35.align	4
36.Lialu:
37#endif
38	cmp	ip,#2
39	mov	r0,ip			@ load num
40	movlt	r0,#0
41	addlt	sp,sp,#2*4
42	blt	.Labrt
43
44	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ save 10 registers
45
46	mov	r0,r0,lsl#2		@ rescale r0 for byte count
47	sub	sp,sp,r0		@ alloca(4*num)
48	sub	sp,sp,#4		@ +extra dword
49	sub	r0,r0,#4		@ "num=num-1"
50	add	r4,r2,r0		@ &bp[num-1]
51
52	add	r0,sp,r0		@ r0 to point at &tp[num-1]
53	ldr	r8,[r0,#14*4]		@ &n0
54	ldr	r2,[r2]		@ bp[0]
55	ldr	r5,[r1],#4		@ ap[0],ap++
56	ldr	r6,[r3],#4		@ np[0],np++
57	ldr	r8,[r8]		@ *n0
58	str	r4,[r0,#15*4]		@ save &bp[num]
59
60	umull	r10,r11,r5,r2	@ ap[0]*bp[0]
61	str	r8,[r0,#14*4]		@ save n0 value
62	mul	r8,r10,r8		@ "tp[0]"*n0
63	mov	r12,#0
64	umlal	r10,r12,r6,r8	@ np[0]*n0+"t[0]"
65	mov	r4,sp
66
67.L1st:
68	ldr	r5,[r1],#4		@ ap[j],ap++
69	mov	r10,r11
70	ldr	r6,[r3],#4		@ np[j],np++
71	mov	r11,#0
72	umlal	r10,r11,r5,r2	@ ap[j]*bp[0]
73	mov	r14,#0
74	umlal	r12,r14,r6,r8	@ np[j]*n0
75	adds	r12,r12,r10
76	str	r12,[r4],#4		@ tp[j-1]=,tp++
77	adc	r12,r14,#0
78	cmp	r4,r0
79	bne	.L1st
80
81	adds	r12,r12,r11
82	ldr	r4,[r0,#13*4]		@ restore bp
83	mov	r14,#0
84	ldr	r8,[r0,#14*4]		@ restore n0
85	adc	r14,r14,#0
86	str	r12,[r0]		@ tp[num-1]=
87	str	r14,[r0,#4]		@ tp[num]=
88
89.Louter:
90	sub	r7,r0,sp		@ "original" r0-1 value
91	sub	r1,r1,r7		@ "rewind" ap to &ap[1]
92	ldr	r2,[r4,#4]!		@ *(++bp)
93	sub	r3,r3,r7		@ "rewind" np to &np[1]
94	ldr	r5,[r1,#-4]		@ ap[0]
95	ldr	r10,[sp]		@ tp[0]
96	ldr	r6,[r3,#-4]		@ np[0]
97	ldr	r7,[sp,#4]		@ tp[1]
98
99	mov	r11,#0
100	umlal	r10,r11,r5,r2	@ ap[0]*bp[i]+tp[0]
101	str	r4,[r0,#13*4]		@ save bp
102	mul	r8,r10,r8
103	mov	r12,#0
104	umlal	r10,r12,r6,r8	@ np[0]*n0+"tp[0]"
105	mov	r4,sp
106
107.Linner:
108	ldr	r5,[r1],#4		@ ap[j],ap++
109	adds	r10,r11,r7		@ +=tp[j]
110	ldr	r6,[r3],#4		@ np[j],np++
111	mov	r11,#0
112	umlal	r10,r11,r5,r2	@ ap[j]*bp[i]
113	mov	r14,#0
114	umlal	r12,r14,r6,r8	@ np[j]*n0
115	adc	r11,r11,#0
116	ldr	r7,[r4,#8]		@ tp[j+1]
117	adds	r12,r12,r10
118	str	r12,[r4],#4		@ tp[j-1]=,tp++
119	adc	r12,r14,#0
120	cmp	r4,r0
121	bne	.Linner
122
123	adds	r12,r12,r11
124	mov	r14,#0
125	ldr	r4,[r0,#13*4]		@ restore bp
126	adc	r14,r14,#0
127	ldr	r8,[r0,#14*4]		@ restore n0
128	adds	r12,r12,r7
129	ldr	r7,[r0,#15*4]		@ restore &bp[num]
130	adc	r14,r14,#0
131	str	r12,[r0]		@ tp[num-1]=
132	str	r14,[r0,#4]		@ tp[num]=
133
134	cmp	r4,r7
135	bne	.Louter
136
137	ldr	r2,[r0,#12*4]		@ pull rp
138	add	r0,r0,#4		@ r0 to point at &tp[num]
139	sub	r5,r0,sp		@ "original" num value
140	mov	r4,sp			@ "rewind" r4
141	mov	r1,r4			@ "borrow" r1
142	sub	r3,r3,r5		@ "rewind" r3 to &np[0]
143
144	subs	r7,r7,r7		@ "clear" carry flag
145.Lsub:	ldr	r7,[r4],#4
146	ldr	r6,[r3],#4
147	sbcs	r7,r7,r6		@ tp[j]-np[j]
148	str	r7,[r2],#4		@ rp[j]=
149	teq	r4,r0		@ preserve carry
150	bne	.Lsub
151	sbcs	r14,r14,#0		@ upmost carry
152	mov	r4,sp			@ "rewind" r4
153	sub	r2,r2,r5		@ "rewind" r2
154
155	and	r1,r4,r14
156	bic	r3,r2,r14
157	orr	r1,r1,r3		@ ap=borrow?tp:rp
158
159.Lcopy:	ldr	r7,[r1],#4		@ copy or in-place refresh
160	str	sp,[r4],#4		@ zap tp
161	str	r7,[r2],#4
162	cmp	r4,r0
163	bne	.Lcopy
164
165	add	sp,r0,#4		@ skip over tp[num+1]
166	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11,r12,lr}		@ restore registers
167	add	sp,sp,#2*4		@ skip over {r0,r2}
168	mov	r0,#1
169.Labrt:
170#if __ARM_ARCH__>=5
171	bx	lr				@ .word	0xe12fff1e
172#else
173	tst	lr,#1
174	moveq	pc,lr			@ be binary compatible with V4, yet
175.word	0xe12fff1e			@ interoperable with Thumb ISA:-)
176#endif
177.size	bn_mul_mont,.-bn_mul_mont
178#if __ARM_MAX_ARCH__>=7
179.arch	armv7-a
180.fpu	neon
181
182.type	bn_mul8x_mont_neon,%function
183.align	5
184bn_mul8x_mont_neon:
185	mov	ip,sp
186	stmdb	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
187	vstmdb	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}		@ ABI specification says so
188	ldmia	ip,{r4,r5}		@ load rest of parameter block
189
190	sub	r7,sp,#16
191	vld1.32	{d28[0]}, [r2,:32]!
192	sub	r7,r7,r5,lsl#4
193	vld1.32	{d0,d1,d2,d3},  [r1]!		@ can't specify :32 :-(
194	and	r7,r7,#-64
195	vld1.32	{d30[0]}, [r4,:32]
196	mov	sp,r7			@ alloca
197	veor	d8,d8,d8
198	subs	r8,r5,#8
199	vzip.16	d28,d8
200
201	vmull.u32	q6,d28,d0[0]
202	vmull.u32	q7,d28,d0[1]
203	vmull.u32	q8,d28,d1[0]
204	vshl.i64	d10,d13,#16
205	vmull.u32	q9,d28,d1[1]
206
207	vadd.u64	d10,d10,d12
208	veor	d8,d8,d8
209	vmul.u32	d29,d10,d30
210
211	vmull.u32	q10,d28,d2[0]
212	vld1.32	{d4,d5,d6,d7}, [r3]!
213	vmull.u32	q11,d28,d2[1]
214	vmull.u32	q12,d28,d3[0]
215	vzip.16	d29,d8
216	vmull.u32	q13,d28,d3[1]
217
218	bne	.LNEON_1st
219
220	@ special case for num=8, everything is in register bank...
221
222	vmlal.u32	q6,d29,d4[0]
223	sub	r9,r5,#1
224	vmlal.u32	q7,d29,d4[1]
225	vmlal.u32	q8,d29,d5[0]
226	vmlal.u32	q9,d29,d5[1]
227
228	vmlal.u32	q10,d29,d6[0]
229	vmov	q5,q6
230	vmlal.u32	q11,d29,d6[1]
231	vmov	q6,q7
232	vmlal.u32	q12,d29,d7[0]
233	vmov	q7,q8
234	vmlal.u32	q13,d29,d7[1]
235	vmov	q8,q9
236	vmov	q9,q10
237	vshr.u64	d10,d10,#16
238	vmov	q10,q11
239	vmov	q11,q12
240	vadd.u64	d10,d10,d11
241	vmov	q12,q13
242	veor	q13,q13
243	vshr.u64	d10,d10,#16
244
245	b	.LNEON_outer8
246
247.align	4
248.LNEON_outer8:
249	vld1.32	{d28[0]}, [r2,:32]!
250	veor	d8,d8,d8
251	vzip.16	d28,d8
252	vadd.u64	d12,d12,d10
253
254	vmlal.u32	q6,d28,d0[0]
255	vmlal.u32	q7,d28,d0[1]
256	vmlal.u32	q8,d28,d1[0]
257	vshl.i64	d10,d13,#16
258	vmlal.u32	q9,d28,d1[1]
259
260	vadd.u64	d10,d10,d12
261	veor	d8,d8,d8
262	subs	r9,r9,#1
263	vmul.u32	d29,d10,d30
264
265	vmlal.u32	q10,d28,d2[0]
266	vmlal.u32	q11,d28,d2[1]
267	vmlal.u32	q12,d28,d3[0]
268	vzip.16	d29,d8
269	vmlal.u32	q13,d28,d3[1]
270
271	vmlal.u32	q6,d29,d4[0]
272	vmlal.u32	q7,d29,d4[1]
273	vmlal.u32	q8,d29,d5[0]
274	vmlal.u32	q9,d29,d5[1]
275
276	vmlal.u32	q10,d29,d6[0]
277	vmov	q5,q6
278	vmlal.u32	q11,d29,d6[1]
279	vmov	q6,q7
280	vmlal.u32	q12,d29,d7[0]
281	vmov	q7,q8
282	vmlal.u32	q13,d29,d7[1]
283	vmov	q8,q9
284	vmov	q9,q10
285	vshr.u64	d10,d10,#16
286	vmov	q10,q11
287	vmov	q11,q12
288	vadd.u64	d10,d10,d11
289	vmov	q12,q13
290	veor	q13,q13
291	vshr.u64	d10,d10,#16
292
293	bne	.LNEON_outer8
294
295	vadd.u64	d12,d12,d10
296	mov	r7,sp
297	vshr.u64	d10,d12,#16
298	mov	r8,r5
299	vadd.u64	d13,d13,d10
300	add	r6,sp,#16
301	vshr.u64	d10,d13,#16
302	vzip.16	d12,d13
303
304	b	.LNEON_tail2
305
306.align	4
307.LNEON_1st:
308	vmlal.u32	q6,d29,d4[0]
309	vld1.32	{d0,d1,d2,d3}, [r1]!
310	vmlal.u32	q7,d29,d4[1]
311	subs	r8,r8,#8
312	vmlal.u32	q8,d29,d5[0]
313	vmlal.u32	q9,d29,d5[1]
314
315	vmlal.u32	q10,d29,d6[0]
316	vld1.32	{d4,d5}, [r3]!
317	vmlal.u32	q11,d29,d6[1]
318	vst1.64	{q6,q7}, [r7,:256]!
319	vmlal.u32	q12,d29,d7[0]
320	vmlal.u32	q13,d29,d7[1]
321	vst1.64	{q8,q9}, [r7,:256]!
322
323	vmull.u32	q6,d28,d0[0]
324	vld1.32	{d6,d7}, [r3]!
325	vmull.u32	q7,d28,d0[1]
326	vst1.64	{q10,q11}, [r7,:256]!
327	vmull.u32	q8,d28,d1[0]
328	vmull.u32	q9,d28,d1[1]
329	vst1.64	{q12,q13}, [r7,:256]!
330
331	vmull.u32	q10,d28,d2[0]
332	vmull.u32	q11,d28,d2[1]
333	vmull.u32	q12,d28,d3[0]
334	vmull.u32	q13,d28,d3[1]
335
336	bne	.LNEON_1st
337
338	vmlal.u32	q6,d29,d4[0]
339	add	r6,sp,#16
340	vmlal.u32	q7,d29,d4[1]
341	sub	r1,r1,r5,lsl#2		@ rewind r1
342	vmlal.u32	q8,d29,d5[0]
343	vld1.64	{q5}, [sp,:128]
344	vmlal.u32	q9,d29,d5[1]
345	sub	r9,r5,#1
346
347	vmlal.u32	q10,d29,d6[0]
348	vst1.64	{q6,q7}, [r7,:256]!
349	vmlal.u32	q11,d29,d6[1]
350	vshr.u64	d10,d10,#16
351	vld1.64	{q6},       [r6, :128]!
352	vmlal.u32	q12,d29,d7[0]
353	vst1.64	{q8,q9}, [r7,:256]!
354	vmlal.u32	q13,d29,d7[1]
355
356	vst1.64	{q10,q11}, [r7,:256]!
357	vadd.u64	d10,d10,d11
358	veor	q4,q4,q4
359	vst1.64	{q12,q13}, [r7,:256]!
360	vld1.64	{q7,q8}, [r6, :256]!
361	vst1.64	{q4},          [r7,:128]
362	vshr.u64	d10,d10,#16
363
364	b	.LNEON_outer
365
366.align	4
367.LNEON_outer:
368	vld1.32	{d28[0]}, [r2,:32]!
369	sub	r3,r3,r5,lsl#2		@ rewind r3
370	vld1.32	{d0,d1,d2,d3},  [r1]!
371	veor	d8,d8,d8
372	mov	r7,sp
373	vzip.16	d28,d8
374	sub	r8,r5,#8
375	vadd.u64	d12,d12,d10
376
377	vmlal.u32	q6,d28,d0[0]
378	vld1.64	{q9,q10},[r6,:256]!
379	vmlal.u32	q7,d28,d0[1]
380	vmlal.u32	q8,d28,d1[0]
381	vld1.64	{q11,q12},[r6,:256]!
382	vmlal.u32	q9,d28,d1[1]
383
384	vshl.i64	d10,d13,#16
385	veor	d8,d8,d8
386	vadd.u64	d10,d10,d12
387	vld1.64	{q13},[r6,:128]!
388	vmul.u32	d29,d10,d30
389
390	vmlal.u32	q10,d28,d2[0]
391	vld1.32	{d4,d5,d6,d7}, [r3]!
392	vmlal.u32	q11,d28,d2[1]
393	vmlal.u32	q12,d28,d3[0]
394	vzip.16	d29,d8
395	vmlal.u32	q13,d28,d3[1]
396
397.LNEON_inner:
398	vmlal.u32	q6,d29,d4[0]
399	vld1.32	{d0,d1,d2,d3}, [r1]!
400	vmlal.u32	q7,d29,d4[1]
401	subs	r8,r8,#8
402	vmlal.u32	q8,d29,d5[0]
403	vmlal.u32	q9,d29,d5[1]
404	vst1.64	{q6,q7}, [r7,:256]!
405
406	vmlal.u32	q10,d29,d6[0]
407	vld1.64	{q6},       [r6, :128]!
408	vmlal.u32	q11,d29,d6[1]
409	vst1.64	{q8,q9}, [r7,:256]!
410	vmlal.u32	q12,d29,d7[0]
411	vld1.64	{q7,q8}, [r6, :256]!
412	vmlal.u32	q13,d29,d7[1]
413	vst1.64	{q10,q11}, [r7,:256]!
414
415	vmlal.u32	q6,d28,d0[0]
416	vld1.64	{q9,q10}, [r6, :256]!
417	vmlal.u32	q7,d28,d0[1]
418	vst1.64	{q12,q13}, [r7,:256]!
419	vmlal.u32	q8,d28,d1[0]
420	vld1.64	{q11,q12}, [r6, :256]!
421	vmlal.u32	q9,d28,d1[1]
422	vld1.32	{d4,d5,d6,d7}, [r3]!
423
424	vmlal.u32	q10,d28,d2[0]
425	vld1.64	{q13},       [r6, :128]!
426	vmlal.u32	q11,d28,d2[1]
427	vmlal.u32	q12,d28,d3[0]
428	vmlal.u32	q13,d28,d3[1]
429
430	bne	.LNEON_inner
431
432	vmlal.u32	q6,d29,d4[0]
433	add	r6,sp,#16
434	vmlal.u32	q7,d29,d4[1]
435	sub	r1,r1,r5,lsl#2		@ rewind r1
436	vmlal.u32	q8,d29,d5[0]
437	vld1.64	{q5}, [sp,:128]
438	vmlal.u32	q9,d29,d5[1]
439	subs	r9,r9,#1
440
441	vmlal.u32	q10,d29,d6[0]
442	vst1.64	{q6,q7}, [r7,:256]!
443	vmlal.u32	q11,d29,d6[1]
444	vld1.64	{q6},       [r6, :128]!
445	vshr.u64	d10,d10,#16
446	vst1.64	{q8,q9}, [r7,:256]!
447	vmlal.u32	q12,d29,d7[0]
448	vld1.64	{q7,q8}, [r6, :256]!
449	vmlal.u32	q13,d29,d7[1]
450
451	vst1.64	{q10,q11}, [r7,:256]!
452	vadd.u64	d10,d10,d11
453	vst1.64	{q12,q13}, [r7,:256]!
454	vshr.u64	d10,d10,#16
455
456	bne	.LNEON_outer
457
458	mov	r7,sp
459	mov	r8,r5
460
461.LNEON_tail:
462	vadd.u64	d12,d12,d10
463	vld1.64	{q9,q10}, [r6, :256]!
464	vshr.u64	d10,d12,#16
465	vadd.u64	d13,d13,d10
466	vld1.64	{q11,q12}, [r6, :256]!
467	vshr.u64	d10,d13,#16
468	vld1.64	{q13},       [r6, :128]!
469	vzip.16	d12,d13
470
471.LNEON_tail2:
472	vadd.u64	d14,d14,d10
473	vst1.32	{d12[0]}, [r7, :32]!
474	vshr.u64	d10,d14,#16
475	vadd.u64	d15,d15,d10
476	vshr.u64	d10,d15,#16
477	vzip.16	d14,d15
478
479	vadd.u64	d16,d16,d10
480	vst1.32	{d14[0]}, [r7, :32]!
481	vshr.u64	d10,d16,#16
482	vadd.u64	d17,d17,d10
483	vshr.u64	d10,d17,#16
484	vzip.16	d16,d17
485
486	vadd.u64	d18,d18,d10
487	vst1.32	{d16[0]}, [r7, :32]!
488	vshr.u64	d10,d18,#16
489	vadd.u64	d19,d19,d10
490	vshr.u64	d10,d19,#16
491	vzip.16	d18,d19
492
493	vadd.u64	d20,d20,d10
494	vst1.32	{d18[0]}, [r7, :32]!
495	vshr.u64	d10,d20,#16
496	vadd.u64	d21,d21,d10
497	vshr.u64	d10,d21,#16
498	vzip.16	d20,d21
499
500	vadd.u64	d22,d22,d10
501	vst1.32	{d20[0]}, [r7, :32]!
502	vshr.u64	d10,d22,#16
503	vadd.u64	d23,d23,d10
504	vshr.u64	d10,d23,#16
505	vzip.16	d22,d23
506
507	vadd.u64	d24,d24,d10
508	vst1.32	{d22[0]}, [r7, :32]!
509	vshr.u64	d10,d24,#16
510	vadd.u64	d25,d25,d10
511	vld1.64	{q6}, [r6, :128]!
512	vshr.u64	d10,d25,#16
513	vzip.16	d24,d25
514
515	vadd.u64	d26,d26,d10
516	vst1.32	{d24[0]}, [r7, :32]!
517	vshr.u64	d10,d26,#16
518	vadd.u64	d27,d27,d10
519	vld1.64	{q7,q8},	[r6, :256]!
520	vshr.u64	d10,d27,#16
521	vzip.16	d26,d27
522	subs	r8,r8,#8
523	vst1.32	{d26[0]}, [r7, :32]!
524
525	bne	.LNEON_tail
526
527	vst1.32	{d10[0]}, [r7, :32]		@ top-most bit
528	sub	r3,r3,r5,lsl#2			@ rewind r3
529	subs	r1,sp,#0				@ clear carry flag
530	add	r2,sp,r5,lsl#2
531
532.LNEON_sub:
533	ldmia	r1!, {r4,r5,r6,r7}
534	ldmia	r3!, {r8,r9,r10,r11}
535	sbcs	r8, r4,r8
536	sbcs	r9, r5,r9
537	sbcs	r10,r6,r10
538	sbcs	r11,r7,r11
539	teq	r1,r2				@ preserves carry
540	stmia	r0!, {r8,r9,r10,r11}
541	bne	.LNEON_sub
542
543	ldr	r10, [r1]				@ load top-most bit
544	veor	q0,q0,q0
545	sub	r11,r2,sp				@ this is num*4
546	veor	q1,q1,q1
547	mov	r1,sp
548	sub	r0,r0,r11				@ rewind r0
549	mov	r3,r2				@ second 3/4th of frame
550	sbcs	r10,r10,#0				@ result is carry flag
551
552.LNEON_copy_n_zap:
553	ldmia	r1!, {r4,r5,r6,r7}
554	ldmia	r0,  {r8,r9,r10,r11}
555	movcc	r8, r4
556	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
557	movcc	r9, r5
558	movcc	r10,r6
559	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
560	movcc	r11,r7
561	ldmia	r1, {r4,r5,r6,r7}
562	stmia	r0!, {r8,r9,r10,r11}
563	sub	r1,r1,#16
564	ldmia	r0, {r8,r9,r10,r11}
565	movcc	r8, r4
566	vst1.64	{q0,q1}, [r1,:256]!			@ wipe
567	movcc	r9, r5
568	movcc	r10,r6
569	vst1.64	{q0,q1}, [r3,:256]!			@ wipe
570	movcc	r11,r7
571	teq	r1,r2				@ preserves carry
572	stmia	r0!, {r8,r9,r10,r11}
573	bne	.LNEON_copy_n_zap
574
575	sub	sp,ip,#96
576	vldmia	sp!,{d8,d9,d10,d11,d12,d13,d14,d15}
577	ldmia	sp!,{r4,r5,r6,r7,r8,r9,r10,r11}
578	bx	lr						@ .word	0xe12fff1e
579.size	bn_mul8x_mont_neon,.-bn_mul8x_mont_neon
580#endif
581.byte	77,111,110,116,103,111,109,101,114,121,32,109,117,108,116,105,112,108,105,99,97,116,105,111,110,32,102,111,114,32,65,82,77,118,52,47,78,69,79,78,44,32,67,82,89,80,84,79,71,65,77,83,32,98,121,32,60,97,112,112,114,111,64,111,112,101,110,115,115,108,46,111,114,103,62,0
582.align	2
583.align	2
584#if __ARM_MAX_ARCH__>=7
585.comm	OPENSSL_armcap_P,4,4
586.hidden	OPENSSL_armcap_P
587#endif
588