1277   StoreSDNode *Store = cast<StoreSDNode>(Op);  in MergeVectorStore()  local
1278   EVT MemVT = Store->getMemoryVT();  in MergeVectorStore()
1289   SDValue Value = Store->getValue();  in MergeVectorStore()
1292   SDValue Ptr = Store->getBasePtr();  in MergeVectorStore()
1320     return DAG.getTruncStore(Store->getChain(), DL, PackedValue, Ptr,  in MergeVectorStore()
1321                              Store->getMemOperand()->getPointerInfo(),  in MergeVectorStore()
1323                              Store->isNonTemporal(), Store->isVolatile(),  in MergeVectorStore()
1324                              Store->getAlignment());  in MergeVectorStore()
1327   return DAG.getStore(Store->getChain(), DL, PackedValue, Ptr,  in MergeVectorStore()
1328                       Store->getMemOperand()->getPointerInfo(),  in MergeVectorStore()
1329                       Store->isVolatile(),  Store->isNonTemporal(),  in MergeVectorStore()
1330                       Store->getAlignment());  in MergeVectorStore()
1335   StoreSDNode *Store = cast<StoreSDNode>(Op);  in ScalarizeVectorStore()  local
1336   EVT MemEltVT = Store->getMemoryVT().getVectorElementType();  in ScalarizeVectorStore()
1337   EVT EltVT = Store->getValue().getValueType().getVectorElementType();  in ScalarizeVectorStore()
1338   EVT PtrVT = Store->getBasePtr().getValueType();  in ScalarizeVectorStore()
1339   unsigned NumElts = Store->getMemoryVT().getVectorNumElements();  in ScalarizeVectorStore()
1345   MachinePointerInfo SrcValue(Store->getMemOperand()->getValue());  in ScalarizeVectorStore()
1349                               Store->getValue(),  in ScalarizeVectorStore()
1353     SDValue Ptr = DAG.getNode(ISD::ADD, SL, PtrVT, Store->getBasePtr(), Offset);  in ScalarizeVectorStore()
1355       DAG.getTruncStore(Store->getChain(), SL, Val, Ptr,  in ScalarizeVectorStore()
1357                         MemEltVT, Store->isNonTemporal(), Store->isVolatile(),  in ScalarizeVectorStore()
1358                         Store->getAlignment());  in ScalarizeVectorStore()
1367   StoreSDNode *Store = cast<StoreSDNode>(Op);  in SplitVectorStore()  local
1368   SDValue Val = Store->getValue();  in SplitVectorStore()
1376   EVT MemVT = Store->getMemoryVT();  in SplitVectorStore()
1377   SDValue Chain = Store->getChain();  in SplitVectorStore()
1378   SDValue BasePtr = Store->getBasePtr();  in SplitVectorStore()
1393   MachinePointerInfo SrcValue(Store->getMemOperand()->getValue());  in SplitVectorStore()
1399                         Store->isNonTemporal(),  in SplitVectorStore()
1400                         Store->isVolatile(),  in SplitVectorStore()
1401                         Store->getAlignment());  in SplitVectorStore()
1407                         Store->isNonTemporal(),  in SplitVectorStore()
1408                         Store->isVolatile(),  in SplitVectorStore()
1409                         Store->getAlignment());  in SplitVectorStore()
1489   StoreSDNode *Store = cast<StoreSDNode>(Op);  in LowerSTORE()  local
1490   SDValue Chain = Store->getChain();  in LowerSTORE()
1491   if ((Store->getAddressSpace() == AMDGPUAS::LOCAL_ADDRESS ||  in LowerSTORE()
1492        Store->getAddressSpace() == AMDGPUAS::PRIVATE_ADDRESS) &&  in LowerSTORE()
1493       Store->getValue().getValueType().isVector()) {  in LowerSTORE()
1497   EVT MemVT = Store->getMemoryVT();  in LowerSTORE()
1498   if (Store->getAddressSpace() == AMDGPUAS::PRIVATE_ADDRESS &&  in LowerSTORE()
1501     if (Store->getMemoryVT() == MVT::i8) {  in LowerSTORE()
1503     } else if (Store->getMemoryVT() == MVT::i16) {  in LowerSTORE()
1506     SDValue BasePtr = Store->getBasePtr();  in LowerSTORE()
1519                                     Store->getValue());  in LowerSTORE()