Імпорт замовлень з CSV в Magento програмно


17

Ми переходимо від старої, застарілої системи торгових точок до використання Magento 1.7 як виключно нашого POS. Несподівано, одне із викликів, з якими ми стикаємося, - як отримати майже 20 років записів зі старої системи до Мага без катастроф.

Якщо вирішити проблему навіть міграції записів клієнтів, проблема, на яку я зосереджуюсь у цьому питанні, полягає в тому, як я збираюся перемістити дані історичного замовлення зі старого POS на Mage. Я не впевнений на 100% у точних цифрах, коли у нас багато записів про замовлення, про які ми говоримо, але я б сказав щонайменше мільйон.

Ось що я думаю про те, як підійти до цього:

  1. З’ясуйте, як саме потрібно форматувати дані, щоб Magento грався з ним добре. Чи можемо ми вийти зі старого POS у форматі, який працює, сумнівно, але давайте на мить припустимо, що це йде добре ...
  2. Створіть файл .CSV з / добре відформатованими історичними даними
  3. Знайдіть спосіб прочитати .CSV в $orderоб'єкт Magento рядок за рядком -> save ()
  4. Прибуток!

Моя проблема полягає в тому, що я трохи нечіткий щодо того, як підійти до точки 2 і 3, зрозуміти, що це. Я можу відформатувати дані, що виходять зі старого POS, але мені це потрібно, навіть якщо це дуже громіздко і включає Perl, але як тільки у мене є файл .CSV (або будь-який тип файлу насправді буде працювати для цього процесу), мені досить незрозуміло як я б подав його до об'єкта замовлення Magento.

Я зробив декілька Googling, і я придумав приклади людей, які використовують об'єкт замовлення Mage, щоб імпортувати замовлення програмно, але мало дискусій про те, як вони підключають джерела даних, окрім переднього кошика, до вказаного об'єкта. Я вивчав версію об'єкта замовлення:

$id=1; // get Customer Id
$customer = Mage::getModel('customer/customer')->load($id);

$transaction = Mage::getModel('core/resource_transaction');
$storeId = $customer->getStoreId();
$reservedOrderId = Mage::getSingleton('eav/config')->getEntityType('order')->fetchNewIncrementId($storeId);

$order = Mage::getModel('sales/order')
  ->setIncrementId($reservedOrderId)
  ->setStoreId($storeId)
  ->setQuoteId(0)
  ->setGlobal_currency_code('USD')
  ->setBase_currency_code('USD')
  ->setStore_currency_code('USD')
  ->setOrder_currency_code('USD');

// set Customer data
$order->setCustomer_email($customer->getEmail())
  ->setCustomerFirstname($customer->getFirstname())
  ->setCustomerLastname($customer->getLastname())
  ->setCustomerGroupId($customer->getGroupId())
  ->setCustomer_is_guest(0)
  ->setCustomer($customer);

// set Billing Address
$billing = $customer->getDefaultBillingAddress();
$billingAddress = Mage::getModel('sales/order_address')
  ->setStoreId($storeId)
  ->setAddressType(Mage_Sales_Model_Quote_Address::TYPE_BILLING)
  ->setCustomerId($customer->getId())
  ->setCustomerAddressId($customer->getDefaultBilling())
  ->setCustomer_address_id($billing->getEntityId())
  ->setPrefix($billing->getPrefix())
  ->setFirstname($billing->getFirstname())
  ->setMiddlename($billing->getMiddlename())
  ->setLastname($billing->getLastname())
  ->setSuffix($billing->getSuffix())
  ->setCompany($billing->getCompany())
  ->setStreet($billing->getStreet())
  ->setCity($billing->getCity())
  ->setCountry_id($billing->getCountryId())
  ->setRegion($billing->getRegion())
  ->setRegion_id($billing->getRegionId())
  ->setPostcode($billing->getPostcode())
  ->setTelephone($billing->getTelephone())
  ->setFax($billing->getFax());
$order->setBillingAddress($billingAddress);

$shipping = $customer->getDefaultShippingAddress();
$shippingAddress = Mage::getModel('sales/order_address')
  ->setStoreId($storeId)
  ->setAddressType(Mage_Sales_Model_Quote_Address::TYPE_SHIPPING)
  ->setCustomerId($customer->getId())
  ->setCustomerAddressId($customer->getDefaultShipping())
  ->setCustomer_address_id($shipping->getEntityId())
  ->setPrefix($shipping->getPrefix())
  ->setFirstname($shipping->getFirstname())
  ->setMiddlename($shipping->getMiddlename())
  ->setLastname($shipping->getLastname())
  ->setSuffix($shipping->getSuffix())
  ->setCompany($shipping->getCompany())
  ->setStreet($shipping->getStreet())
  ->setCity($shipping->getCity())
  ->setCountry_id($shipping->getCountryId())
  ->setRegion($shipping->getRegion())
  ->setRegion_id($shipping->getRegionId())
  ->setPostcode($shipping->getPostcode())
  ->setTelephone($shipping->getTelephone())
->setFax($shipping->getFax());

$order->setShippingAddress($shippingAddress)
  ->setShipping_method('flatrate_flatrate')
  ->setShippingDescription($this->getCarrierName('flatrate'));

$orderPayment = Mage::getModel('sales/order_payment')
  ->setStoreId($storeId)
  ->setCustomerPaymentId(0)
  ->setMethod('purchaseorder')
  ->setPo_number(' - ');
$order->setPayment($orderPayment);

// let say, we have 2 products
$subTotal = 0;
  $products = array(
  '1001' => array(
  'qty' => 1
  ),
  '1002' ->array(
  'qty' => 3
  ),
);
foreach ($products as $productId=>$product) {
  $_product = Mage::getModel('catalog/product')->load($productId);
  $rowTotal = $_product->getPrice() * $product['qty'];
  $orderItem = Mage::getModel('sales/order_item')
    ->setStoreId($storeId)
    ->setQuoteItemId(0)
    ->setQuoteParentItemId(NULL)
    ->setProductId($productId)
    ->setProductType($_product->getTypeId())
    ->setQtyBackordered(NULL)
    ->setTotalQtyOrdered($product['rqty'])
    ->setQtyOrdered($product['qty'])
    ->setName($_product->getName())
    ->setSku($_product->getSku())
    ->setPrice($_product->getPrice())
    ->setBasePrice($_product->getPrice())
    ->setOriginalPrice($_product->getPrice())
    ->setRowTotal($rowTotal)
    ->setBaseRowTotal($rowTotal);

  $subTotal += $rowTotal;
  $order->addItem($orderItem);
}

$order->setSubtotal($subTotal)
  ->setBaseSubtotal($subTotal)
  ->setGrandTotal($subTotal)
  ->setBaseGrandTotal($subTotal);

$transaction->addObject($order);
$transaction->addCommitCallback(array($order, 'place'));
$transaction->addCommitCallback(array($order, 'save'));
$transaction->save();

Ось ось мої конкретні запитання:

  1. Чи здається це навіть віддаленим чуттєвим підходом до цієї проблеми? І якщо ні, як ви вважаєте, як я міг би підійти до цього питання, як менший ідіот?
  2. Якщо це чуттєвий підхід, чи потрібен мені інший .CSV для кожної моделі, викликаної в процесі замовлення? тобто Mage :: getModel ("продаж / замовлення"), Mage :: getModel ("продаж / замовлення_адреса") тощо?
  3. Чи є .CSV навіть дорогою?
  4. Як я можу подати свої дані до цього об'єкта, чи містяться вони в .CSV чи що у вас?
  5. Як би ви подумали про обмеження накладних витрат?

Навіть якщо я думаю про це абсолютно ідіотським способом, а ти мені так само багато розповідаєш, я дуже ціную будь-який внесок.

Дякую, дякую, дякую!


1
Насправді не важливо для вашого випадку, але подивіться на попереднє питання моєї відповіді та відповідь @BenMarks, що передбачає аналіз CSV у Magento та може бути корисним. magento.stackexchange.com/questions/232/…
pspahn

1
Ви можете подивитися на це натхнення: github.com/avstudnitz/AvS_FastSimpleImport Основна увага приділяється імпорту продуктів та клієнтів, але це швидка система імпорту. Коли ви говорите про мільйони записів, ви, мабуть, хочете чогось швидкого. Я раніше використовував це для імпорту файлів CSV продукту. Ви просто читаєте файл CSV і конвертуєте дані в масиви. Я не намагався розширити цей модуль для використання замовлень. Тож я поняття не маю, як це вийде. Удачі.
Вікі

Отже, чи автоматизація потоку даних - імпорт для імпорту замовлень буде поганою ідеєю? З того, що я прочитав, здається, рішення є досить поширеним.
запчастини

Відповіді:


9

Здивований не отримав відповідей з такою кількістю голосів / переглядів, тому я кусаю:

  1. Це залежало б від старої POS-системи, масажуючи дані під час імпорту.
  2. Ознайомтесь Varien_Io, зокрема Varien_Io_File. Оскільки ви, швидше за все, матимете справу з таким великим набором даних, пам’ятайте про використання потоків, таких як StreamReadCsvта StreamWriteCsv. Детальніше про "потік" . Без потоку чи лінійного читання / запису ви можете стикатися з проблемами пам'яті іншими методами завантаження / запису.

З вищесказаним ось приклад: (джерело Atwix.com )

/**
 * Generates CSV file with product's list according to the collection in the $this->_list
 * @return array
 */
public function generateMlnList()
{
    if (!is_null($this->_list)) {
        $items = $this->_list->getItems();
        if (count($items) > 0) {

            $io = new Varien_Io_File();
            $path = Mage::getBaseDir('var') . DS . 'export' . DS;
            $name = md5(microtime());
            $file = $path . DS . $name . '.csv';
            $io->setAllowCreateFolders(true);
            $io->open(array('path' => $path));
            $io->streamOpen($file, 'w+');
            $io->streamLock(true);

            $io->streamWriteCsv($this->_getCsvHeaders($items));
            foreach ($items as $product) {
                $io->streamWriteCsv($product->getData());
            }

            return array(
                'type'  => 'filename',
                'value' => $file,
                'rm'    => true // can delete file after use
            );
        }
    }
}

Що стосується імпорту замовлень, цей приклад найбільше допоміг: (Джерело: pastebin )

<?php

require_once 'app/Mage.php';

Mage::app();

$quote = Mage::getModel('sales/quote')
    ->setStoreId(Mage::app()->getStore('default')->getId());

if ('do customer orders') {
    // for customer orders:
    $customer = Mage::getModel('customer/customer')
        ->setWebsiteId(1)
        ->loadByEmail('customer@example.com');
    $quote->assignCustomer($customer);
} else {
    // for guesr orders only:
    $quote->setCustomerEmail('customer@example.com');
}

// add product(s)
$product = Mage::getModel('catalog/product')->load(8);
$buyInfo = array(
    'qty' => 1,
    // custom option id => value id
    // or
    // configurable attribute id => value id
);
$quote->addProduct($product, new Varien_Object($buyInfo));

$addressData = array(
    'firstname' => 'Test',
    'lastname' => 'Test',
    'street' => 'Sample Street 10',
    'city' => 'Somewhere',
    'postcode' => '123456',
    'telephone' => '123456',
    'country_id' => 'US',
    'region_id' => 12, // id from directory_country_region table
);

$billingAddress = $quote->getBillingAddress()->addData($addressData);
$shippingAddress = $quote->getShippingAddress()->addData($addressData);

$shippingAddress->setCollectShippingRates(true)->collectShippingRates()
        ->setShippingMethod('flatrate_flatrate')
        ->setPaymentMethod('checkmo');

$quote->getPayment()->importData(array('method' => 'checkmo'));

$quote->collectTotals()->save();

$service = Mage::getModel('sales/service_quote', $quote);
$service->submitAll();
$order = $service->getOrder();

printf("Created order %s\n", $order->getIncrementId());

З прикладом, який у вас зараз, буде важкий ресурс, оскільки є Mage::getModel(...дзвінки в циклах foreach, що є поганою практикою , і, швидше за все, або таймаут, або досить швидко заповнити пам'ять. Особливо, якщо у вас це обгорнуто в іншому передмісті / поки.

Цей ...

foreach ($products as $productId=>$product) {
  $_product = Mage::getModel('catalog/product')->load($productId);

Має виглядати так:

$_product = Mage::getModel('catalog/product');
foreach ($products as $productId=>$product) {
  $_product->load($productId);

Я б не намагався пробувати і пов'язувати всі біти даних CSV до об'єктів Magento. Було б божевілля і трохи надмірності, дотримуйтесь точок входу моделі ресурсу $model->load(EntityId).

Також зауважте, якщо ви намагаєтеся імпортувати понад 100 тис. + Замовлень, я б занепокоєний продуктивністю після великого імпорту, оскільки це необхідно, щоб MySQL був налаштований на обробку таких великих обсягів, не надто згадуючи, якщо я не помиляюся, об’єкти продажу все ще базуються на EAV, і недостатньо ефективні при великих обсягах / трафіку. Існує причина, що Magento Enterprise має модуль Архів замовлень продажів, щоб витягнути старі дані з "транзакційних" таблиць замовлень продажів, щоб запобігти роздуті / несвіжі дані, які не потрібні для прийому замовлень.

Для завершення: Я б висунув вимоги та потреби бізнесу для зберігання таких великих даних, якщо його суто звітування є кращими альтернативами, ніж Magento.


хто-небудь допоможе в цьому @ magento.stackexchange.com/questions/125460/…
Gem

3

Думаючи про вплив цих історичних замовлень на ефективність magento / mysql плюс те, що будь-які лінійки товарів, які були припинені, потрібно було б також імпортувати, то, можливо, варто подумати про збереження історичних замовлень разом із замовником та продуктами в чомусь як індекс еластичного пошуку та пошук за запитом. тобто сторінка історії замовлень клієнтів.


1

Від створення пропозицій та створення замовлення потрібно занадто багато часу для величезних даних про імпорт замовлення.

Отже, я дослідив і знайшов висновок про величезні дані про імпорт замовлень із запитом mysql:

  1. Я вставив дані лише в таблиці замовлень.

  2. Оновлення increment_idвизнати Magento 1.x, що останній замовлення increment_idцей

  3. Цей запит не створює жодних пропозицій, рахунків-фактур та відправки:

    SQL запити: -

    1. INSERT INTO `sales_flat_order` (state, status, shipping_description, store_id, customer_id, base_discount_invoiced, base_grand_total, base_shipping_amount, base_shipping_invoiced, base_subtotal, base_subtotal_invoiced, base_tax_amount, base_tax_invoiced, base_total_invoiced, base_total_invoiced_cost, base_total_paid, discount_invoiced, grand_total, shipping_amount, shipping_invoiced, subtotal, subtotal_invoiced, tax_amount, tax_invoiced, total_invoiced, total_paid, customer_group_id, increment_id, base_currency_code, global_currency_code, customer_email, customer_firstname, customer_lastname, customer_middlename, order_currency_code, shipping_method, store_currency_code, store_name, created_at, updated_at, total_item_count, hidden_tax_invoiced, base_hidden_tax_invoiced, is_valid) VALUES ("complete", "complete", "Flat Rate - Fixed", 1, 38322,0,225.7,0,0,214.95,214.95,10.75,10.75,225.7, 0,225.7, 0,225.7,0,0,214.95,214.95,10.75,10.75,225.7,225.7, 1,100026111,"CAD","CAD","abc@gmail.com","abc","abc","", "CAD", "flatrate_flatrate", "CAD", "Main Website\nMain Website Store\nOnline Catalog","2012-01-17 00:00:00","2012-01-17 00:00:00",5,0,0,0);

    2. INSERT INTO `sales_flat_order_grid` (entity_id, status, shipping_description, shipping_method, store_id, customer_id, customer_email, total_qty_ordered, base_grand_total, base_total_paid, grand_total, total_paid, increment_id, base_currency_code, order_currency_code, store_name, created_at, updated_at, payment_validated, billing_name, shipping_name) VALUES (5, "complete", "Flat Rate - Fixed", "flatrate_flatrate", 1, 38322,"abc@gmail.com",5,225.7,225.7,225.7,225.7,100026111,"CAD", "CAD", "Main Website\nMain Website Store\nOnline Catalog","2012-01-17 00:00:00","2012-01-17 00:00:00",1,"abc abc","abc abc");

    3. INSERT INTO `sales_flat_order_address` (parent_id, region_id, customer_id, email, region, postcode, lastname, street, city, telephone, country_id, firstname, address_type, middlename, nick_name) VALUES (5,68,38322,"alicjakeller@gmail.com","Manitoba","R3W 1G9","abc","1607 Concordia Ave E","Winnipeg","204 667-5540","CA","abc","billing","","")

    4. INSERT INTO `sales_flat_order_address` (parent_id, region_id, customer_id, email, region, postcode, lastname, street, city, telephone, country_id, firstname, address_type, middlename, nick_name) VALUES (5,68,38322,"alicjakeller@gmail.com","Manitoba","R3W 1G9","abc","1607 Concordia Ave E","Winnipeg","204 667-5540","CA","abc","shipping","","");

    5. INSERT INTO `sales_flat_order_item` (order_id, store_id, created_at, updated_at, product_id, product_type, sku, name, qty_ordered, price, base_price, original_price, base_original_price, row_total, base_row_total, price_incl_tax, base_price_incl_tax, row_total_incl_tax, base_row_total_incl_tax) VALUES (5,1,"2012-01-17 00:00:00","2012-01-17 00:00:00",4134,"simple","MET2240","ULTRA FLORA IB - 30 CAPS",4,44.99,44.99,44.99,44.99,179.96,179.96,44.99,44.99,179.96,179.96);

    6. INSERT INTO `sales_flat_order_item` (order_id, store_id, created_at, updated_at, product_id, product_type, sku, name, qty_ordered, price, base_price, original_price, base_original_price, row_total, base_row_total, price_incl_tax, base_price_incl_tax, row_total_incl_tax, base_row_total_incl_tax) VALUES (5,1,"2012-01-17 00:00:00","2012-01-17 00:00:00",3198,"simple","WS1600","THYROSENSE - 180 VCAPS + 60 VCAPS FREE",1,34.99,34.99,34.99,34.99,34.99,34.99,34.99,34.99,34.99,34.99);

    7. INSERT INTO `sales_flat_order_payment` (parent_id, base_shipping_amount, shipping_amount, base_amount_paid, amount_paid, base_amount_ordered, amount_ordered, method) VALUES (5,0,0,225.7,225.7,225.7,225.7, "cashondelivery");

    8. UPDATE `eav_entity_store` SET increment_last_id = 100026111 WHERE `entity_type_id` = 5 AND `store_id` = 1;

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.