Модуль anyCSV/XLS/YML PRO PIM Edition Import/Export для OpenCart

Модуль позволяет делать импорт из практически любых файлов CSV, DSV, XLSX, XLS, YML на все сборки OpenCart 2 (все версии) и OpenCart 3 (все версии)

Ключевые отличия от других вариантов

• Экспорт в формат XLS/XLSX и совместимый с эксель CSV
  
• При экспорте стандартный отбор, что нужно экспортировать, отбор данных по любому значению в таблице товара.Например, можно указать только с непустым SKU, и/или с моделью, которая содержит определенный префикс слева/справа, и/или с количеством больше или равно 10 и т.д.
• Парсинг с удаленных сайтов использованием php, и/или xPath (вставка обработчика при импорте строк) и импорт результата в любое поле товара при обработке строки (если нужен парсинг по ссылкам описаний, парсинг картинок и пр. )
• Добавление своих колонок прямо в модуле, с логическими условиями появления того или иного текста в зависимости от того или иного содержания соседних колонок. Например, можно создать теги, метатеги, метатайтлы по схеме ПРОИЗВОДИТЕЛЬ КУПИТЬ НАЗВАНИЕ ТОВАРА и т.п.
• Создание текста из значений в соседних колонках строки импорта (например, для создания категорий вложенностью или для получения цены и мн.др.)
• Вставка своего php кода при начале импорта
• Вставка своего php при обработке строки, с возможностью любого преобразования данных в строке в каждой колонке
• Импорт из форматов YML, в т.ч. расширенных своими тегами, а также любых размеров за счет специального приложения (на 10 тыс. товаров нужно примерно +25 сек. предоброботки файла и 10Мб ОЗУ)
• При импорте YML также доступны: сопоставление категорий, создание любых типов опций из определенных значений в теге param, создание атрибутов из любых тегов param
• При импорте YML видны все теги, по этому их можно также импортировать в любое поле товара
• Глубокое логирование, в т.ч. с уведомлениями на почту
• Автоматизация на базе приложения smartExchange - приложение позволяет делать обработку на любых хостингах, с удобным интерфейсом настройки прямо в модуле. Достаточно поставить ссылку приложения на CRON, которая будет запускать приложение, например, каждую минуту. Всё остальное - порядок, график загрузки, и приоритеты действий, последовательную работу, и настройку под доступные ресурсы хостинге будет делать smartExchange. smartExchange - не создает нагрузку на хостинг (не использует подключение и базу данных, когда это не нужно (нет задач обмена)). Протестирован уже на обновление YML 800 тыс. товаров, с ОЗУ 2Гб

Как может подаваться файл?

• Ссылкой на удаленном сервере,
  
• Файлом
  
• Зазипованным файлом
  

Допустимый размер файла и вопросы производительности

Модуль использует специальные методы работы с файлами, которые не требуют лишних затрат физической и оперативной памяти. Однако при файлах значительно большого размера (файлы сотни мегабайт, и сотни тысячи строк) Вам может понадобиться дополнительные ресурсы от хостинга. Наиболее высокие затраты возникают при работе с файлами эксель. Являясь PC-форматом, данный формат, даже, в XLSX варианте требует дополнительных ресурсов, если сравнивать этот формат с текстовыми форматами CSV, DSV

Требования к файлу и форматы

• Любая кодировка файла, любая подача файла (по ссылке, вызывающей файл или подача загрузкой в модуль)
  
• Любые форматы файлов CSV, DSV с колонками, у которых есть хоть какие-то названия
  
• Любые Эксель файлы, с размещением данных от первой строки, с колонками, у которых есть хоть какие-то названия
• Любые YML, включая некоторых их расширения. А также, при наличии расширений в виде тегов в оффер, прямой импорт таких данных в любые товарные данные

Затраты ресурсов при работе с YML

• В модуле не используются стандартные средства парсинга, по этому производительность достаточно высокая, а отношение к ресурсам максимально бережное. В частности для подготовки файла перед импортом, с 10200 позициями модулю нужно порядка 22-26 сек., и порядка 10Мб ОЗУ. Как импортировать файлы с бОльшим числом товаров, и не выходить за пределы лимитов, рассказано в инструкции к модулю

Сколько может быть файлов одновременно

Основные возможности

1. Импорт товаров определенных категорий, производителей
2. Создание опций из определенных параметров (param) YML
3. Создание атрибутов из определенных параметров (param) YML
4. Еще десятки функций в рамках работы с данными их XML, YML
5. Импорт с предварительным представлением данных в табличной форме в формате CSV
6. Модуль решает все популярные задачи

Автоматизация

1. Автоматический экспорт через ссылку
2. Автоматический импорт через ссылку
3. Автоматический импорт и экспорт через встроенную систему OCext smartExchange с расписанием запуска заданий прямо в модуле

Адаптация под производительность хостинга

1. Нормирование обмена по количеству строк обработки для адаптации под возможности хостинга
2. Кеширование, результатов функциональных запросов в базу
3. Удаление временных данных, в ходе работы — увеличение скорости по мере импорта

Действия с группой товаров перед импортом

1. Гибкий поиск нужных товаров, даже, тех, которых нет в файле (поиск товаров, которые нужно предварительно обработать по ключевым словам, префиксам слева, справа в тех или иных полях товара)
2. Групповые действия с товаром (сбрасывание остатка по условию, выключение товаров по условию и пр.)

Дополнительные настройки

1. Генератор SEO алиасов (категориям, товарам, производителям)
2. Произвольное (любое) название колонок файла
3. Очищение аналогичных значений перед импортом (например, очищение дополнительных картинок или значений опций, или продуктовых категорий перед импортом этих значений)

Идентификация товаров при импорте

1. Идентификация по любому кастомному полю в товаре, а также по артикулу, модели или product_id
2. Идентификация по названию товара, названию изображения
3. Автоматическое образование префикса в идентификатор при импорте, и проверка при импорте по данному префиксу

Импорт атрибутов

1. Отдельный импорт атрибутов

Импорт атрибутов в товары

1. Импорт атрибутов значениями, через произвольный разделитель, с созданием атрибута и группы из колонок, или с привязкой к имеющимся на сайте атрибутам
2. Импорт атрибутов значениями и названиями атрибутов, через произвольный разделитель, группы из названия колонок, или с привязкой к имеющимся на сайте группам
3. Импорт атрибутов значениями, названиями атрибутов, названиями группы через произвольный разделитель

Импорт категорий

1. Отдельный импорт категорий

Импорт производителей

1. Отдельный импорт производителей

Импорт производителей в товары

1. Импорт производителей по названию производителя при импорте товара
2. Импорт производителя по manufacturer_id

Импорт опций

1. Отдельный импорт опций

Импорт опций в товары

1. Импорт опций Микроразметка 1: checkbox|Размер| XXL|0|57| 1|+|10| -|20|+|0| http://site.com/ img/sizexxl.jpg|sizecolor001299 |SKU-112998
2. Импорт опций Микроразметка 2:Размер|XXL |+|10|251 |http://site.com/img/ sizexxl.jpg|checkbox| sizecolor001299| SKU-112998
3. Импорт опций Микроразметка 3: XXL-5; XL-1-255-1; M-5—1-0;L-4;
4. Импорт опций Цена-Количество, через произвольный разделитель: 300,5|150,12|250,27
5. Идентификация опций по произвольному коду опции, и артикулу в значении опции товара
6. Импорт опций Названий опций, с указанием остальных параметров из существующих на сайте опций или из других колонок файла

Импорт отзывов

1. Отдельный импорт отзывов

Импорт товарных категорий

1. Импорт категорий с вложенностью через произвольный разделитель
2. Импорт категорий с размещением уровней вложенности по колонкам

Источник данных

1. Авторизация при получении файла (Basic Access Authentication, RFC 7617)
2. Разархивация из архива ZIP
3. Импорт по удаленной ссылке
4. Импорт из файла

Логирование и отчеты

1. Лог-почта
2. Лог детальный
3. Лог простой
4. Уведомление на почту о завершении

Логический импорт прочих товарных данных

1. Импорт связанных товаров по артикулам
2. Импорт в кастомные поля таблиц товаров, продуктовых опций, продуктовых атрибутов

Работа с изображениями

1. Импорт изображений по ссылкам/путям черер произвольный разделитель, с образованием главной картинки из первой ссылки
2. Обработка изображений с кириллическими названиями, пробелами, и другими не стандартными элементами в названиях
3. Импорт изображений по ссылке с использованием CURL (увеличивает скорость работы с изображениями при импорте)
4. Кроппинг изображений при импорте
5. Импорт изображений по ссылке с использованием file_get_contents

Работа с остатками

1. Остаткообразование по статусам
2. Прямой импорт количества в товар, в продуктовые опции

Работа с ценой

1. Ценообразование по коэффициентам
2. Ценообразование по диапазонам значения цены во входящих данных, по интервалам
3. Конвертор валют

Работа с языком и кодировками

1. Выбор языка контента
2. Кодировка и конвертация и/в UTF-8, Windows 1251, Windows 1252
3. Режимы импорта
4. Режим импорта — обновление и вставка новых, только обновление, только новые
5. Дополнительный режим импорта — вставка новинок

Сопоставления данных

1. Маппинг категорий (сопоставление категорий сайта и файла)

Сохранение настроек

1. Создание профилей импорта, экспорта
2. Сохранение настроек в файл для переноса настроек между сайтами (только для версии 7 и выше)
3. Типы, экспортируемых данных
4. Экспорт заказов, с выбором колонок

Форматы импорта

1. Импорт CSV
2. Импорт Эксель
3. Импорт из формата YML, с дополнительными настройками и адаптацией файла YML

Форматы экспорта

1. Экспорт CSV (в т.ч. совместимый с Эксель)
2. Экспорт Эксель

Отбор данных для экспорта по значения в таблице товаров

1. Создание своих колонок с импортом произвольного текста
2. Создание текста для импорта из соседних колонок
3. Парсинг xPath
4. Вставка php, выполняемого перед импортом
5. Вставка php, выполняемого при импорте каждой строки, с возможности переопределения значений в колонках, создания условий и пр.