Так как лимит памяти на обычном хостинге не вилки и время исполнения скрипта ограничено, стоит задача обработки огромных прайс листов в формате csv (1млн, 2млн, 3млн ...) не на стороне сервера, а на стороне клиента посредством js.
Ранее я все делал на стороне сервера, читал файл построчно, перегружал страницу и продолжал дальше бегать по файлу и так до конца. Но сейчас этот способ перестал устраивать:
1. Не у всех мощный интернет, загрузка самого в 60-100мб файла на сервер занимает более 5 мин, при медленном соединении, что в свою очередь выходит за рамки max_execution_time.
2. Выделяемой памяти на обычном хостинге, не хватает для обработки такого файла.
На просторах интернета нашел js библиотеку, которая поможет нам справится с этой задачей
оф сайт - http://papaparse.com/
Буду отталкиваться от этого
Ранее я все делал на стороне сервера, читал файл построчно, перегружал страницу и продолжал дальше бегать по файлу и так до конца. Но сейчас этот способ перестал устраивать:
1. Не у всех мощный интернет, загрузка самого в 60-100мб файла на сервер занимает более 5 мин, при медленном соединении, что в свою очередь выходит за рамки max_execution_time.
2. Выделяемой памяти на обычном хостинге, не хватает для обработки такого файла.
На просторах интернета нашел js библиотеку, которая поможет нам справится с этой задачей
оф сайт - http://papaparse.com/
Буду отталкиваться от этого
Комментарии
Отправить комментарий