Данные

Условия повторного использования

База данных Open Food Facts доступна под Open Database License.
Отдельное содержимое базы данных доступно под Database Contents License.
Изображения продуктов доступны под Creative Commons Attribution ShareAlike licence. Они могут содержать графические элементы, на которые распространяются авторские или иные права, которые в некоторых случаях могут быть растиражированы (права на цитирование или добросовестное использование).

Пожалуйста, прочитайте Условия использования и повторного использования перед повторным использованием данных.

Расскажите нам о своем повторном использовании

Мы очень заинтересованы в изучении целей использования данных Open Food Facts. Это не обязательно, но мы будем очень признательны, если вы расскажете нам о своих повторных использованиях, чтобы мы могли поделиться ими с сообществом Open Food Facts. Вы также можетезаполнить эту форму, чтобы получить шанс на добавление вашего приложения в избранное.

Экспорт данных Open Food Facts

Дампы базы данных и экспорт генерируются каждую ночь. База данных очень большая, так что вы можете найтиразные способы использования, в зависимости от варианта экспорта.

Информация о различных полях для дампа MongoDB и экспорта CSV доступна по адресу https://world.openfoodfacts.org/data/data-fields.txt

Дамп MongoDB

Данные для всех продуктов доступны в дампе базы данных MongoDB.

Ссылка

https://static.openfoodfacts.org/data/openfoodfacts-mongodbdump.gz

sha256sum

https://static.openfoodfacts.org/data/gz-sha256sum

md5sum

https://static.openfoodfacts.org/data/gz-md5sum

Экспорт дельты

Ежедневный экспорт дельты предоставляется за предыдущие 14 дней. Список доступных в настоящее время дельта-файлов можно найти по адресу https://static.openfoodfacts.org/data/delta/index.txt.

Каждая строка представляет файл, который доступен по адресу https://static.openfoodfacts.org/data/delta/{filename}.

Имя файла содержит временную метку UNIX первого и последнего изменения, содержащегося в файле JSON, так что файлы дельта можно импортировать (после извлечения) с помощью mongoimport в алфавитном порядке.

Обратите внимание, что из-за природы mongoexport, дельта-файлы не смогут рассказать вам об удаленных продуктах. Чтобы убрать удалённый товар из базы данных, вам нужно импортировать полный дамп MongoDB.

Экспорт данных CSV

Вся база данных также доступна в формате JSONL (иногда называемом LDJSON или NDJSON), где каждая строка является объектом JSON. Он представляет те же данные, что и экспорт из MongoDB. Файл сжат с помощью gzip.

Ссылка

https://static.openfoodfacts.org/data/openfoodfacts-products.jsonl.gz

Подходящим способом использования базы данных является использование DuckDB — инструмента внутри процессной аналитики, предназначенного для обработки больших объемов данных за доли секунды. Вы можете прочитать наш пост в блоге, где мы расскажем вам об исследовании и обработке базы данных Open Food Facts с помощью DuckDB

Экспорт данных Parquet на Hugging Face

Упрощенная версия дампа JSONL также доступна в формате Parquet. В ходе конвертации мы отфильтровали столбцы, которые содержат дублированную информацию, используются для внутренней отладки или просто неактуальны для пользователей.

Формат Parquet оказался удобным:

• Данные организованы по столбцам, а не по строкам, что экономит дисковое пространство и ускоряет аналитические запросы, т. е. вы можете выбрать только те столбцы, которые вам нужны, оптимизируя производительность запросов даже на компьютерах начального уровня.
• Высокоэффективное сжатие и распаковка данных, что делает его полезным для хранения и обмена большими наборами данных любого рода,
• Поддерживает сложные типы данных и расширенные вложенные структуры данных.

Набор данных доступен на Hugging Face— совместной экосистеме машинного обучения, где разработчики и исследователи могут обмениваться моделями и наборами данных.

Ссылка

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/food.parquet?download=true

Найдите больше информации на Wiki, включая советы по использованию данных и примеры запросов, чтобы начать.

Экспорт данных CSV

Данные по всем или некоторым продуктам можно загрузить в формате CSV (читаемый в LibreOffice, Excel и многих других программах) через форму расширенного поиска.

Ссылка

Еда: https://static.openfoodfacts.org/data/en.openfoodfacts.org.products.csv.gz (сжатый CSV в формате GZIP: ~ 0.9 Gb, uncompressed: ~ 9 Gb)

Косметика: https://static.openbeautyfacts.org/data/en.openbeautyfacts.org.products.csv.gz

Корм для домашних животных: https://static.openpetfoodfacts.org/data/en.openpetfoodfacts.org.products.csv.gz

Все остальные продукты: https://static.openproductsfacts.org/data/en.openproductsfacts.org.products.csv.gz

Кодировка файла - Unicode UTF-8. Символом, который разделяет поля, является <tab> (табуляция).

Экспорт данных RDF

База данных также доступна в формате RDF (это эксперимент, который больше активно не поддерживается). Вы можете прочитать объявления на французском.

Ссылка

https://world.openfoodfacts.org/data/en.openfoodfacts.org.products.rdf.gz

Экспорт данных изображения

Все изображения и результаты OCR можно загрузить с нашего сервера или из AWS (через программу AWS Open Data). Ознакомьтесь с нашей документацией, чтобы узнать больше о том, как загружать изображения

OpenAPI Documentation for the JSON API

JSON API также доступен для чтения данных о продукте. Этот API, в частности, используется в мобильном приложении Open Food Facts.

Мы улучшаем API сверхурочно, но мы тщательно следим за обратной совместимостью. Пожалуйста, сообщите нам если вы используете его, чтобы мы могли рассказать вам о возможных изменениях.

Откройте для себя наш API

Участие в улучшении нашего API и документации OpenAPI

Мы стремимся завершить документирование API, добавить варианты использования и автоматизировать генерацию SDK. Если вы являетесь знатоком OpenAPI, мы будем рады вашей помощи.

Вы можете использовать API в производственных целях, при условии, что 1 вызов API = 1 реальному сканированию пользователем. Любая попытка извлечь данные из базы данных с помощью API, скорее всего, будет заблокирована, поскольку полный ежедневный экспорт доступен на этой же странице.

Кроме того, отправка HTTP-заголовка вместе с вызовом API — это хороший способ связаться с вами в случае возникновения каких-либо проблем.

XML API (не поддерживается)

Вы также можете получить результат в XML, используя .xml

Пример: https://world.openfoodfacts.org/api/v2/product/737628064502.xml

Этот API не поддерживается, и не документирован.

Обертки и SDK

У нас наверняка есть оболочка для вашего любимого языка программирования. Если мы сделаем, вы можете использовать это и улучшить. Если мы не сделаем, вы можете помочь нам сделать это.

Они позволят вам потреблять данные, а также позволят вашим пользователям вносить новые данные

Общие принципы, которые помогут сделать ваших пользователей счастливыми

• Вы можете искать информацию о продуктах, включая множество полезных расчетных значений.
• DART: GitHub
• Вы также можете реализовать весь процесс, чтобы они немедленно получили результат, приложив некоторые усилия с их стороны.

Если ваши пользователи не ожидают немедленного результата (например, приложения Inventory)

• Отправка фотографий (вид/пищевая ценность/ингредиенты): самый безболезненный способ для ваших пользователей
• Искусственный интеллект Open Food Facts - Robotoff - сгенерирует некоторые производные данные из фотографий
• Со временем другие приложения и сообщество Open Food Facts заполнят пробелы в данных

Если ваши пользователи ожидают немедленного результата (например, приложения по питанию)

• Предоставьте пищевые факты + категорию > получить Nutri-Score
• Предоставьте ингредиенты > получите группу NOVA (о пищевой ультра обработке), добавки, аллергены, нормализованные ингредиенты, веганские, вегетарианские…
• Предоставьте категорию + этикетки > скоро вы получите Eco-Score (насчёт влияния на окружающую среду)

Мобильное приложение для Android и iPhone

Код мобильного приложения Open Pet Food Facts доступен на GitHub (Flutter, Kotlin Android and Swift iOS).

We look to turn the deprecated Kotlin and Swift codebases into Kotlin and Swift SDKs, help welcome :-)

Приложение позволяет пользователям сканировать штрихкод продукта, чтобы найти о нём информацию, и добавить фото и информацию для новых продуктов.

Вы можете самостоятельно использовать код (он в открытом доступе) и помочь нам улучшить его, для каждого, на всей земле.

SDK

Иконка	Язык / фреймворк	Ресурсы	Обсуждение
	Кордова (старое приложение)	GitHub	Н/Д
	DART	GitHub pub.dev	Н/Д
	Elixir	GitHub	Канал Slack
	Go	GitHub	Канал Slack
	Java	GitHub	Канал Slack
	Spring Boot	GitHub	Канал Slack
	Kotlin	GitHub	Канал Slack
	JavaScript	GitHub	Канал Slack
	PHP	GitHub	Канал Slack
	PHP (Laravel)	GitHub	Канал Slack
	Python	GitHub	Канал Slack
	React Native	GitHub	Канал Slack
	Ruby	GitHub	Канал Slack
	Ржавчина	GitHub	Канал Slack
	R	GitHub	Канал Slack
	Swift	GitHub	Канал Slack
	.NET/C#	GitHub	Канал Slack

Обсуждение данных, API и экспорт

Вы можете посмотреть часто задаваемые вопросы об API и экспорте данных и часто задаваемые вопросы Open Food Facts

Вы можете присоединиться к чату Open Food Facts Slack, который является предпочтительным способом задать вопросы и обсудить API. Пожалуйста задавайте свои вопросы в канале #api

Вы можете открыть ветку в нашем репозитории документации API

По любым вопросам относительно данных вы можете связаться с нами по адресу reuse@openfoodfacts.org