--- title: "Интеграция с AWS — извлечение всех таблиц Tulip и запись в S3" slug: "aws-integration-fetch-all-tulip-tables-and-write-to-s3" updated: 2026-10-22T12:39:55Z published: 2026-10-22T12:39:55Z canonical: "support.tulip.co/aws-integration-fetch-all-tulip-tables-and-write-to-s3" --- > ## Documentation Index > Fetch the complete documentation index at: https://support.tulip.co/llms.txt > Use this file to discover all available pages before exploring further. # Интеграция с AWS — извлечение всех таблиц Tulip и запись в S3 *Оптимизируйте получение данных из Tulip в AWS S3 для расширения возможностей аналитики и интеграции* ## Цель В этом руководстве шаг за шагом описано, как извлечь все данные из таблиц Tulip с помощью функции Lambda и записать их в корзину S3. Это выходит за рамки базового запроса на извлечение и обеспечивает итерацию по всем таблицам в данном экземпляре; это может быть отлично подходит для еженедельной задачи ETL (извлечение, преобразование, загрузка) Функция Lambda может запускаться с помощью различных ресурсов, таких как таймеры Event Bridge или API Gateway Пример архитектуры приведен ниже:![image.png](https://cdn.document360.io/7c6ff534-cad3-4fc8-9583-912c4016362f/Images/Documentation/image%28725%29.png) ## Настройка Для данной интеграции требуется следующее: - Использование API Tulip Tables (получите ключ API и секретный ключ в настройках учетной записи) - Таблица Tulip (получите уникальный идентификатор таблицы) Общие шаги: 1. Создайте функцию AWS Lambda с соответствующим триггером (API Gateway, Event Bridge Timer и т. д.) 2. Убедитесь, что используются подходящие слои Lambda (например, для pandas и awswrangler и т. д.) и что ключи API Tulip Tables имеют достаточные разрешения 3. Загрузите данные таблицы Tulip с помощью приведенного ниже примера (его можно использовать в любом контексте: S3, Glue, Redshift и т. д.)```pythonimport jsonimport awswrangler as wrimport boto3from datetime import datetimeimport pandas as pdimport requestsimport os # Получение текущей временной метки для уникальных имен файлов timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") bucket = os.getenv('bucket_name') # Функция для преобразования словарей в строки def dict_to_str(cell): if isinstance(cell, dict): return str(cell) return cell def query_table(table_id, base_url, api_header): offset = 0 function = f'/tables/{table_id}/records?limit=100&offset={offset}&includeTotalCount=false&filterAggregator=all' r = requests.get(base_url+function, headers=api_header) df = pd.DataFrame(r.json()) length = len(r.json()) while length > 0: offset += 100 function = f'/tables/{table_id}/records?limit=100&offset={offset}&includeTotalCount=false&filterAggregator=all' r = requests.get(base_url+function, headers=api_header) length = len(r.json()) df_append = pd.DataFrame(r.json()) df = pd.concat([df, df_append], axis=0) df = df.apply(lambda row: row.apply(dict_to_str), axis=1) return df # создать функцию def write_to_s3(row, base_url, api_header, bucket): table = row['label'] id = row['id'] df = query_table(id, base_url, api_header) ``` path = f's3://{bucket}/{timestamp}/{table}.csv'# Запись DataFrame в S3 в формате CSV wr.s3.to_csv( df=df, path=path, index=False) print(f"Записано {table} в {path}") return f"Записано {table} в {path}" ``` def lambda_handler(event, context): api_header = {'Authorization' : os.getenv('tulip_api_basic_auth')} instance = os.getenv('tulip_instance') base_url = f'https://{instance}.tulip.co/api/v3' get_tables_function = '/tables' r = requests.get(base_url+get_tables_function, headers=api_header) table_names = pd.DataFrame(r.json()) ``` # функция запроса таблицы table_names.apply(lambda row: write_to_s3(row, base_url, api_header, bucket), axis=1) return { 'statusCode': 200, 'body': json.dumps('записано в S3!')} ``` ``` ## Варианты использования и дальнейшие шаги После завершения интеграции с Lambda вы сможете легко анализировать данные с помощью ноутбука Sagemaker, QuickSight или множества других инструментов. **1. Прогнозирование дефектов —** выявляйте производственные дефекты до их возникновения и повышайте качество с первого раза. — Определяйте основные факторы, влияющие на качество продукции, для внедрения улучшений **2. Оптимизация затрат на обеспечение качества —** выявление возможностей для оптимизации конструкции продукта без ущерба для удовлетворённости клиентов **3. Оптимизация энергопотребления на производстве —** определение факторов, влияющих на производство, для оптимизации энергопотребления **4. Прогнозирование и оптимизация поставок и планирования —** оптимизируйте производственный график с учётом спроса со стороны клиентов и графика заказов в режиме реального времени **5. Глобальный сравнительный анализ станков и линий** — проведение сравнительного анализа аналогичных станков или оборудования с нормализацией показателей **6. Глобальное и региональное цифровое управление эффективностью** — консолидация данных для создания информационных панелей в режиме реального времени ```