Написать скрипт на PowerSheel для импорта BigQuery

10.12.2020 19:05

Задача, написать скрипт на PowerShell (в принципе и питон тоже можно, но предпочтительней PS) для импорта данных в таблицу BigQery из 2 типов файлов json и csv

Данные должны быть дописаны к существующим, если строки будут совпадать то их перезаписать.

В BigQuery уже наполненная таблица с существующей схемой. Данные нужно именно дописывать. Т.е. при записи нужно сопоставлять поля.

Формат данных JSON

{
"data":[
{
"CashRegisteName":"ФР Аджикинежаль АТОЛ-22Ф",
"CashRegisteNameNumber":2,
"Cashier":"Голуб Мария",
"CloseTime":"2020-12-09T03:46:51.543",
"Department":"Аджика, Дрова (MIROTEL)",
"DepartmentCode":"1",
"DiscountSum":0,
"DishAmountInt":5,
"DishDiscountSumInt":1425,
"DishSumInt":1125,
"GuestNum":1,
"OpenDateTyped":"2020-12-09T00:00:00",
"OpenTime":"2020-12-09T03:20:01",
"OrderItems":5,
"OrderNum":150159,
"OrderWaiterName":"Ларионова Виктория",
"PayTypes":"Наличные",
"ProductCostBasePercent":0.1812,
"RestaurantSection":"Roomservice",
"SessionNum":1498,
"TableNum":800
},
{
"CashRegisteName":"ФР Аджикинежаль АТОЛ-22Ф",
"CashRegisteNameNumber":2,
"Cashier":"Тырышкин Юрий",
"CloseTime":"2020-12-09T11:12:20.887",
"Department":"Аджика, Дрова (MIROTEL)",
"DepartmentCode":"1",
"DiscountSum":0,
"DishAmountInt":9,
"DishDiscountSumInt":2600,
"DishSumInt":2300,
"GuestNum":1,
"OpenDateTyped":"2020-12-09T00:00:00",
"OpenTime":"2020-12-09T10:41:23",
"OrderItems":8,
"OrderNum":150164,
"OrderWaiterName":"Тернавская Софья",
"PayTypes":"Банковская карта",
"ProductCostBasePercent":0.208,
"RestaurantSection":"Roomservice",
"SessionNum":1498,
"TableNum":800
},