seonews-ru

## gist:351d9226502ce5b9875ea32b73a9a9c5
for schema_field in table.schema: # Для каждого поля в схеме
    print (schema_field) # Печатаем поле схемы

print(table.num_rows) # Отображаем количество строк в таблице

## gist:b9b1b2ae3d3e63eda865d4193f0b4337
table = client.get_table(table_ref) # Получаем данные о таблице

table.description = 'Моя таблица' # Задаем новый дескрипшн для таблицы

table = client.update_table(table, ['description'])  # Обновляем таблицу, передав новый дескрипшн через API

print(table.description)

## gist:bd1bbf357f972198d4eb13d039d02015
# Создаем тестовый dataframe
df = pd.DataFrame(
    {
        'my_string': ['a', 'b', 'c'],
        'my_int64': [1, 2, 3],
        'my_float64': [4.0, 5.0, 6.0],
    }
)
dataset_ref = client.dataset('my_dataset_2') # Определяем датасет
dataset = bigquery.Dataset(dataset_ref)

## gist:5f553a7568af84ca6a5094e1ddf22f24
from google.cloud import bigquery

client = bigquery.Client.from_service_account_json(
    '/home/makarov/notebooks/my-bq-project-225910-6e534ba48078.json')

sql = '''
    SELECT DATE(creation_date) as date, DATE_TRUNC(DATE(creation_date), MONTH) as month, DATE_TRUNC(DATE(creation_date), YEAR) as year, COUNT(id) as questions
FROM
  `bigquery-public-data.stackoverflow.posts_questions`
WHERE tags LIKE '%pandas%'

## gist:5d68d77b087fa5ce46f4963ecd68d0ae
year_stats.to_gbq('my_dataset.my_table', project_id=project_id, if_exists='fail', private_key='my-bq-project-225910-6e534ba48078.json')

## gist:c784e75acf639d5d854c54ee7e1c1d88
year_stats.columns = ['year','mean_questions','sum_questions','estimate']

## gist:aad1233296e9f412f3fb109b24415129
year_stats['estimate'] = year_stats[('questions','mean')]*12

display(year_stats)

## gist:c54a9d2c1397a70cd8daae19151f6b5e
year_stats = stats[(stats.month >= '2013-01-01') & (stats.month < '2018-09-01')].groupby(['year'],as_index=False).agg({'questions':['mean','sum']})

display(year_stats)

## gist:227430d6efba0e4f7312155f485a0798
stats = df.groupby(['year','month'],as_index=False).agg({'questions':'sum'}) # Группируем данные по году и месяцу, используя в качестве агрегирующей функции сумму количества вопросов

display(stats.sort_values('questions',ascending=False).head(5))

## gist:a31a41bf6d1a4da10311bb9a49460f32
df['month'] =  df['date'].values.astype('datetime64[M]') # Создаем новый столбец с месяцем
df['year'] =  df['date'].values.astype('datetime64[Y]') # Создаем новый столбец с годом

# Отображаем один день с максимальным количеством вопросов
display(df.sort_values('questions',ascending=False).head(1))
	for schema_field in table.schema: # Для каждого поля в схеме
	print (schema_field) # Печатаем поле схемы

	print(table.num_rows) # Отображаем количество строк в таблице
	table = client.get_table(table_ref) # Получаем данные о таблице

	table.description = 'Моя таблица' # Задаем новый дескрипшн для таблицы

	table = client.update_table(table, ['description']) # Обновляем таблицу, передав новый дескрипшн через API

	print(table.description)
	# Создаем тестовый dataframe
	df = pd.DataFrame(
	{
	'my_string': ['a', 'b', 'c'],
	'my_int64': [1, 2, 3],
	'my_float64': [4.0, 5.0, 6.0],
	}
	)
	dataset_ref = client.dataset('my_dataset_2') # Определяем датасет
	dataset = bigquery.Dataset(dataset_ref)
	from google.cloud import bigquery

	client = bigquery.Client.from_service_account_json(
	'/home/makarov/notebooks/my-bq-project-225910-6e534ba48078.json')

	sql = '''
	SELECT DATE(creation_date) as date, DATE_TRUNC(DATE(creation_date), MONTH) as month, DATE_TRUNC(DATE(creation_date), YEAR) as year, COUNT(id) as questions
	FROM
	`bigquery-public-data.stackoverflow.posts_questions`
	WHERE tags LIKE '%pandas%'
	year_stats['estimate'] = year_stats[('questions','mean')]*12

	display(year_stats)
	year_stats = stats[(stats.month >= '2013-01-01') & (stats.month < '2018-09-01')].groupby(['year'],as_index=False).agg({'questions':['mean','sum']})

	display(year_stats)
	stats = df.groupby(['year','month'],as_index=False).agg({'questions':'sum'}) # Группируем данные по году и месяцу, используя в качестве агрегирующей функции сумму количества вопросов

	display(stats.sort_values('questions',ascending=False).head(5))
	df['month'] = df['date'].values.astype('datetime64[M]') # Создаем новый столбец с месяцем
	df['year'] = df['date'].values.astype('datetime64[Y]') # Создаем новый столбец с годом

	# Отображаем один день с максимальным количеством вопросов
	display(df.sort_values('questions',ascending=False).head(1))