Skip to content

Instantly share code, notes, and snippets.

@pistocop

pistocop/[medium][subreddit-downloader]dataset-builder.sh

Created February 11, 2021 20:24
Show Gist options
  • Save pistocop/4ce8d9bbc8c07e2689ab785b9e87b995 to your computer and use it in GitHub Desktop.
Save pistocop/4ce8d9bbc8c07e2689ab785b9e87b995 to your computer and use it in GitHub Desktop.
Download ZIP
[medium][subreddit-downloader]dataset-builder.sh
Raw
[medium][subreddit-downloader]dataset-builder.sh
# Build the dataset, the results will be under `./dataset/` path
$ python src/dataset_builder.py
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 84.56it/s]
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 16/16 [00:00<00:00, 348.01it/s]
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 963.54it/s]
100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 3/3 [00:00<00:00, 23.11it/s]
$ ls dataset/20210211210341
comments.csv submissions.csv
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment