python-3.x之使用python和谷歌云引擎处理大数据

我是 Python 编程领域的业余爱好者，我需要帮助。我有 10GB 的数据，我用 Spyder 编写了 python 代码来处理数据。提供部分代码: 这些代码适用于少量数据样本。但是，对于 10GB 的数据，我的笔记本电脑无法处理，所以我需要使用 Google Cloud Engine。如何上传数据并使用 Google Cloud Engine 运行代码？

import os 
import pandas as pd  
import pickle 
import glob 
import numpy as np 
df=pd.read_pickle(r'C:\user\mydata.pkl') 
i=2018 
while i>=1995: 
    df=df[df.OverlapYearStart<=i] 
    df.to_pickle(r'C:\user\done\{}.pkl'.format(i)) 
    i=i-1 

请您参考如下方法:

我同意前面的回答，作为补充，你可以看看AI Platform Notebooks这是一项提供集成 JupyterLab 环境的托管服务，还能够从 BigQuery 中提取数据并允许您按需扩展应用程序。

另一方面，我不知道您如何将 10GB 的数据存储到 CSV 中？在数据库中？正如第一个答案中提到的 Cloud Storage允许您创建存储桶来存储数据，一旦数据在 Cloud Storage 中，您就可以将该数据导出到 BigQuery 表中，以便使用 Google Cloud App Engine 在您的应用程序中处理该数据。或较早的建议 AI Platform Notebooks 这将取决于您的解决方案。