Python在數(shù)億級(jí)數(shù)據(jù)集中查找某個(gè)元素是否存在解決方案？我用Python txt處理了1.7億條數(shù)據(jù)，壓力不是特別大，可以接受。有幾點(diǎn)要注意：1、不要用Python寫(xiě)周期，1.7億周期運(yùn)行到你的電腦

Python在數(shù)億級(jí)數(shù)據(jù)集中查找某個(gè)元素是否存在解決方案？

我用Python txt處理了1.7億條數(shù)據(jù)，壓力不是特別大，可以接受。

有幾點(diǎn)要注意：

1、不要用Python寫(xiě)周期，1.7億周期運(yùn)行到你的電腦上沒(méi)有電源。

2. 使用pandas和numpy，并使用他們自己的搜索方法。

3. 如果沒(méi)有足夠的內(nèi)存，熊貓.readcsv當(dāng)然，當(dāng)使用迭代器時(shí)，這個(gè)時(shí)間線程并不重要，因?yàn)槟钠款i是Io。