Python有什么辦法可以讓程序去遍歷比電腦內存大的數(shù)據？您好，很高興在這里交流。具體要看什么樣的數(shù)據啦，如果是大數(shù)據量的Excel數(shù)據，Python有天然的數(shù)據處理庫pandas。它具備Excel表

Python有什么辦法可以讓程序去遍歷比電腦內存大的數(shù)據？

您好，很高興在這里交流。

具體要看什么樣的數(shù)據啦，如果是大數(shù)據量的Excel數(shù)據，Python有天然的數(shù)據處理庫pandas。

它具備Excel表的一切功能，從多表拼接，合并，查找，替換，到數(shù)據透視表，無所不能，特別適合千萬級數(shù)據記錄的大數(shù)量的處理。

一切順利，加油。

c語言的指針可以遍歷內存嗎？

理論上可以，但實際操作的時候會遇到問題，因為目前的編譯器都是在操作系統(tǒng)之上運行的，受操作系統(tǒng)統(tǒng)一控制，每次編譯運行你的程序時，操作系統(tǒng)會分配給你當前的程序一塊虛擬內存，你的代碼中寫的內存地址都是以這塊虛擬內存為參照的，不能超出這個虛擬內存去訪問其他區(qū)域。

挑戰(zhàn)程序員同學，如何只用2GB內存從20/40/80億個整數(shù)中找到出現(xiàn)次數(shù)最多的數(shù)？

一、用4字節(jié)表示的整數(shù)個數(shù)為2^32≈40億，而用2字節(jié)表示的無符號整數(shù)個數(shù)為2^16≈6萬。

二、2G=2^31B≈20億字節(jié)。

三、要找出出現(xiàn)次數(shù)最多的數(shù)，則應記錄每個數(shù)出現(xiàn)的次數(shù)，最快的方法是在內存中將每個數(shù)出現(xiàn)的次數(shù)記錄下來，記錄的方法則是內存地址對應數(shù)，相應地址的內存單元記錄次數(shù)，但2G內存以字節(jié)為單位僅能記錄20億個數(shù)，且每個數(shù)出現(xiàn)的次數(shù)大于255將會出現(xiàn)溢出風險。因此，這一方案不可取。

四、這樣只能將每個次出現(xiàn)的次數(shù)記錄在磁盤上。這樣在磁盤上建一個16G的文件，每4字節(jié)對應一個整數(shù)，可對應40億個整數(shù)，并用于記錄相應整數(shù)的出現(xiàn)的次數(shù)。

1、將文件初始化。

2、依次讀取數(shù)據，并用無符號整數(shù)記錄在磁盤文件中，如出現(xiàn)溢出，則該數(shù)為次數(shù)最多的數(shù)。

3、從文件中讀取各數(shù)出現(xiàn)的次數(shù)，用一個變量A記錄最高次數(shù)，再用一個變量B記錄最高次數(shù)出現(xiàn)的數(shù)據個數(shù)，要用個文件依次記錄最高次數(shù)出現(xiàn)的數(shù)。當最高次數(shù)增加時，A 1，B置1，文件中寫入該數(shù)，同次數(shù)的數(shù)出現(xiàn)時，B 1，文件相應位置寫入該數(shù)，直到全部讀完。

這樣根本不需2G內存。