請問snare大,你提供的"finance.yahoo.com大量下載csv檔"的方式,最近出現error的筆數突然變很多。自己嘗試修正,只能確定並非被擋IP。跑迴圈重複下載error的部分可解決此問題。但還是想請教一下這個狀況是出了甚麼問題?謝謝
pig0656 wrote:你提供的"finance.yahoo.com大量下載csv檔"的方式,最近出現error的筆數突然變很多。自己嘗試修正,只能確定並非被擋IP。跑迴圈重複下載error的部分可解決此問題。但還是想請教一下這個狀況是出了甚麼問題?謝謝(恕刪) 網頁改版,請回頭看271、272樓範例,自行比對程式碼,看看改了什麼
請教一下樓主1700上市櫃財報資料基本資料(stock)股本形成(stock)股利政策(stock)經營績效(stock)獲利能力(stock)土地資產(stock)月營收(stock)季盈餘明細(stock)合併月營收明細(stock)重大行事曆(stock)籌碼分佈(stock)資產負債(stock)損益表(stock)財務比率年(stock)現金流量季表(stock)......1家公司約15個TABLE全下載下來大約要多久時間??我自己做約40分用WEB資料匯入CPU i5-2520M網路好像4M有時很快有時很慢最近想優化一下謝謝。
alwayslee wrote:1家公司約15個TABLE全下載下來大約要多久時間??我自己做約40分用WEB資料匯入(恕刪) 一、1X15 40分鐘?二、1700x15 40分鐘?三、資料來源網站??所有表格的網址??web query 如果改用 xmlhttp最少快10倍,但前提是網站不擋ip您給的資料不齊全,就算我想玩看看,也沒辦法試
alwayslee wrote:1700x15沒用xmlhttp這樣抓過嗎??網站是一舨券商的網站...(恕刪) 您只是讓我看您在下載資料的影片但網址還是沒給我啊???我無法測試,所以沒辦法回答正確的下載時間您的問法就像是甲:我去買一杯珍珠奶茶要1小時,換成你(乙)去買要多久?乙:2分鐘甲:怎麼可能那麼快乙:我家隔壁買的啊一般券商是那個?,也許我曾經寫過範例,您可以回頭找看看您這種下載方式有點像我在272樓寫的範例50筆約10秒,1700筆大約要6分鐘但每筆資料量大約是您影片中的2~3倍假設您抓資料的網站不擋ip,xmlhttp下載應該會更快,有機會低於4分鐘您可以玩玩272樓的範例試試
snare wrote:您只是讓我看您在下載(恕刪) 哈哈我的意思是"甲:我去買一杯珍珠奶茶要1小時,換成你(乙)去買要多久?乙:2分鐘"不管地點的也不一定要50藍的,只想知道是否買過珍奶,花多久時間(不是用推算的哦)換句話說不管去什麼網站抓是否抓過1700筆財報時間大約多久?是否因為某些問題以致無法完成?如果不好測也沒關係啦,這棟樓很讚。272樓有試過,不錯哦!!謝謝。