EluSiOn wrote:
最近剛好帶公司的新...(恕刪)
在此告訴大家多1個簡單方法, 就是買1張中國聯通 (香港)跨境王1卡2號或中國移動 (香港) 4G 1卡2號電話卡, X寶也有售.
下面整個 pci passthrough 給我第一個 vm, Linux Mint 17.2 (ubuntu 14.04 的分支, 圖形界面很強的版本, 很像 windows 7)
我的 Linux Mint 17.2 是直接安裝在 我的 zfs pool 上面 (這部分很難, 其中有透過 一個外接的 usb ssd cp 過去到 zpool 上面)
所有 linux distribution 都無法直接安裝在 zfs 上面, 特別是 grub2 對於 zfs 支援是有限制的, 需要修改 config 後才能做到 (需要 使用 live cd usb gpart + clonezilla), 這部分絕對不建議新手來操作, 需要 linux admin 指數是 99分以上的達人. 我是參考以下的兩個教學
https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-install-Ubuntu-14.04-or-Later-to-a-Native-ZFS-Root-Filesystem
https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-use-a-zvol-as-a-swap-device
下面是 1k 寫入以及讀取的速度 模擬數據庫 讀取 以及 寫入的速度
下面是 128k 寫入以及讀取的速度 模擬一般 NAS video 檔案 讀取 以及 寫入的速度
你們可以參考 原系統對照測試 (參考用, 測試方法不同, 不能1比1對照)
但是可以知道 zfs 的速度是快 ext 很多. 目前我的 L1ARC (RAM cache) 只有放1G 而已, 然後我還沒有增添 ssd (zil & L2ARC 寫入 & 讀取) 來加速, 這部分的測試後面再丟出來.
Oneplus 8 Pro•
Thinkpad T480s•
PVE6+OMV4+NextCloud
nicnac wrote:
很久沒發表文章，看...(恕刪)
pfsense 真的越來越強大, 現在 2.3 是重新寫使用者介面的部分, 目前已經進入 beta 了. 再來就是它支援硬體 cpu library 優化的部分越來越強大, 在這邊越來越不輸給50幾萬的 firewall/router 了.
Oneplus 8 Pro•
Thinkpad T480s•
PVE6+OMV4+NextCloud
我改變了當初很多規格/規劃
VSphere 6.0 passthrough 有成功也有失敗 在 Qnap 470 pro 的主板上面
- Intel i7 HD GPU 是無法 passthrough, 正確的說無法做到, 如果有單獨的 amd raedon/nvidia 就可以.
- 主板上的 Marvel Sata Controller 9235 有嚴重的 intel_iommu 的 bug. 從 kernel 2.6~ 4.2 都被影響到, 解決方式是要靠 qnap 提供新的 bios 修改 Sata Controller 的 DRM, 不然就是要依照 https://bugzilla.kernel.org/show_bug.cgi?id=42679 自己寫 patch.
- Vsphere 也被影響到, 因為它的 kernel 也是 linux 的. 所以當在這台系統上開 passthrough 時, SATA HD 只能從 4顆變成2顆. 這個就是為什麼很多是用 VM 的伺服器, 絕對不是用 Marvel 的晶片, 而 VMWare 對Marvel 的 Sata contrller 也是屬於半支援狀態.
我最後定案的模式是採用 Ubuntu 14.04.3 LTS Server, 我嘗試了 ubuntu 14.04.3 desktop, ubuntu 15.04 Desktop/Server, Linux Mint 17.2, Centos 7, Freebsd 10.2 (含FreeNAS) 以及 Open Media Vault (Debian Wheezy) (只差 opensuse/debian/archlinux 這三個版本我沒有嘗試), 選擇 Ubuntu 14.04.3 LTS Server 的原因是它目前所有的驅動支援度最好, 以及是目前最穩定同時提供給我最多功能以及效能 (不要追我要測試數據, 光是安裝設定上述版本的 linux 就花了我3個月的時間, 要是做有模有樣的數據測試, 大概又要三個月)
它的安裝是步奏 - 從 Ubuntu 下載 14.04.3 的 x64 server 版本的 iso
- 使用 YUMI 從 pan drive linux 來做 usb 安裝碟 partition 請使用 GPT, 絕對不要使用 LVM!
- 請先安裝到到一個 usb disk, 因為我們最後是要使用 zfs install on ROOT 的模式 請參考 https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-install-Ubuntu-14.04-or-Later-to-a-Native-ZFS-Root-Filesystem 這邊有個錯誤, 就是在測試開機時, 最好還是需要 modprobe gzio
- 等到確定可以從 zfs root 開機後, https://github.com/zfsonlinux/pkg-zfs/wiki/HOWTO-use-a-zvol-as-a-swap-device 建立 swap 空間.
- 更新 server, apt-get update & apt-get upgrade & apt -get dist-upgrade
- 安裝 desktop, apt-get --install-recommends install ubuntu-desktop
- 允許 root ssh login http://askubuntu.com/questions/469143/how-to-enable-ssh-root-access-on-ubuntu-14-04
- x11vnc 安裝 apt-get install x11vnc
- 設定密碼 x11vnc –storepasswd /etc/x11vnc.pass
- 啟動 修改 /usr/share/lightdm/lightdm.conf.d/50-unity-greeter.conf
[SeatDefaults]
greeter-session=unity-greeter
greeter-show-manual-login=true
greeter-hide-users=true
greeter-setup-script=/usr/bin/x11vnc -xkb -noxrecord -noxfixes -noxdamage -display :0 -auth /var/run/lightdm/root/:0 -forever -bg -o /var/log/x11vnc.lo
g -rfbauth /etc/x11vnc.pass -rfbport 5900 - 使用 fqdn 來建立 ldap domain database, 如 dc=pdc,dc=[mydomain],dc=com 然後 base administrator 請用類似, cn=admin, dc=kac,dc=[mydomain]e,dc=com
- 安裝 apt-get install ldap-acount-manager phpldapadmin ,有細部 profile 需要設定
- 參考 https://help.ubuntu.com/lts/serverguide/samba-ldap.html 來設定結合, schema 的導入, 以及 samba 的設定需要很強的高手來設定, linux 初學者是無法做到的
- 請使用 http://linuxgyd.blogspot.com/2014/07/enable-ldap-authentication-in-ubuntu.html 成為 linux 登入的 server, 但是 /etc/nsswitch.conf 那邊
passwd: files ldap compat
group: files ldap compat
shadow: files ldap compat - 安裝 BT 然後手機上面的 app 叫做 transdroid (market 搜的到)
- 安裝 KVM https://help.ubuntu.com/community/KVM/Installation
- 安裝 KVM web gui https://github.com/retspen/webvirtmgr/wiki/Install-WebVirtMgr 請記住把 ngnix webserver 的 port 改到 8080, 不然跟 apache2 會有衝突
- 安裝 owncloud http://idroot.net/tutorials/install-owncloud-8-ubuntu-14-04/ 需要手動增加 user 到www-data group 裡面, 這樣子使用者才有權限, 然後資料夾建議是一用 ln -s 的連接, 手機上的 app 就叫做 owncloud, 搜尋的到
- 建立一個 15 gb 的 zfs block volume 作為 pbx 的開機碟, zfs create -V 15G rpool/pbx
- 透過 kvm 建立一個 vm 給 pbx, 只要 1個core/thread 跟 1Gb 的記憶體 (後續可以再增加), cpu 的spec 請選擇 copy host cpu, network 是使用 virtio driver, 但是連接請使用 BRIDGE 這樣子才會跟 host 才同一個 network 上面而不是在 VM virtual network 裡面 (透過 virt-manager) 建立. 建議 ip 使用 x.x.x.253
- 使用 ubuntu 14.04.3 server iso 安裝, 參考 http://nerdvittles.com/?p=9713 的安裝模式, 不需要安裝 google voice gateway.
- 關於 codec.g729.so 請到 http://asterisk.hosting.lv/ 在 binary -> asterisk 13 那邊, 請找到如何你的 cpu 的 so codec_g729-ast130-gcc4-glibc2.2-x86_64-pentium4.so
- fail2ban 的設定, 請參考 http://www.voip-info.org/wiki/view/Fail2Ban+%28with+iptables%29+And+Asterisk 從新使用 asterisk security log 的模式, 原本自帶的很糟糕, 然後原本的 /etc/iptables/rules.v4 要修改很多東西, 因為很多垃圾. 請直接到設定的地方, 不需要再次安裝.
- incredible pbx 所有設定都是在 mysql 裡面, 所以修改 asterisk 檔案 .conf 是無效的. 再來就是 incrediblepbx 不支援 opus, 以及它的 sip driver 是新版 pjsip, 所以 終端用戶的 DMTF 設定稍微不同, 需要使用 sip info為主.
- 如果使用藍牙鍵盤跟滑鼠的話 請安裝 bluez 5.35 參考 https://launchpad.net/~vidplace7/+archive/ubuntu/bluez5 我是使用 微軟萬用折疊式鍵盤 以及羅技 Anywhere MX2
- 同時我也安裝了 Unified Remote 可以使用 android/ios 手機跟滑鼠當作鍵盤跟滑鼠
- 安裝 kodi.tv 請參考http://ubuntuhandbook.org/index.php/2014/12/install-kodi-14-stable-ubuntu-14-04/
- PFSense 如何安裝以及設定我就不在這邊細說了, 這個是另外一個主題可以蓋摩天大樓的討論串, 不過在虛擬機 vm 上面做 pfsense, 重點在於是否能夠 pci passthrough (效能問題) 如果系統本身不行的話, 一定要使用 virtio 的 driver passthrough, 不然效能只有正常的 1/3, 請參考 http://www.linux-kvm.org/page/10G_NIC_performance:_VFIO_vs_virtio
BIOS Information
Vendor: American Megatrends Inc.
Version: QV61AR67
Release Date: 08/14/2014
Address: 0xF0000
Runtime Size: 64 kB
ROM Size: 2560 kB
UEFI is supported
BIOS Revision: 4.6
Base Board Information
Manufacturer: INTEL Corporation
Product Name: MAHOBAY
Physical Memory Array
Location: System Board Or Motherboard
Use: System Memory
Error Correction Type: None
Maximum Capacity: 32 GB
Number Of Devices: 4 (主板的晶片是支援到 32gb [4x8GB] 的, 但是 qnap 的特殊主板只有兩個插槽)
Processor Information
Socket Designation: SOCKET 0
Type: Central Processor
Family: Core i7
Manufacturer: Intel(R) Corporation
ID: A9 06 03 00 FF FB EB BF
Signature: Type 0, Family 6, Model 58, Stepping 9
Version: Intel(R) Core(TM) i7-3770T CPU @ 2.50GHz
Voltage: 3.3 V
External Clock: 100 MHz
Max Speed: 3800 MHz
Current Speed: 2500 MHz
Status: Populated, Enabled
Upgrade: Socket BGA1155
Core Count: 4
Core Enabled: 4
Thread Count: 8
Characteristics:
64-bit capable
Memory Array Mapped Address
Starting Address: 0x00000000000
Ending Address: 0x003FFFFFFFF
Range Size: 16 GB
Partition Width: 4
root@tmedia:~# zpool status
pool: rpool
state: ONLINE
scan: none requested
config:
NAME STATE READ WRITE CKSUM
rpool ONLINE 0 0 0
raidz1-0 ONLINE 0 0 0
ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E0370941-part1 ONLINE 0 0 0
ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E0374655-part1 ONLINE 0 0 0
ata-WDC_WD40EFRX-68WT0N0_WD-WCC4E0434058-part1 ONLINE 0 0 0
ata-WDC_WD40EFRX-68WT0N0_WD-WCC4ECH8SRA7-part1 ONLINE 0 0 0
logs
ata-INTEL_SSDSC2CW240A3_CVCV2215001E240CGN ONLINE 0 0 0
cache
ata-INTEL_SSDSC2CW240A3_CVCV2215001E240CGN ONLINE 0 0 0
errors: No known data error
root@tmedia:~# zfs list
NAME USED AVAIL REFER MOUNTPOINT
rpool 591G 9.63T 232K /rpool
rpool/ROOT 9.84G 9.63T 209K /rpool/ROOT
rpool/ROOT/ubuntu 9.84G 9.63T 7.55G /
rpool/multimedia 538G 9.63T 238M /rpool/multimedia
rpool/multimedia/application 20.9G 9.63T 20.9G /rpool/multimedia/application
rpool/multimedia/action 113G 9.63T 113G /rpool/multimedia/action
rpool/multimedia/downloads 198G 9.63T 198G /rpool/multimedia/downloads
rpool/multimedia/iso 1.26G 9.63T 1.26G /rpool/multimedia/iso
rpool/multimedia/kids 76.4G 9.63T 76.4G /rpool/multimedia/kids
rpool/multimedia/music 5.72G 9.63T 5.72G /rpool/multimedia/music
rpool/multimedia/photo 732K 9.63T 732K /rpool/multimedia/photo
rpool/multimedia/video 122G 9.63T 122G /rpool/multimedia/video
rpool/pbx 15.6G 9.63T 7.36G -
rpool/pfsense 10.3G 9.64T 677M -
rpool/swap 17.0G 9.65T 227K -
rpool/temp 198K 9.63T 198K /rpool/temp
80吋電視, 左下方有 qnap ts470pro, 畫面正在運行 pfsense 虛擬機的開機畫面.
我的藍牙滑鼠鍵盤以及 android Nexus 7 平板 藍牙配對 (不過平板操作主要還是透過 wifi)
Incredible PBX 的管理者界面
建立好了兩個 trunk, 一個是 Gooogle Voice Trunk, 這樣子可以免費接跟打美國的電話, 一個是公司的 pbx, 透過它來打中國/台灣的市話以及手機, 當然有得到公司的允許 (畢竟讓我使用我的硬體來測試也比使用公司的實際在使用的設備影響來得小)
好處是我家撥打電話都是公司付錢 (不過會打給我的人或是需要打給的人幾乎我已經使用 iax2 trunk 連接了...
我總共設定了 5個分機, 使用淘汰的舊 android 手機跟平板 [Nexus 5 & 7] (同時也可以當作 NAS 的遙控器)
兩個虛擬機啟動 pbx 跟 pfsense 幾乎不太佔資源. i7 3770T 的效能真的太強了 (這個還是 45w 的省電版)
簡單的 ZFS io 測試 效能已經比很多機房的SAN還快了, 最主要是 ZFS 支援 ZFS 加速, 我就測試寫入的速度就夠了, 讀取都是寫入的1.5~2倍快. 目前我的 SSD 是被閹割的狀態因為是透過 sata2 ESATA 的界面連接.root@tmedia:~# dd if=/dev/zero of=/rpool/output bs=4k count=1000k; rm -f /rpool/output
1024000+0 records in
1024000+0 records out
4194304000 bytes (4.2 GB) copied, 6.84729 s, 613 MB/s
root@tmedia:~# dd if=/dev/zero of=/rpool/output bs=8k count=500k; rm -f /rpool/output
512000+0 records in
512000+0 records out
4194304000 bytes (4.2 GB) copied, 3.83222 s, 1.1 GB/s
root@tmedia:~# dd if=/dev/zero of=/rpool/output bs=128k count=100k; rm -f /rpool/output
102400+0 records in
102400+0 records out
13421772800 bytes (13 GB) copied, 13.8026 s, 972 MB/s
相同一模一樣的硬體, 但是運行 Qnap TS470pro QTS 4.1.4, 然後沒有 兩顆 SSD 加速的測試 on EXT4 的檔案格式, 效能差了 5倍... 其它的 data block 我就不測式了.[/opt/bin] # uname -a
Linux KAC-PDC 3.4.6 #1 SMP Thu Aug 20 00:52:22 CST 2015 x86_64 unknown
[/opt/bin] # ./dd if=/dev/zero of=/share/TEMP/output bs=4k count=1000k; rm -f /share/TEMP/output
1024000+0 records in
1024000+0 records out
4194304000 bytes (4.2 GB) copied, 32.8746 s, 128 MB/s
所以 Linux 系統如果會自己調試, DIY 的NAS Server 跟市售的NAS 真的差很大. 很可惜我沒有任何新款的 Qnap TS671 擁有搭配SSD加速的比較, 不過我有對 zfs 有信心也是可以完敗 Qnap TS671 的 i7 版.
Oneplus 8 Pro•
Thinkpad T480s•
PVE6+OMV4+NextCloud
內文搜尋
從 APP 打開
X