thảo luận Code trên Mac với Win cái nào sướng hơn?

gâu_ · 12/6/20

Nipin đã nói:
đến đây thì bạn nào cũng biết cái vụ tôi nói spawn ra 1000 cái nodes (1000 ip) là nói đùa, bởi vì hoàn toàn vô nghĩa: mỗi cái node phải biết là mình crawl ở range nào, vì 1000 cái nodes cùng bắt đầu crawl từ 1 thì có khác kẹc gì? config cái đống này tôi đíu nghĩ là sẽ dễ (rất hóng siêu nhân nào chỉ tôi làm sao deploy 1000 cái node mỗi cái state khác nhau một cách đơn giản dễ dàng, tôi đợt trước cũng có bài toán gần tương tự, một cái webapp cho 10 cái nội dung khác nhau, phân biệt bằng vài cái hardstring trong một file frontend javascript, nhu cầu tự config lúc deploy docker file rất gấp, biết xin liên hệ).

ơ cái này tôi làm trong nửa nốt nhạc luôn, mỗi container chạy truyền cho nó tham số khác nhau qua environment là được, trong code thì hứng cái biến đó từ environment là xong chứ có gì đâu, tôi từng crawl kiểu này rồi, 1 tiếng crawl hơn 20 triệu hit, bị bottle neck ở server bị crawl

Nipin · 12/6/20

gâu_ đã nói:
ơ cái này tôi làm trong nửa nốt nhạc luôn, mỗi container chạy truyền cho nó tham số khác nhau qua environment là được, trong code thì hứng cái biến đó từ environment là xong chứ có gì đâu, tôi từng crawl kiểu này rồi, 1 tiếng crawl hơn 20 triệu hit, bị bottle neck ở server bị crawl

ngon, có link không bạn, sau này có khi cũng cần :x

gâu_ · 12/6/20

Nipin đã nói:
ngon, có link không bạn, sau này có khi cũng cần :x

link gì đâu, cái này kiến thức cơ bản mà, đơn giản là lúc chạy container nó cho phép tạo biến environment thôi, trong code thì hứng cái đó rồi xử lý tương ứng, nội dung biến thì tùy thím thôi

prescolt · 13/6/20

gâu_ đã nói:
link gì đâu, cái này kiến thức cơ bản mà, đơn giản là lúc chạy container nó cho phép tạo biến environment thôi, trong code thì hứng cái đó rồi xử lý tương ứng, nội dung biến thì tùy thím thôi

Thật ra yêu cầu trên rất nhiều cách, nếu code python ok thì làm gì cũng duoc, instance hay VPS đều đáp ứng, vấn đề là public IP thôi

Nipin · 13/6/20

gâu_ đã nói:
link gì đâu, cái này kiến thức cơ bản mà, đơn giản là lúc chạy container nó cho phép tạo biến environment thôi, trong code thì hứng cái đó rồi xử lý tương ứng, nội dung biến thì tùy thím thôi

post ở bài trên cơ mà tách ra cho tiện:

à mà cái trường hợp tôi cần (10 webapp khác nhau mỗi cái hardstring) thì không environment dc luôn nhé, bạn có cách nào khác không?

quay lại thì con kia còn nhiều vấn đề lắm, như tôi nói, là server giới hạn thấp tè, không chạy liên tiếp cùng một lúc được, lúc đấy bài toán nó còn lằng nhằng hơn chứ không phải 1 lần là xong đâu. đợi tôi nghĩ làm sao cho hiệu quả thì tôi vứt cái code lên vps, viết cái cronjob là xong lâu rồi. tất nhiên đây là do mỗi người quen một kiểu, bạn quen dùng container thì có thể bạn làm phần này nhanh.

gâu_ · 13/6/20

Nipin đã nói:
à mà cái trường hợp tôi cần (10 webapp khác nhau mỗi cái hardstring) thì không environment dc luôn nhé, bạn có cách nào khác không?

cái web thì chưa hiểu yêu cầu đề bài, cái hardstring truyền qua đâu, domain (hoặc trong path) hay sao

Nipin · 13/6/20

gâu_ đã nói:
cái web thì chưa hiểu yêu cầu đề bài, cái hardstring truyền qua đâu, domain (hoặc trong path) hay sao

sửa trực tiếp trong file javascript (frontend cho nên không có read file nhé) bạn ơi? (đừng hỏi tại sao tôi cũng muốn hỏi)

Nipin · 13/6/20

prescolt đã nói:
Mua VPS cua vult, từ máy bàn goi API bật khi xài, bat truoc 1 phút truoc khi chạy cron,sẽ tiết kiệm, chứ 100 cái AWS chắc hại thận , còn commit đại gia thì mình ko bàn nhé, ở đây giải pháp nào cũng phai cân nhắt tới tiền cả.

tôi chạy 1 trong một cái aws ec2 thôi, code dùng proxy mà đâu cần 100 instances?

mà mấy cái vps nó tính tiền từ lúc khởi tạo, chứ có phải cứ shutdown là nó không tính tiền nữa đâu nhỉ? hay bạn nói là mỗi lần cần thì gọi api create cái droplet mới, dùng xong lại destroy? thế thì có vẻ quá phiền + chậm

ờ riêng vụ này thì chắc dùng aws lambda hay mấy cái google/azure functions cũng được, nhưng mà nếu tôi nhớ không nhầm thì hit nhiều tốn tiền phết, tôi không afford dc

gâu_ · 13/6/20

Nipin đã nói:
sửa trực tiếp trong file javascript (frontend cho nên không có read file nhé) bạn ơi? (đừng hỏi tại sao tôi cũng muốn hỏi)

thím nói rõ yêu cầu đầy đủ xem nào, vẫn chưa hình dung được yêu cầu là gì, N webapp cùng 1 domain hay như thế nào

prescolt · 13/6/20

Nipin đã nói:
tôi chạy 1 trong một cái aws ec2 thôi, code dùng proxy mà đâu cần 100 instances?

mà mấy cái vps nó tính tiền từ lúc khởi tạo, chứ có phải cứ shutdown là nó không tính tiền nữa đâu nhỉ? hay bạn nói là mỗi lần cần thì gọi api create cái droplet mới, dùng xong lại destroy? thế thì có vẻ quá phiền + chậm

ờ riêng vụ này thì chắc dùng aws lambda hay mấy cái google/azure functions cũng được, nhưng mà nếu tôi nhớ không nhầm thì hit nhiều tốn tiền phết, tôi không afford dc

Xài bao nhiêu tính bao nhiêu mà, tắt thì ko tính, là VPS luôn. Tắt thi van giữ nguyên dữ liệu. vì xài Vps thi ko cần proxy nữa, ip riêng rồi, tuỳ chi phí mà cân nhắc thôi

lam vung lau lam · 13/6/20

Nipin đã nói:
post ở bài trên cơ mà tách ra cho tiện:

à mà cái trường hợp tôi cần (10 webapp khác nhau mỗi cái hardstring) thì không environment dc luôn nhé, bạn có cách nào khác không?

quay lại thì con kia còn nhiều vấn đề lắm, như tôi nói, là server giới hạn thấp tè, không chạy liên tiếp cùng một lúc được, lúc đấy bài toán nó còn lằng nhằng hơn chứ không phải 1 lần là xong đâu. đợi tôi nghĩ làm sao cho hiệu quả thì tôi vứt cái code lên vps, viết cái cronjob là xong lâu rồi. tất nhiên đây là do mỗi người quen một kiểu, bạn quen dùng container thì có thể bạn làm phần này nhanh.

webapp tôi vẫn dùng biến môi trường được mà.
@rollup/plugin-replace
với webpack chắc cũng có lib tương tự thôi.

Kacee · 13/6/20

heh, cái post của tôi có hai phần, các anh chỉ nhắm vào một phần khúc sau để vặn vẹo...

nếu mục đích của các anh chỉ là muốn chê tôi kém cỏi, tôi nhường các anh về nhất luôn... tự bản thân tôi biết tôi ở đâu, các anh có muốn nâng tôi lên hạ tôi xuống cũng chẳng ảnh hưởng gì tới tôi cả...

đề bài của anh Nipin đặt ra, anh làm rồi anh nhớ, tôi rảnh đâu mà nhớ con số, đã nói rõ là tôi phịa ra một con số để nói chuyện, anh vẫn cố vin vào đấy công kích cá nhân tôi làm gì...

anh cũng không bảo anh không có tiền, và tôi cũng không quan tâm thuê IP hết bao nhiêu tiền, tôi giải vấn đề bằng mồm, có ngồi làm thực tế đâu, nếu anh bảo là không có tiền thuê IP của AWS tôi có thể chỉ anh qua thuê client farm ở TQ, cái bọn bán like bán view ấy, có gì khó đâu... hoặc nếu anh không thích nữa thì dẹp terraform đi launch container một lũ chạy song song dùng với proxy đi xin được...

cái big picture ở đây là tôi muốn nói tới chuyện docker nó là một cái công cụ, bản chất của nó vẫn là có việc nó phù hợp và có việc không, nhưng muốn dùng thì kể cả việc phù hợp cũng phải biết cách dùng... giải pháp tôi đưa ra nó hoàn toàn flexible, không thích khúc nào thì sửa khúc ấy...

nhưng con mắt của các anh không nhìn được cái tổng thể, chỉ nhăm nhăm tìm xem tôi kém chỗ nào hay không =]]

Great Minds Discuss Ideas. Average Minds Discuss Events. Small Minds Discuss People.

Nipin · 13/6/20

gâu_ đã nói:
thím nói rõ yêu cầu đầy đủ xem nào, vẫn chưa hình dung được yêu cầu là gì, N webapp cùng 1 domain hay như thế nào

n websites cùng source code, khác nội dung, phân biệt nhau bằng một cái hard string trong phần frontend của webapp.
thực ra thì cũng không phải không có cách chạy tự động (tôi có viết cái script để sync + sed hết đống này, cơ mà cảm thấy hơi hack)
cái tôi cần ở đây là làm sao ci/cd cùng một cái source code ra n cái site này luôn.

nhân tiện thì chúng nó bắt n cái website này phải nằm trong một cái vps, thêm quả code ngu mỗi lần khởi động cái sails framework nó lại check asset một lần bất kể đã minify từ trước hay không, lúc khởi động n cái website này cùng chạy một lúc thế là grunt treo luôn, làm tôi phải viết hẹn giờ delay cho từng cái service một thật tấu hài, cũng đang định xem mấy cái như k8s có giải quyết dc gì cho vụ này không

... à mà thực ra project này tôi cũng không làm rồi, thắc mắc để biết thế thôi, có khi năm sau nó lại có nhu cầu (dự án cho chính phủ buồn cười đừng hỏi)

lam vung lau lam · 13/6/20

^
^
Tôi cũng hiểu là anh chưa từng dev thực mà. Cách nói chuyện của anh giống mấy ông PM, cứ vẽ ra "solution" nhưng không hề biết nó có khả thi hay không.

Nipin · 13/6/20

lam vung lau lam đã nói:
webapp tôi vẫn dùng biến môi trường được mà.
@rollup/plugin-replace
với webpack chắc cũng có lib tương tự thôi.

>rollup
>webpack
Oh I fucking wish

)
mà đùa thế thôi chắc thằng grunt cũng có, cơ mà cái tôi quan tâm là việc inject cái này ngay từ quá trình deploy cơ, chứ lên server rồi thì cũng dễ :/

prescolt · 13/6/20

Kacee đã nói:
heh, cái post của tôi có hai phần, các anh chỉ nhắm vào một phần khúc sau để vặn vẹo...

nếu mục đích của các anh chỉ là muốn chê tôi kém cỏi, tôi nhường các anh về nhất luôn... tự bản thân tôi biết tôi ở đâu, các anh có muốn nâng tôi lên hạ tôi xuống cũng chẳng ảnh hưởng gì tới tôi cả...

đề bài của anh Nipin đặt ra, anh làm rồi anh nhớ, tôi rảnh đâu mà nhớ con số, đã nói rõ là tôi phịa ra một con số để nói chuyện, anh vẫn cố vin vào đấy công kích cá nhân tôi làm gì...

anh cũng không bảo anh không có tiền, và tôi cũng không quan tâm thuê IP hết bao nhiêu tiền, tôi giải vấn đề bằng mồm, có ngồi làm thực tế đâu, nếu anh bảo là không có tiền thuê IP của AWS tôi có thể chỉ anh qua thuê client farm ở TQ, cái bọn bán like bán view ấy, có gì khó đâu... hoặc nếu anh không thích nữa thì dẹp terraform đi launch container một lũ chạy song song dùng với proxy đi xin được...

cái big picture ở đây là tôi muốn nói tới chuyện docker nó là một cái công cụ, bản chất của nó vẫn là có việc nó phù hợp và có việc không, nhưng muốn dùng thì kể cả việc phù hợp cũng phải biết cách dùng... giải pháp tôi đưa ra nó hoàn toàn flexible, không thích khúc nào thì sửa khúc ấy...

nhưng con mắt của các anh không nhìn được cái tổng thể, chỉ nhăm nhăm tìm xem tôi kém chỗ nào hay không =]]

Great Minds Discuss Ideas. Average Minds Discuss Events. Small Minds Discuss People.

Vậng ko có tổng thể, ngồi chém hưu chém vượng thì ai nói cũng được, từ docker sang aws, xong lại bảo ko có tầm nhìn, ko nói tới tiền bạc, bạn nói chuyện ngày càng tấu hài, tầm nhìn này mình xin nhường nhé.

Nipin · 13/6/20

sao mệt thế nhỉ, anh mod không hiểu thì bảo là không hiểu thế thôi. Giờ tôi đã hiểu tại sao cái next nó nát thế rồi, code giỏi tới đâu mà vào tay mấy bạn owner vẽ vời thì cũng bó tay thôi, chiều sao được.

> anh cũng không bảo anh không có tiền, và tôi cũng không quan tâm thuê IP hết bao nhiêu tiền, tôi giải vấn đề bằng mồm, có ngồi làm thực tế đâu, nếu anh bảo là không có tiền thuê IP của AWS tôi có thể chỉ anh qua thuê client farm ở TQ, cái bọn bán like bán view ấy, có gì khó đâu... hoặc nếu anh không thích nữa thì dẹp terraform đi launch container một lũ chạy song song dùng với proxy đi xin được...

wtf có ai nói cái gì thuê IP của aws đâu anh đang hút cần à?

gâu_ · 13/6/20

Nipin đã nói:
n websites cùng source code, khác nội dung, phân biệt nhau bằng một cái hard string trong phần frontend của webapp.
thực ra thì cũng không phải không có cách chạy tự động (tôi có viết cái script để sync + sed hết đống này, cơ mà cảm thấy hơi hack)
cái tôi cần ở đây là làm sao ci/cd cùng một cái source code ra n cái site này luôn.

nhân tiện thì chúng nó bắt n cái website này phải nằm trong một cái vps, thêm quả code ngu mỗi lần khởi động cái sails framework nó lại check asset một lần bất kể đã minify từ trước hay không, lúc khởi động n cái website này cùng chạy một lúc thế là grunt treo luôn, làm tôi phải viết hẹn giờ delay cho từng cái service một thật tấu hài, cũng đang định xem mấy cái như k8s có giải quyết dc gì cho vụ này không

... à mà thực ra project này tôi cũng không làm rồi, thắc mắc để biết thế thôi, có khi năm sau nó lại có nhu cầu (dự án cho chính phủ buồn cười đừng hỏi)

thế đơn giản mà, viết file Dockerfile build và chạy cái webapp trên, tham số nhận vào từ ENV và build dùng cái plugin của thím trên kia để replace, xong rồi chạy bằng 1 file docker-compose thôi, mỗi lần update source code thì chạy 1 lệnh là nó tự build và deploy lại N cái webapp đó, cần thì pm tôi làm mẫu luôn cho cũng được

Kacee · 13/6/20

các anh tung hứng với nhau tốt quá, một anh thì đòi thuê EIP rồi chê đắt, anh kia thì bảo có thuê đâu =]]

hề hề không cần các anh lo cho tôi đâu, tôi về hưu cả năm nay rồi... cái voz giờ là một cái project tôi làm cho vui thôi, nát hay không nát cũng là thứ để suy nghĩ mỗi ngày... không có sức ép gì cả

Nipin · 13/6/20

prescolt đã nói:
Xài bao nhiêu tính bao nhiêu mà, tắt thì ko tính, là VPS luôn. Tắt thi van giữ nguyên dữ liệu. vì xài Vps thi ko cần proxy nữa, ip riêng rồi, tuỳ chi phí mà cân nhắc thôi

ừ biết vậy, nhưng mà setup vps khá lâu, với lại cần một cái nữa để tổng hợp kết quả đúng không (một cái vps khác hoặc máy nhà)?

kiểu như tôi là cứ để service trên server chạy, lâu lâu tôi cần làm việc cái đống ấy thì tôi down kết quả về, chứ không phải là lúc tôi cần tôi mới chạy cái đống vps để lấy dữ liệu.

p/s: theo tôi áng khoảng thì dù làm bất cứ cách nào thì vì giới hạn server cho nên để crawl fresh toàn bộ 200k ấy sẽ mất từ 1 tới 1 ngày rưỡi, không có cách nào tăng tốc được, cho nên vứt script lên một cái vps chạy dần hiện tại là tôi thấy hợp lý nhất rồi, dù sao thì cũng chỉ là một task nhỏ trong một đống tasks cần làm.

gâu_ đã nói:
thế đơn giản mà, viết file Dockerfile build và chạy cái webapp trên, tham số nhận vào từ ENV và build dùng cái plugin của thím trên kia để replace, xong rồi chạy bằng 1 file docker-compose thôi, mỗi lần update source code thì chạy 1 lệnh là nó tự build và deploy lại N cái webapp đó, cần thì pm tôi làm mẫu luôn cho cũng được

thực ra thì nghĩ lại thì cũng possible, ngoài việc dùng docker ra thì cũng giống tôi chạy script thôi... có lẽ cái tôi quan tâm là quá trình CI/CD ra n cái website từ 1 source, cái đó không phải domain của docker rồi :/

thảo luận Code trên Mac với Win cái nào sướng hơn?

Đã tốn tiền

Member

Đã tốn tiền

Member

Member

Đã tốn tiền

Member

Member

Đã tốn tiền

Member

Junior Member

Moderator

Member

Junior Member

Member

Member

Member

Đã tốn tiền

Moderator

Member

Chủ đề tương tự

Thống kê chủ đề

Chia sẻ trang này